1BitLLMの実力を見る

1BitLLMの実力を見る｜shi3z

BitNet b1.58 の 3B 再現実装を動かし、パープレキシティと自由生成を確認した記事。導入時に直した import と、評価スクリプトのログを掲載している。

Hugging Face のリポジトリを取得し、著者の A6000 構成で C4 と WikiText2 の評価を実施。その後、英語や日本語の書き出しを与え、数値評価だけでは分からない文章の挙動を試している。

学習・再現の手順：Git LFS で取得し、相対 import の問題を修正。／確認 2026-09-14／https://note.com/shi3zblog/n/ndd1f27fff31c

学習・評価の組合せ：データセットの PPL と自由生成の応答を掲載。／確認 2026-09-14／https://note.com/shi3zblog/n/ndd1f27fff31c

対象：AIの開発・導入・活用を検討する担当者。形式：企業・著者による公開記事。言語：日本語（公開本文で確認）。利用条件：公開記事（本文をログインなしで確認）

確認事項（編集部）：PPL の再現は文章の事実性や日本語能力の保証ではない。評価と手動生成で実行条件が異なり、Mac での動作は記事内では未確認。

出典：shi3z「1BitLLMの実力を見る」／公開・更新情報：2024-04-18／確認日：2026-09-14／https://note.com/shi3zblog/n/ndd1f27fff31c

関連ページ