200Kトークン対応34BモデルNous-Capybaraをローカルで試す

200Kトークン対応34BモデルNous-Capybaraをローカルで試す｜shi3z

Nous-Capybara 34B の量子化モデルを llama.cpp で動かし、日本語の質問に JSON 形式で答えさせた著者の記録。生成された作品名の誤りや GPU を使っていなかった状況を報告している。

8 ビット GGUF を読み込み、映画やゲームの代表作を質問。出力形式を先に与えた実行例とコンテキストの指定を掲載し、外部評価の結果と自分の試行で観察した問題を分けている。

学習・実行例：llama.cpp と GGUF を使う日本語 JSON 出力／確認 2026-09-15／https://note.com/shi3zblog/n/nad0d1ad7da9c

学習・観察：架空の作品名と GPU 未使用への気づき／確認 2026-09-15／https://note.com/shi3zblog/n/nad0d1ad7da9c

対象：AIの開発・導入・活用を検討する担当者。形式：企業・著者による公開記事。言語：日本語（公開本文で確認）。利用条件：公開記事（本文をログインなしで確認）

確認事項（編集部）：タイトルの長いコンテキスト容量を実測した記事ではない。回答の一部を著者が肯定していても作品への関与などの事実は別途検証が必要。

出典：shi3z「200Kトークン対応34BモデルNous-Capybaraをローカルで試す」／公開・更新情報：2023-11-17／確認日：2026-09-15／https://note.com/shi3zblog/n/nad0d1ad7da9c

関連ページ