ABCIでOrion14Bを使って10Kマルチターン日本語会話データセットを生成した

ABCIでOrion14Bを使って10Kマルチターン日本語会話データセットを生成した｜shi3z

Orion14BとWikipediaから日本語の複数ターン会話を生成した開発記録。

記事を読み、先生と生徒の質問応答をJSONとして出す処理を公開する。生成物のJSONパースや定型回答除去、ジョブ投入例も示す。

学習・生成：Wikipediaの記事を基に複数の質問と回答をモデルへ作らせる。／確認 2026-09-14／https://note.com/shi3zblog/n/n1df103edbd57

学習・選別：JSONとして読めるかと会話内容の有無を確認して保存する。／確認 2026-09-14／https://note.com/shi3zblog/n/n1df103edbd57

対象：AIの開発・導入・活用を検討する担当者。形式：企業・著者による公開記事。言語：日本語（公開本文で確認）。利用条件：公開記事（本文をログインなしで確認）

確認事項（編集部）：モデルと元データの利用条件を個別確認する必要がある。V100の説明とコードのbfloat16指定に相違があり、実行環境の再検証が必要。

出典：shi3z「ABCIでOrion14Bを使って10Kマルチターン日本語会話データセットを生成した」／公開・更新情報：2024-01-26／確認日：2026-09-14／https://note.com/shi3zblog/n/n1df103edbd57

関連ページ