MeZO(0次最適化)による大規模言語モデルのファインチューニングを試す

MeZO(0次最適化)による大規模言語モデルのファインチューニングを試す｜shi3z

著者が MeZO を Llama 2 13B に適用し、SST-2 の分類学習を動かした記録。依存ライブラリの版、実行コマンド、評価ログとタスク追加のコードを公開している。

A100 80GB 1基で LoRA 設定を試し、分類の正答率と所要時間を報告。文章から答えを取り出す DROP のデータ処理とテンプレートも追加して、別タスクへ広げる方法を説明する。

学習・実行情報：ライブラリ版と CUDA・PyTorch の動作環境／確認 2026-09-15／https://note.com/shi3zblog/n/n4b54e6d0793a

学習・タスク拡張：SST-2 の結果と DROP の実装例／確認 2026-09-15／https://note.com/shi3zblog/n/n4b54e6d0793a

対象：AIの開発・導入・活用を検討する担当者。形式：企業・著者による公開記事。言語：日本語（公開本文で確認）。利用条件：公開記事（本文をログインなしで確認）

確認事項（編集部）：学習前との比較がなく、約0.75の正答率だけでは改善量を示さない。本文のエポック数の説明とログには差があり、詳細条件はコードで確認が必要。

出典：shi3z「MeZO(0次最適化)による大規模言語モデルのファインチューニングを試す」／公開・更新情報：2023-11-12／確認日：2026-09-15／https://note.com/shi3zblog/n/n4b54e6d0793a

関連ページ