MeZOによるLLMファインチューニングその2/A100 80GBx1

MeZOによるLLMファインチューニングその2/A100 80GBx1｜shi3z

MeZO を使い、Llama 2 7B を DROP の質問応答で調整した学習記録。13B ではメモリ不足となり、モデルを小さくして学習を実行した経緯を示す。

A100 80GB 1 台で prefix モードのコマンドを実行し、学習の設定、約 19 時間の処理、評価ログを掲載。入力文と質問、正解候補、出力を並べ、回答が一致する例と異なる例を確認できる。

学習・再現する条件：モデル、タスク、prefix モード、学習率などを掲載。／確認 2026-09-14／https://note.com/shi3zblog/n/ndb348072f8a4

学習・結果の記録：学習ログと F1・dev F1、個別の回答例を確認できる。／確認 2026-09-14／https://note.com/shi3zblog/n/ndb348072f8a4

対象：AIの開発・導入・活用を検討する担当者。形式：企業・著者による公開記事。言語：日本語（公開本文で確認）。利用条件：公開記事（本文をログインなしで確認）

確認事項（編集部）：フルパラメータ学習と同じ条件ではない。13B の失敗や 7B の実行結果を、GPU 一般の学習可能サイズの上限として扱わない。

出典：shi3z「MeZOによるLLMファインチューニングその2/A100 80GBx1」／公開・更新情報：2023-11-13／確認日：2026-09-14／https://note.com/shi3zblog/n/ndb348072f8a4

関連ページ