PyTorchでDecoder-only Transformerを作る

PyTorchでDecoder-only Transformerを作る｜StatQuest with Josh Starmer

6:17から位置符号化、14:09からAttentionを実装。

21:04からDecoder-onlyモデルを構成し、29:18から学習と利用を扱う。

公開日：2024-07-01。長さ：1871秒。確認範囲：概要・章立て。視聴前の目安（編集部）：Python、PyTorch、Decoder-only Transformer、行列計算

原題：Coding a ChatGPT Like Transformer From Scratch in PyTorch

学習内容・前半のテーマ：6:17から位置符号化、14:09からAttentionを実装。／確認 2026-09-15／https://www.youtube.com/watch?v=C9QSpl5nmrY

学習内容・後半のテーマ：21:04からDecoder-onlyモデルを構成し、29:18から学習と利用を扱う。／確認 2026-09-15／https://www.youtube.com/watch?v=C9QSpl5nmrY

確認事項・制作者の訂正・内容の範囲：小規模な学習用実装。ChatGPTサービスの再現や同等性能を保証する内容ではない。／確認 2026-09-15／https://www.youtube.com/watch?v=C9QSpl5nmrY

対象：AIのモデルと実装を体系的に学びたい人。形式：YouTube動画（個別教材）。言語：英語。日本語の要点は本資料庫で作成。日本語字幕・吹き替えの有無は視聴時に確認。。利用条件：YouTube公開動画。外部の書籍・会員サービス・実行環境は別条件。

確認事項（編集部）：小規模な学習用実装。ChatGPTサービスの再現や同等性能を保証する内容ではない。収録時のライブラリと現在のAPI差を確認し、演習用の環境で試す。

出典：StatQuest with Josh Starmer「Coding a ChatGPT Like Transformer From Scratch in PyTorch」／公開・更新情報：2024-07-01／確認日：2026-09-15／https://www.youtube.com/watch?v=C9QSpl5nmrY

PyTorchでDecoder-only Transformerを作る

関連ページ