Decoder-only Transformerと文章生成

Decoder-only Transformerと文章生成｜StatQuest with Josh Starmer

10:10から因果マスクを使うSelf-Attention、22:35から残差接続を説明。

27:20から出力の生成、32:14からEncoder–Decoder型との構成の違いを扱う。

公開日：2023-08-28。長さ：2205秒。確認範囲：概要・章立て。視聴前の目安（編集部）：TransformerとAttentionの基本

原題：Decoder-Only Transformers, ChatGPTs specific Transformer, Clearly Explained!!!

学習内容・前半のテーマ：10:10から因果マスクを使うSelf-Attention、22:35から残差接続を説明。／確認 2026-09-15／https://www.youtube.com/watch?v=bQ5BoolX9Ag

学習内容・後半のテーマ：27:20から出力の生成、32:14からEncoder–Decoder型との構成の違いを扱う。／確認 2026-09-15／https://www.youtube.com/watch?v=bQ5BoolX9Ag

確認事項・制作者の訂正・内容の範囲：モデル構造の解説。現行のChatGPTサービスの内部実装を検証した記録ではない。／確認 2026-09-15／https://www.youtube.com/watch?v=bQ5BoolX9Ag

対象：AIのモデルと実装を体系的に学びたい人。形式：YouTube動画（個別教材）。言語：英語。日本語の要点は本資料庫で作成。日本語字幕・吹き替えの有無は視聴時に確認。。利用条件：YouTube公開動画。外部の書籍・会員サービス・実行環境は別条件。

確認事項（編集部）：モデル構造の解説。現行のChatGPTサービスの内部実装を検証した記録ではない。必要な前提知識を確認し、概要だけで理解が済んだとせず元の説明と計算例を参照する。

出典：StatQuest with Josh Starmer「Decoder-Only Transformers, ChatGPTs specific Transformer, Clearly Explained!!!」／公開・更新情報：2023-08-28／確認日：2026-09-15／https://www.youtube.com/watch?v=bQ5BoolX9Ag

Decoder-only Transformerと文章生成

関連ページ