これは面白い! Whisper EncoderとLlama3.2を2層MLPで繋いだだけでもちゃんと音声認識から直接LLMの回答を出力できる｜shi3z
Whisperの音声表現を小さなAdapterでLlamaへ渡す公開デモを読み、元音声を確認する処理を追加した記録。
著者はdemo2.ipynbの接続部分に注目し、平均プーリングと二つの線形層、GELUで表現を変換するコードを紹介。音声と別のテキスト指示を渡す構成や、入力音声の再生による確認方法を説明する。
学習・モデル間の接続：Whisper Encoderの出力をAdapterでLlama側の隠れ次元へ変換する構成を見る。／確認 2026-09-14／https://note.com/shi3zblog/n/n36cb765ab8fe
学習・変換処理を読む：時間方向のプーリング、次元の並べ替え、線形層と活性化をコードで追う。／確認 2026-09-14／https://note.com/shi3zblog/n/n36cb765ab8fe
学習・入力も確認する：テストデータの音声配列を取り出して再生するセルを足し、回答と入力を照合しやすくする。／確認 2026-09-14／https://note.com/shi3zblog/n/n36cb765ab8fe
対象：AIの開発・導入・活用を検討する担当者。形式：企業・著者による公開記事。言語：日本語（公開本文で確認）。利用条件：公開記事（本文をログインなしで確認）
確認事項（編集部）：2025年7月の公開デモの観察・補足。学習回数や回答精度の一般的な保証ではなく、著者の言語・視覚に関する推測とは区別する。
出典：shi3z「これは面白い! Whisper EncoderとLlama3.2を2層MLPで繋いだだけでもちゃんと音声認識から直接LLMの回答を出力できる」／公開・更新情報：2025-07-08／確認日：2026-09-14／https://note.com/shi3zblog/n/n36cb765ab8fe
株式会社世良（Sera, Inc.）／ お問い合わせ: info@sera-inc.co.jp