RAGチャットにDeepEvalの評価とLangfuseの監視を加える

RAGチャットにDeepEvalの評価とLangfuseの監視を加える｜Aritra Basak

検索とエージェントを使うチャットを組み立て、評価データ・独自指標・実行記録を追加する。

ChromaDBとStreamlitを使うアプリの章から、ルール・ヒューリスティック・LLMによる判定へ進む。Langfuseとの接続、オンライン評価、GitHub Actionsによる評価の起動を扱う。

原題：Production LLM Evaluation and Observability

学習・RAGアプリの構築：文書の読み込み・分割、ChromaDB、検索ツール、Streamlit画面をつなぐ。／確認 2026-09-15／https://www.udemy.com/course/production-llm-evaluation-and-observability/

学習・評価の追加：ゴールデンデータセットとDeepEvalの独自指標・RAG指標を作る。／確認 2026-09-15／https://www.udemy.com/course/production-llm-evaluation-and-observability/

学習・実行記録の追跡：Langfuseに評価とトレースを接続し、オンラインとオフラインの評価を扱う。／確認 2026-09-15／https://www.udemy.com/course/production-llm-evaluation-and-observability/

対象：十分なPython経験があり、RAGとLangChainの基礎を理解する開発者。形式：オンデマンド動画講座（公開シラバスを確認）。言語：英語（日本語字幕の対応は未確認）。利用条件：一部講義にプレビューの案内あり。全講座の受講条件・現在価格はUdemyで確認。

確認事項（編集部）：講座と同じOpenAIモデルを使う場合は課金可能なAPIキーが必要。公開シラバスを確認した紹介であり、講座の実装や評価結果を実行検証したものではない。保存するプロンプト・参照文書・ログの範囲を学習環境に合わせて設定する。

出典：Aritra Basak / Udemy「Production LLM Evaluation and Observability — 講師公開の講座概要・シラバス」／公開・更新日：ページで特定せず／確認日：2026-09-15／https://www.udemy.com/course/production-llm-evaluation-and-observability/

RAGチャットにDeepEvalの評価とLangfuseの監視を加える

関連ページ