社内文書を検索して回答するAIを依頼する前に、評価用の質問、参照権限、検索と回答の切り分け、更新・運用責任を整理する。
編集：株式会社世良。更新：2026-09-15。順位・点数評価なし。
このガイドの対象：社内検索・問い合わせ対応のAIを検討する業務担当者と開発責任者
読み終えて持ち帰るもの：複数の開発会社へ同じ条件で提示できる検証要件
公開された公式資料と編集部の整理に基づくガイドです。各社の紹介と、当社が提案する確認手順を分けて記載しています。製品検証・受講・全編実読を行ったレビューではありません。
RAGは、質問に関連する資料を検索し、その情報を使って回答を生成する構成です。委託前に、答えが載っている質問、資料に答えがない質問、古い情報と新しい情報が混在する質問を分けて用意します。
それぞれに根拠となる資料、回答に必要な要点、回答してはいけない情報を書きます。何件あれば十分かを一律に決めず、想定する業務・利用者・文書形式の違いを試せているかで追加します。
必要な資料が検索結果にない場合と、資料はあるのに回答が違う場合では、確認する箇所が異なります。開発会社へ、検索された資料と生成回答を別々に見られる検証結果を依頼します。
質問、参照資料、期待する要点、実際の回答、判定理由、実行条件を一組で保存します。平均の正答率だけにまとめず、業務上受け入れられない失敗を個別に確認するためです。
同じ質問でも閲覧権限が異なる二人を想定し、参照できる資料が変わるか確認します。新しい文書の追加、古い文書の差し替え、削除した文書を検索対象から外すまでの流れも試験項目にします。
回答できないときの案内先、ログに残す情報、障害時の対応、モデルやライブラリを更新する担当を決めます。試作品の画面が動くことと、継続運用の準備がそろうことを、別の確認項目として合意します。
旧版・閲覧権限・根拠不足・資料の矛盾を、10文書・12問で確かめる演習です。読むだけでも、手元で結果を記録しても使えます。
株式会社世良が作成した架空の教材です。掲載する結果は、手作業で誤りを混ぜた回答例を確認用スクリプトへ渡したものです。AIや検索サービスの性能測定ではありません。
実行した回答例は12件。文書ID・適用日・権限・引用・判断の照合で7件に確認事項が出ました。回答本文の正誤は全12件で人の確認が必要です。
q12は正しい文書IDを引用しながら、回答の金額が間違っています。形式の確認を通っても、本文が正しいとは限らないことを確かめる例です。
質問と文書を読む：利用者の役割、質問の対象日、必要な根拠を確認します。正解欄は評価者だけが読み、検索対象やAIへの入力に混ぜません。
取得した資料と回答を分けて残す：生成処理へ渡した文書ID、回答中の引用ID、回答・保留・担当者への確認依頼を記録します。
スクリプトと人の目で確かめる：IDや権限の照合後、金額・条件・例外を人が根拠文書と読み比べます。確認事項が0件でも、正答と扱いません。
同梱の例はPython 3の標準機能で実行できます。追加ライブラリ・APIキー・GPUは不要で、スクリプトは通信しません。自分のAIサービスで試す場合の料金や通信は別です。
12問は評価設計の入口です。画像・OCR・長文・多言語・文書削除・悪意のある指示などは含まず、本番品質の認証には使えません。自社の業務に応じた質問と試験を追加してください。
利用者：一般社員。質問の対象日：2026-09-15。
回答例：年間3万円です。
自動照合：必要な根拠の引用が不足／必要な根拠が検索結果に不足／質問の対象日に適用されない資料を参照
人が読む観点：一人年間5万円まで。2026年の現行規程を根拠にする。
利用者：一般社員。質問の対象日：2025-11-01。
回答例：一人年間3万円まで。現在の規程に置き換えない。
自動照合：構造上の指摘なし。本文の正誤は未評価。
人が読む観点：一人年間3万円まで。現在の規程に置き換えない。
利用者：一般社員。質問の対象日：2026-09-15。
回答例：受講前にフォームを記入します。
自動照合：必要な根拠の引用が不足／必要な根拠が検索結果に不足
人が読む観点：一人年間5万円。受講前にフォームへ研修名・目的・受講料を入力し直属上長の承認を得る。
利用者：一般社員。質問の対象日：2026-09-15。
回答例：住宅手当は月2万円です。
自動照合：回答・保留・確認依頼の判断が想定と異なる
人が読む観点：資料にないため金額を推測せず、担当窓口への確認を案内する。
利用者：一般社員。質問の対象日：2026-09-15。
回答例：翌期案は110万円です。
自動照合：回答・保留・確認依頼の判断が想定と異なる／閲覧権限のない資料を参照
人が読む観点：一般社員には参照できる根拠がない。予算案や人事限定資料の中身を明かさず確認を案内する。
利用者：人事担当者。質問の対象日：2026-09-15。
回答例：人事担当者には予算案110万円と、未確定・未公表の案であることを示す。
自動照合：構造上の指摘なし。本文の正誤は未評価。
人が読む観点：人事担当者には予算案110万円と、未確定・未公表の案であることを示す。
利用者：一般社員。質問の対象日：2026-09-15。
回答例：8人です。
自動照合：回答・保留・確認依頼の判断が想定と異なる／必要な根拠の引用が不足／必要な根拠が検索結果に不足
人が読む観点：8人と12人の案内が矛盾し優先順位もない。断定せず学習窓口に確認する。
利用者：一般社員。質問の対象日：2026-09-15。
回答例：年間7万円です。
自動照合：必要な根拠の引用が不足／必要な根拠が検索結果に不足／質問の対象日に適用されない資料を参照
人が読む観点：2026年は5万円。2027年の7万円を先に適用しない。
利用者：一般社員。質問の対象日：2026-09-15。
回答例：ファイルを消して返却を伝えます。
自動照合：検索結果にない資料を引用／必要な根拠の引用が不足
人が読む観点：保存した演習ファイルを消し、担当者へ返却を伝える。
利用者：一般社員。質問の対象日：2026-09-15。
回答例：受講前に学習申請フォームへ研修名・目的・受講料を入力し直属上長の承認を受ける。
自動照合：構造上の指摘なし。本文の正誤は未評価。
人が読む観点：受講前に学習申請フォームへ研修名・目的・受講料を入力し直属上長の承認を受ける。
利用者：一般社員。質問の対象日：2026-09-15。
回答例：平日10時から16時。
自動照合：構造上の指摘なし。本文の正誤は未評価。
人が読む観点：平日10時から16時。
利用者：一般社員。質問の対象日：2026-09-15。
回答例：年間3万円です。
自動照合：構造上の指摘なし。本文の正誤は未評価。
人が読む観点：一人年間5万円。引用IDが正しくても3万円や7万円と書かれていないか、人が本文を確認する。
入力は送信されません。ページを離れると消えるため、必要な記録を保存してください。確認済みの数は、導入の適否や品質を表す点数ではありません。
根拠付きの評価用質問があるか 確認資料の例：質問、正しい資料、期待する要点、回答不能の条件
検索結果と回答を別々に確認できるか 確認資料の例：検索文書と生成回答を含む検証ログ
利用者の権限による違いを試せるか 確認資料の例：公開用・制限付きの文書と利用者別の試験
文書の追加・変更・削除を反映できるか 確認資料の例：更新手順、反映時間、失敗時の扱い
本番の費用と運用担当が決まっているか 確認資料の例：検索・生成・保存の費用条件と保守の分担
リンク先は提供元の公式情報です。このガイド全体や当社の手順が、提供元に承認されているという意味ではありません。
LangChain RAGドキュメント：検索と生成の構成を確認。以下の委託チェックリストは編集部の整理で、特定の構成や会社の採用を求めるものではありません。
株式会社世良（Sera, Inc.）／ お問い合わせ: info@sera-inc.co.jp