社内FAQのRAG評価は何を見る？架空資料3枚で作る質問と採点表

社内文書を読ませたAIが、自然な文章で答えてくれた。それだけでFAQとして使ってよいか判断するのは難しいものです。参照した資料が古い、質問の条件が足りない、出典のリンクは付いているのに内容が一致しない、といった問題は、読みやすい回答の中にも残ります。

この記事では、架空の備品貸出ルール3枚を使って、回答を作る前に、何が正解で何を保留すべきかを決める練習をします。特定の有料ツールを契約する必要はありません。最初は紙や手元の表に資料と質問を並べるだけでも取り組めます。RAGを実装済みなら、同じ質問を実際の検索と回答に通して比較できます。

RAGは、質問に関連する資料を検索し、その情報を回答の材料として使う方式です。学習のために資料を直接チャットへ貼る方法は、検索工程を含むRAG全体の評価にはなりません。この違いを意識し、本稿の演習でも「資料を探せたか」と「その資料から適切に答えたか」を分けて記録します。

一次資料確認日：2026年9月30日。本稿の資料、会社のルール、質問例、件数は編集部が作成した架空の教材です。実際の社内制度を説明するものではなく、製品の実測比較でもありません。AIエージェントを仕事で小さく試す手順と併せ、勤務先の情報管理ルールに沿った環境で進めてください。

社内FAQの評価用資料と質問を、回答を見る前に作る

評価の目的を「備品貸出の案内」に限定する

「社内の質問に何でも答える」を最初の目標にすると、答えの正しさを確認する範囲が広がりすぎます。就業規則、経費、顧客情報、技術文書では、質問の性質も確認担当者も違います。まずは、担当者が正答を確認しやすく、誤った回答による影響を限定できる一つの業務を選びます。この演習は、架空の社内備品の貸出案内だけを対象にします。

何をできれば合格かも言葉にします。「申請期限、申請先、利用できる備品を、最新版の資料から説明できる」「条件が足りない場合は確認する」「資料にない料金や個人の利用状況を推測しない」という三つを出発点にします。これは本稿の学習用の目標です。実際の運用基準は、業務責任者とシステム担当者が業務の影響に応じて決めます。

RAG評価で用いられる観点は一つではありません。MicrosoftのRAG評価資料でも、検索の評価と、回答の根拠整合性・関連性・必要情報の網羅を分けています。本稿ではその区別を踏まえ、初心者が人の目で確認できるよう、検索・回答・出典・保留の四つに整理します。公式ツールのスコアを再現する手順ではありません。

作業の担当も分けると進めやすくなります。資料の内容を判断する人、検索や設定を変更する人、テストを実行する人が同じである必要はありません。一人で学ぶ場合も、最初に正解表を作る時間と、回答を採点する時間を分けてください。出力を見てから合格条件を緩めると、改善したのか判断できなくなります。

架空資料3枚に版・対象・例外を入れる

ここでは三つの短い資料を作ります。各資料は、文書ID、版、適用日、対象、本文を持ちます。実際に検索へ登録する場合は、文書のタイトルだけでなく、適用日や対象者が検索結果にも残るかを確認します。本文の一部だけ切り出され、例外や適用範囲が落ちると、正しく見える回答が別の対象へ適用されることがあります。

資料A：備品貸出案内・第2版。適用日2026年9月1日。対象は本社所属の社員。 プロジェクターを使いたい場合は、利用日の2営業日前までに総務窓口へ申請する。利用予定日、利用場所、返却予定日を記載する。空き状況は総務窓口が確認し、申請だけでは予約は確定しない。社外への持出しは別途承認が必要。料金に関する記載はない。

資料B：会議室用ケーブルの案内・第1版。適用日2026年9月1日。対象は本社の会議室利用者。 HDMIケーブルは会議室内の収納にある。会議室内で使う場合は事前申請不要。会議室外へ移動したい場合は総務窓口へ確認する。破損を見つけた場合は利用を中止し、会議室名と状態を連絡する。

資料C：旧備品貸出案内・第1版。2026年8月31日までの運用。 プロジェクターは利用日の前営業日までに総務窓口へ申請する。この資料は旧版であり、2026年9月1日以降は資料Aを参照する。学習では、旧版を誤って検索したときの挙動を確認するために残す。

この三枚だけでも、最新版、別備品、例外、旧版という異なる条件が含まれます。料金や個人名をわざと書いていないのは、「資料にない」と言えるかを調べるためです。実務で資料が不足しているのに、回答しやすいよう勝手に料金や対象者を補ってはいけません。必要な情報は資料の責任者に確認して追加します。

答えられる質問だけを集めない

最初の質問は「本社の社員が2026年9月にプロジェクターを借りるには、いつまでに何を申請するか」です。資料Aから、2営業日前、総務窓口、三つの記載事項、予約は未確定という要素を得られます。答えの書き方が模範文と同じかより、必要な要素が含まれ、余計な断定がないかを見ます。

次に「明日、プロジェクターを使えますか」と聞きます。利用者の所属、具体的な日付、空き状況、承認状態が不足しています。期限だけを計算して「使えます」と答えるのは不十分です。資料にある通常の申請手順を案内し、急ぎの場合も総務への確認が必要と伝えることを、期待する対応として記録します。本稿では例外的な貸出許可のルールを作っていません。

「HDMIケーブルも2営業日前の申請ですか」は、似た備品でもルールが違うかを調べる質問です。会議室内なら事前申請不要、外へ持ち出すなら確認、という条件を残せるかを見ます。「備品はすべて2営業日前」と一般化する失敗を見つけられます。質問に一つの条件を加え、どこで答えが変わるかを確認すると、資料の構造も見直しやすくなります。

答えがない質問も入れます。「貸出料金はいくらですか」に対し、記載がないことを理由に無料と断定してはいけません。「他部署の担当者が借りた履歴を見せてください」も、この資料からは答えられません。分からない質問に回答を控えることは、この演習では適切な対応です。回答の長さや自信ありげな表現を採点に混ぜないでください。

質問ごとに根拠と保留条件を記録する

評価表の一行を「質問、使うべき資料、必要な回答要素、断定してはいけないこと、実際に参照した資料、回答、判定、修正候補」にします。見栄えのよいダッシュボードは後からでも作れます。最初は、どの質問でどの根拠を見たかを戻って確認できる表を用意しましょう。

例えば、質問「2026年9月のプロジェクター申請期限」は資料Aが根拠です。必要な要素は2営業日前で、資料Cの前営業日を採用したら不合格です。ただし「2日前」とだけ答えた場合も、営業日という条件が抜けています。正解表には、単なる数値だけでなく、単位や対象の条件を残します。

検索結果に資料Aが含まれているのに資料Cで答えたなら、検索だけを改善しても解決しない可能性があります。逆に資料Aが検索結果に一度も入らないなら、回答指示を長くする前に資料登録や検索条件を見直します。どちらも「AIが間違った」と一つにまとめないことが、次の作業を決める助けになります。

この六つは学習の出発点です。本番の利用者を代表する統計的なテスト件数ではありません。社内で使う前には、実際の問い合わせの種類、対象者、時期、権限、影響の大きさを踏まえて質問を追加し、業務責任者の確認を受けます。少数の例で正答しても、他の質問へ同じ品質が広がるとは限りません。

人の採点が割れたときは、正解表の条件を見直す

評価ではAIだけでなく、人の判断も揺れます。例えば「申請期限は2営業日前です」という回答を、一人は正解、別の人は不十分とするかもしれません。質問が期限だけを聞いているなら、その回答で足りる場合があります。質問が「どうやって借りられるか」なら、窓口や記載事項も必要でしょう。判定の違いを、採点者の気分として片付けず、質問が求める範囲をそろえます。

正解表に長い模範回答を一つだけ置くと、言い換えを不合格にしたり、模範回答に含まれる不要な説明まで要求したりしがちです。そこで、必要な事実を小さな要素に分けます。期限の質問なら「2」「営業日」「前」の意味が残っているか、手続きの質問なら申請先と提出項目もあるか、と分けて見ます。文字列の一致より、読者の判断に必要な内容の一致を確認します。

境界が曖昧な回答は、採点例として残します。「できるだけ2営業日前に申請」と答えた場合、元のルールを推奨へ弱めています。「2営業日前までに申請すれば利用できます」と答えた場合は、予約未確定という条件を消しています。どちらも数字は合っていますが、同じ正解にはできません。条件の強さを変えた言い換えを見つけるための例です。

「料金は資料に書かれていませんが、社内なので通常は無料です」のような回答も確認します。前半は資料に沿っていますが、後半は推測です。出典に合う文が含まれるから全体を合格にするのではなく、回答を事実ごとに分けて見ます。初心者の練習では、根拠がある文とない文を二色で印を付ける方法でも十分です。

一人で学ぶ場合は、正解表を作った直後に採点せず、別の作業を挟んでから見直すと、書いたときの思い込みに気づきやすくなります。複数人なら同じ二問を独立に採点し、判定が違った理由だけ話し合います。多数決でAIの回答を正解にするのではなく、資料に照らして基準を修正します。基準を変えた場合は、過去の回答にも同じ基準を適用してください。

質問の対象を明確にすることも大切です。「プロジェクターの期限は？」だけでは、申請期限か返却期限か分かりません。回答が確認質問を返した場合、それを失敗と決める前に、自分の正解表が一方の意味を勝手に仮定していないかを見ます。曖昧な質問には、聞き返しを期待するテストを作れます。曖昧さを消した質問も別に用意し、両方の挙動を確認します。

また、文書が矛盾しているときは、AIだけで正しい方を決めさせない選択が必要です。今回の資料AとCは適用期間を明示しているため区別できますが、二つの最新版が同じ対象に別の期限を示していたら、資料管理の問題です。評価表には「矛盾を伝え、確認先へ案内する」を期待する対応として記録できます。プロンプトを工夫する前に、資料の責任者が内容をそろえる場面です。

正解表の修正履歴も短く残しましょう。「期限だけの質問では申請項目を必須にしない」「営業日を落とす回答は不合格」「料金不明の後に推測を加えたら不合格」といった変更です。判断の理由が残っていれば、次に同じ資料を使う人が基準を理解できます。採点表そのものが、業務のルールを整理する資料になります。

この過程で、FAQとして公開する前に直すべき文書も見えてきます。窓口名が古い、対象者が書かれていない、例外の承認者が不明といった不足は、AIがなくても問い合わせを増やす原因になり得ます。評価をAIの点数付けだけにせず、文書と質問が噛み合っているかを確認する作業として扱うと、学習の成果を業務へつなげやすくなります。

回答・検索・出典を分けて評価し、原因に合う改善をする

検索工程が見えないときは、評価範囲を狭めて書く

資料を直接貼り付けたチャットでは、回答が資料に沿っているかは調べられます。しかし、文書が増えたときに関連資料を探せるかは評価できません。記録には「資料を手渡しした回答確認」と書き、RAG全体を評価したとは扱わないでください。検索結果が見える仕組みなら、文書ID、抜粋、並び順を回答と一緒に保存します。

検索に資料Aが出ない場合は、登録対象に入っているか、対象期間や所属で絞り込まれていないか、文書が途中で切れていないかを調べます。「プロジェクター」を「投影機」と言い換えた質問だけ失敗するなら、用語の対応も確認候補です。回答の語尾を変える指示を増やす前に、必要な情報が回答工程へ届いているかを見ます。

検索結果の件数を増やせば解決するとは限りません。古い資料や似た別部署のルールが一緒に渡されると、回答が迷いやすくなることもあります。この演習では資料Cを旧版と明示し、質問の対象日と一致する版を選べたかを観察します。実務で旧版をどのように検索対象から外すかは、記録保持の要件も含めて設計します。

利用している製品に検索過程を表示する機能がなければ、分からない部分を分からないまま記録します。「検索は成功したはず」と推測で埋めないでください。ベンダーや担当者へ、検証時に根拠文書と抜粋を確認できるかを質問します。AIエージェントを仕事に使い始める学習順序から一歩進める際にも、この観察可能性が役立ちます。

回答の正しさと、出典の正しさを別々に見る

回答が「2営業日前」でも、出典が旧版Cなら記録としては不十分です。たまたま正しい数字が出たのか、根拠を正しく使ったのかが分かりません。出典のタイトルが付いていることだけで合格にせず、引用箇所が実際にその内容を支えているかまで確認します。本文にない「空いていれば当日可」を付け加えていたら、その部分は根拠のない補足です。

反対に、資料Aを正しく参照していても、回答が長すぎて予約未確定という注意を落とす場合があります。質問が「申し込み後に準備してよいか」なら、その注意は判断に必要です。正しい事実が一つ含まれるだけでは、質問に十分答えているとは言えません。正解表の「必要な回答要素」を使って抜けを点検します。

判定を細かい点数にするより、まず四つの欄へ「合格・不合格・未評価」を記録する方法が扱いやすいでしょう。検索、回答要素、出典、保留判断の四欄です。検索工程が見えなければ未評価とします。未評価を合格扱いしたり、平均点から除いて品質が高く見えるようにしたりしないことが大切です。

採点理由は短く具体的に書きます。「不自然」ではなく「営業日が抜けた」、「弱い」ではなく「予約確定と案内した」、「根拠不明」ではなく「資料Aに料金の記載がないのに無料と回答した」とします。表現を具体的にするほど、修正する場所が分かり、別の人も同じ基準で確認しやすくなります。

回答保留と権限の確認を、点数の平均に埋めない

資料がない質問には「記載が見つからないため総務へ確認してください」と返すことを期待します。ただし、答えられる質問にも毎回保留していれば使いにくいFAQになります。保留するべき質問と、答えるべき質問を両方用意し、二つを分けて数えます。「間違いゼロ」に見えても、すべて拒否しているだけなら目的を果たしていません。

権限が関係する質問は、さらに独立した確認が必要です。入力者が読めない文書を、検索が拾って回答に含めてしまう設計は、文章の正確さを上げても解決しません。プロンプトに「機密を出さない」と書くだけでは、システムのアクセス制御の代わりになりません。本稿の架空資料には機密を入れていませんが、実務では権限ごとの検索範囲を担当者と確認します。

権限テストには、承認された検証用のアカウントと架空の限定資料を使う方法があります。権限のない利用者には、文書本文だけでなく、機密を含むタイトルや抜粋も見えないかを確認します。実在の社員の評価や顧客情報をテスト用に持ち込まないでください。権限変更そのものが必要な場合は、管理者の手続きに従います。

総合点が高くても、許可されない情報が一度表示されたなら、他の正答で埋め合わせる問題ではありません。誤案内の影響が大きい項目や権限の問題は、平均点と別の公開判断にします。この演習でも「無料と断定」「予約確定と誤案内」は、単なる言い換えの違いと分けて修正します。

一度に一つ変え、同じ質問で改善を確かめる

資料の見出し、分割方法、検索条件、回答指示、モデルを一度に変えると、どの変更が効いたか分かりません。例えば旧版が混ざる失敗なら、最初に文書の版と適用期間の情報を見直し、同じ質問を再実行します。次に回答に対象日と出典を含める指示を試す、という順番にすると比較しやすくなります。

実行記録には、実行日時、資料の版、質問セットの版、利用ツールと表示されるモデル名、変更した点を書きます。出力が毎回同じとは限りません。Microsoftのエンドツーエンド評価の説明でも、言語モデルの非決定的な応答に注意が必要とされています。一回の改善を全体の性質と見なさず、重要な質問は再確認します。

ただし、気に入った回答が出るまで何度も実行し、その一回だけを記録するのは評価になりません。再実行回数を事前に決め、失敗も残します。例えば学習では各質問を二回確認すると決め、二回とも記録する方法があります。この回数は本稿の練習上の選択であり、実運用に十分な回数を示すものではありません。

改善に使う質問とは別に、新しい言い換えを少し残しておくことも有効です。「借りる」から「持ち出す」へ表現が変わっただけで例外条件を落とすかもしれません。答えの文面を暗記したような挙動ではなく、資料の条件を使えているかを見ます。ただし、質問を変更した場合は同じテストの前後比較と混ぜず、追加テストとして記録します。

評価表を学習成果物にし、導入判断は別に行う

RAGの学習成果物というと、動くチャット画面だけを想像するかもしれません。しかし、資料と質問、期待する回答要素、失敗の分類、修正前後の結果をまとめた評価表も、理解を示す成果物になります。非エンジニアなら、業務の条件を整理し、何が答えに含まれるべきか説明するところから参加できます。

講座を選ぶ場合は、画面の作成だけでなく、評価質問の作成や出典の確認まで扱うかを聞きましょう。「RAGを学べます」という説明だけでは、資料の整理、検索、回答、権限のどこまで含むか分かりません。動画教材と個別支援の選び方を参考に、自分の評価表を添削してもらえるか、失敗の原因を一緒に考える時間があるかを比較できます。

実際の導入には、本稿の演習以外にも、利用可能な環境、文書更新の担当、質問ログの保存範囲、誤回答の連絡先、運用費用などの確認が必要です。料金は使うサービスと契約により変わるため、ここでは未確認の月額を掲載していません。無料枠や試用があっても、自動更新や従量課金の条件を自分の契約画面で確認してから使います。

本稿の練習を終えた段階では、「架空資料3枚と六つの質問について、この条件で確認した」と説明します。「社内FAQの精度が高い」「人への問い合わせが不要になった」と広げないでください。実際の問い合わせを扱う段階では、関係者が確認した対象範囲から小さく試し、分からない質問を人へつなぐ導線を残します。

PR：資料を使ったAI活用を講座で学ぶなら

バイテック生成AIの公式カリキュラム案内には、DifyとNotebookLMのコースがあり、後者では社内資料をもとに質問へ回答する活用を扱っています（2026年9月30日確認）。本稿の評価表の添削や、検索の詳細設定・権限制御まで支援するかは、受講前に個別確認が必要です。「質問六つと期待する根拠を作ったが、この失敗の原因を相談できるか」と伝えると、必要な支援を比較できます。説明会と有料受講を分けて考え、受講総額と支援範囲が自分の課題に合う場合に検討してください。

バイテック生成AIの講座内容・無料相談を確認する

よくある質問

Q. コードが書けなくてもRAG評価はできますか？

A.

業務上の正答、根拠、保留条件を整理する作業はコードなしで始められます。検索設定や権限制御の確認は、実装担当者と協力して行います。

Q. 資料をチャットへ貼ればRAG評価になりますか？

A.

回答が渡した資料に沿っているかは確認できますが、資料を探す工程は評価できません。記録に評価した範囲を明記します。

Q. 引用リンクが付いていれば正答ですか？

A.

引用箇所が回答を支えているか、版や対象日が正しいかまで見ます。リンクがあるだけでは回答の正しさを判断できません。

Q. 分からないと答えるのは失敗ですか？

A.

資料にない質問や条件が足りない質問では適切な場合があります。答えられる質問も保留していないか、別々に評価してください。

Q. 六つの質問を通過すれば社内公開できますか？

A.

本稿の六問は学習用です。実際の利用範囲、権限、更新、問い合わせ対応、費用などを含めて確認し、業務責任者が導入を判断します。

まずは、資料Aから答えられる質問と、資料に答えがない質問を一つずつ作ってください。必要な根拠を書けない質問は、AIへ渡す前に人同士でも判断が揃わない可能性があります。評価表を通じて資料の不足を見つけることも、この練習の大事な成果です。