RAGはどうしてAIの作り話を減らす助けになる?
RAG は、先に資料を探し、その内容を参考に AI が答える方法です。送料の質問なら、該当する配送案内を探すことで、回答の根拠を用意できます。情報の作り話を減らす助けになりますが、古い資料、別の配送方法、例外の抜けは誤回答につながります。資料が正しいか、質問に当てはまるか、回答に条件が残っているかの三点を確認しましょう。
Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks ↗
三段階で原因を分ける
正解が資料にあるか、質問から該当内容にたどれるか、回答で条件が残るかを見ます。「在庫品は二日で発送」が「全商品が二日で届く」にならないよう、在庫・予約・営業日の条件を明記して再テストします。
資料に答えがないときの返し方
「情報不足なら確認し、仕様・割引・規定を作らない」をPromptの固定ルールにして毎回の会話に含めます。ナレッジの一段落だけに置くと、関連性によっては取得されない可能性があります。人の対応が必要なら引き継ぎを別途設定。情報に答えのない質問を用意し、更新後も根拠のない約束が出ないか確認します。
一つの誤回答から直す場所を探す
予約商品を翌日発送と答えたら、正しい資料があるか確認します。不足なら追加、在庫規定との混同なら対象を明確化、条件の省略なら回答ルールを見直します。原因ごとに修正方法は違います。「間違えないで」だけで終わらせず、変更箇所と再テストを結び付けます。
資料にないことも質問する
資料にない色、発表していない割引、未確認の到着日も質問します。役立つ回答は、分かっている内容を伝えたうえで、追加情報や人の確認を求めます。「青はある?」なら、勝手に特注を約束せず、資料にある色を案内できます。続けて質問しても店のルールを守るか確認しましょう。
有効な版を整理してから不足を補う
矛盾する三つの版より、確認済みの一つの説明の方が使いやすい場合があります。有効な版を決めて古い情報を整理しつつ、条件のない短文にしすぎないようにします。実際の質問に必要な事実、対象、例外を残し、追加には具体的な目的を持たせます。
やり取り全体を読んで正しさを確認する
質問から回答の最後まで読みます。予約時期の説明が正しくても、最後に「金曜到着を保証します」と加われば修正が必要です。日付、金額、商品、次の案内を確かめ、実行できる約束か確認しましょう。人が必要なら有効な連絡先か設定済みの引き継ぎを使い、会話全体で再テストします。
実際に設定する
お店によく届く質問で、Agent の設定を始めましょう。