AI自動返信

AIチャットボットの育て方:Prompt・情報整理・テスト

AIが間違えたときは、情報と指示のどちらを直す?予約品を在庫品と間違える例から、Prompt・ナレッジ・再テストの進め方を説明します。

お店で行うAIチャットボットの学習とは?

お店でいう「AIを育てる」とは、情報を整え、答え方を決め、実際に質問することです。モデルの学習知識がなくても始められます。予約品を翌日発送と答えたら発送条件を確認し、勝手に到着日を保証したらPromptに「確認済みの配送条件に沿って回答する」と書きます。Promptは毎回の会話に含まれ、ナレッジは質問に関連する内容が選ばれるため、分けて整えましょう。

繰り返し使える質問集を作る

通常の質問、口語、例外、未登録の質問を用意し、許容できる答えも記録します。更新後は同じ問題を再テスト。送料が違う場合は古い条件が残っていないか確認し、「正確に答えて」という指示だけで済ませないようにします。

原因を一つずつ修正する

事実が足りなければ情報を追加し、過剰な約束ならルールを修正し、判断が必要なら引き継ぎます。変更前後の回答を残すと効果を追えます。再現しにくい問題は会話の文脈も保存し、チームで確認してください。

先に合格となる回答条件を書く

正解文を一字一句固定する必要はありません。必要な情報と禁止する断定を列挙します。配送なら対象商品や営業日を示し、発送日を到着保証に変えないことなどです。表現が違っても同じ基準で判定できます。未登録の質問も用意し、不明点と次の行動を案内できるか確認しましょう。

誤回答を修正できる原因まで追う

予約商品への質問に在庫商品の発送目安が返ったら、両方の資料の商品名と条件、選択ページ、学習状態を確認します。その後、商品が不明なときに追加で確認する Prompt になっているかを調べます。一つの原因を直し、元の質問と新しい回答を残しましょう。Agent、役割、資料、接続を同時に変更すると、改善した理由を特定しにくくなります。

Prompt の各カードは編集後に保存する

PromptのCharacter・Task・Rules・Informationは、編集したカードごとに保存しましょう。編集したカードの保存を確認し、その目的に合う質問で試します。役割、仕事、対応範囲を整理し、同じ長文を全カードに繰り返さないようにします。変動する商品情報はナレッジで管理し、更新後もPromptに旧価格が残る状態を避けましょう。矛盾のない短い規則の方が見直しやすくなります。

毎週、よくある質問の回答を改善する

毎週、回答が分かりにくかった会話をいくつか選び、サイズ、送料、予約商品の発送時期など、購入に関わる質問から直します。変更したナレッジや Prompt カードを簡単に記録し、元の質問と以前から答えられていた質問を試しましょう。使える内容を少しずつ増やせて、次に直す場所も見つけやすくなります。

実際に設定する

お店によく届く質問で、Agent の設定を始めましょう。

無料で設定を始める ↗Promptの設定 →

関連記事