AIカスタマーサポートの品質劣化はどう防ぐのか？──「なんかおかしい」を数字で捕まえる設計

1. ユーザーの問い合わせの傾向が変わった：最も多く、最も気づきにくい原因。セール期に新規顧客が増えると語彙や意図が微妙に変わり、以前のFAQに最適化されていたAIが少しずつミスマッチを起こす
2. 参照しているFAQが古くなった：送料ルールの変更や返品ポリシーの更新を反映し忘れると、AIは正直に古い情報を答え続ける
3. AIモデル自体が更新された：SaaSで使っているLLMはベンダー側で定期的に更新され、同じプロンプトでもトーンや形式が変わることがある

対処の前に、切り分けがひとつ要ります。「AIの回答がおかしい」には、最初からうまく答えられていなかった誤回答（設計の問題）と、以前と比べてだんだんおかしくなってきた精度の変化（環境変化の問題）の2種類があります。混同すると対処法も変わるので、切り分けることが先決です。

機械的に検出できる異常は、意外と多いのです。

• 回答が極端に短い（「情報が見つかりません」が含まれる）
• 定型のエラーメッセージが混入している
• 指定した返信フォーマット（件名・署名・対応番号）から外れた出力
• 同じカテゴリで突然エスカレーション率が跳ね上がった

もう一段効くのが 「AIにAIをチェックさせる」 設計です。あるEC企業では、第1のAIが回答文を生成し、第2のAIが「この回答は問い合わせの意図に答えているか？」を0〜10点でスコアリングして、7点以下だけを人間に回す設計を試しました。全件確認ゼロで品質ラインを維持でき、担当者には「この7件だけ確認してください」という安心感が生まれました。「確認してください」より「この7件だけ」の方が、人間は動きやすいのです。

ECサイトなら「配送遅延」「返品・交換の手続き確認」「注文キャンセル」「ポイント残高照会」あたりを頻出パターンで作ると実用的です。

コツをひとつ。定点観測セットには、ちょっと意地悪な問い合わせを数本入れておきます。「昨日注文したのに発送されてないんですが、どういうことですか？（怒り口調）」のような感情的な問い合わせです。トーンの変化はこういう問い合わせに一番出やすく、丁寧な問い合わせばかりで検証していると本番の問題を見逃します。

ヤマトコンタクトサービスが生成AIを活用したCS対応で、FAQ提案のマッチ率を従来の約2倍（85%）に引き上げ、配送関連メール問い合わせの約20%を自動処理できるようになった事例も、継続的なFAQメンテナンスを組み合わせていたから成立しています。「入れたら終わり」ではなく 「入れ続ける仕組み」 があったから精度が維持できたのです。

「この回答が間違っていた」というボタンは、あまり押してもらえません。自分がAIに間違いを指摘するという行動は、ユーザーにとって心理的ハードルが高いからです。「もう少し詳しく聞く」は誰もが日常的にやる自然な行動なので、抵抗感がありません。

「もう少し詳しく」を押した率が高いカテゴリは、一回の回答では解決できていない領域です。「間違っているか」ではなく「足りているか」を測る指標として使えます。予想外の言葉や感情の温度で来る問い合わせは定点観測ではカバーしきれないので、ユーザー自身に教えてもらう設計が最後のセーフティネットになります。

検知の土台になるのがログです。「いつ・どんな問い合わせが来て・どう答えたか」を残しておく。ただし全部読む必要はありません。使う場面は、問題が起きたときの振り返りと、月1回の定点観測の2つだけです。

ログがあると、チームの意思決定も変わります。「なんかおかしい気がする」が「先月比でエスカレーション率が15%上がった」になれば、原因調査に動きやすくなります。AIは「入れてよかった」で終わらせず、「入れ続けてよかった」に変える。その分かれ目が品質維持の仕組みです。