BLOG

FIELD NOTES / AI HALLUCINATION

「嘘をつけないAI」は作れるのか?──ハルシネーションが起きる本当の理由と、設計で塞ぐ方法

公開日 最終更新日 著者: 黛 政隆(株式会社GembaShift 代表取締役)

社内文書に答えるAIのPoC(試験導入)は、終わるときはいつも静かです。デモまでは好評。それが本番相当の文書を入れた途端、存在しない規格値や微妙に違う手順を、自信満々に即答してくる。会議室が一瞬で冷えて、「これ、嘘を言いますよね」の一言で終わります。

この記事は、そうやって一度AIに失望した方、「AIは作り話をするからうちには使えない」が社内の空気になっている会社の方に向けて書きます。私もかつて、同じ嘘をAIにつかせていました。だからこれはAIを責める話ではなく、種明かしの話です。

結論を先に。AIの嘘は性格ではなく、情報の渡し方の問題です。設計しだいで 「嘘がつけない、仮についても根拠を見ればすぐバレる仕組み」 は作れます。

Q01AIがもっともらしい嘘をつく(ハルシネーション)のは、なぜですか?

AIの病気でも性格でもありません。嘘の正体は、手元の情報が足りないとき、一般知識からもっともらしく穴埋めする挙動です。つまり嘘の量は、AIの性格ではなく、こちらが渡す情報の設計で決まります。

なぜ穴埋めするのか。AIは訓練の仕組み上、「空欄で出すとゼロ点、当てずっぽうなら点が入るかもしれない」試験を受け続けた受験生のように育っているからです。AIの開発元自身の研究でも、そう説明されています。

この不安は、あなただけのものではありません。年商500億円以上の大企業で生成AI導入に携わった218名への国内調査(2024年10月)では、活用の不安の最多がこの作り話への不安で、59.2%にのぼります。

手元の情報が足りないとき、AIが一般知識からもっともらしく穴埋めしてハルシネーションが生まれる仕組みの図解
手元の情報が足りないとき、AIが一般知識からもっともらしく穴埋めしてハルシネーションが生まれる仕組みの図解

そしてPoCが止まったのは、判断が悪かったからでも、AIがポンコツだったからでもなく、 穴埋めの余地を大量に渡す構成だった からです。

Q02「分からないときは分からないと答えて」と指示すれば、AIの嘘は減りますか?

改善はします。ただ、当て推量が染みついた挙動は、指示1行では消えません。私も散々試しました。嘘は指示で減らすものではなく、設計で塞ぐものです。

指示で消えない理由は、渡している材料の側にあります。社内文書AIでよくあるのは、文書を機械的に細切れにして、質問に似た断片を数枚拾ってAIに渡す方式。用語の揺らぎで正しい断片が拾えない、細切れにした瞬間に文脈が切れる、文書が増えるほど似て非なるノイズが増える──この3つで、穴埋めの余地を量産します。

正しい断片が来ないとき、AIは黙りません。手元に残った断片と一般知識で、穴埋めを始めます。例の受験生です。

念のため書き添えると、似た文書を探す技術そのものは今も欠かせない部品です。問題は技術ではなく、細切れの断片「だけ」を渡す構成のほうにあります。

Q03AIに嘘をつかせない設計とは、具体的に何をするのですか?

順番を逆にします。質問が来てから当てずっぽうに断片を拾うのではなく、資料全体を先に読み解き、用語の揺らぎと資料同士の関連を整理し終えた状態を作っておく。回答が「当てずっぽうの断片拾い」から「整理済みの辞書を引く」動きに変わり、質問が来る前に勝負が終わります。

バラのページの山が、目次と索引のついた一冊になるイメージです。穴埋めに走る前に、正しい答えの載った場所へ一直線にたどり着ける状態を先に作ります。

ただ、ここで必ず壁にぶつかります。資料の書き方・フォーマットの文化は、会社ごとに全く違うということ。汎用の整理テンプレートは、作れないのです。

だから私たちは、 その会社の資料に最適な構造化のやり方自体を、資料を分析して設計するAIエージェント を開発しました。規程・仕様書・図面・報告書と、分野の全く異なる資料を分析し続けて辿り着いた形です。

Q04それでもAIが間違えたときは、どうやって気づけるのですか?

整理しても、間違いはゼロになりません。だから回答が届く前に3つの関門を置きます。①整理済みナレッジに書いてあることだけから回答を組み立てる ②数値・型番など一字違いが致命傷の情報は元データと照合する ③全回答に「どの資料のどこに基づくか」の根拠を添える、の3つです。

  • 関門1:回答は、整理済みナレッジに書いてあることだけから組み立てる。一般知識で穴埋めさせない
  • 関門2:数値・型番など一字違いが致命傷の情報は、元データと照合する。レシートと家計簿の突き合わせ
  • 関門3:全回答に「どの資料のどこに基づくか」の根拠を添え、書かれていないことは「ありません」と答える
回答が届く前に通る3つの関門(ナレッジ限定・元データ照合・根拠の明示)の図解
回答が届く前に通る3つの関門(ナレッジ限定・元データ照合・根拠の明示)の図解

3つ目には、一段深い前提があります。「出典を付けさせれば安心」ではない、ということ。AIは出典自体を作り話することがあり、米国では、AIが生成した実在しない判例を確認せずに裁判所へ提出した弁護士が、実際に制裁を受けました。

だから根拠は、AIに「添えさせる」のではなく、 整理済みナレッジ側から機械的に引きます 。「ありません」と言い切れるのも、全体を整理し終えているから。探した上で書かれていない、と言えるわけです。

Q05毎日の検索や照合まで、AIにやらせるべきですか?

いいえ。資料を読み解いて整理する仕事は判断に幅があるのでAIの出番ですが、整理が済んだ後の毎日の検索・照合・集計は、毎回同じ入力に同じ答えを返す普通のプログラムの方が確実で安い。そのプログラム自体を、AIに作らせます。

そもそもAIは、計算が苦手です。「次に来そうな文字を確率で選ぶ」方式で答えているので、9.11と9.9の大小のような単純な比較すら間違えることがあります。数値の検算は、AIではなくプログラムの仕事です。

この分担は、お財布にも効きます。問い合わせのたびに重いAIを回さないので、 使うほど整理は進んで精度が上がり、継続コストは下がる 構造になります。AIを全部に使わないことが、いちばん賢いAIの使い方。私は本気でそう考えています。

整理は判断に幅があるのでAI、毎日の検索・照合・集計は決定的なプログラム、という役割分担の図解
整理は判断に幅があるのでAI、毎日の検索・照合・集計は決定的なプログラム、という役割分担の図解

Q06自社でも「嘘がつけないAI」を作れるかどうかは、どう確かめればいいですか?

PoCでAIに嘘をつかれたときの質問を、3つ思い出してください。そして「その正しい答えは、どの資料のどこに書いてあるか」を人間が言えるか試してください。言えるなら、その嘘は設計で塞げます。言えないなら、それは嘘の問題ではなく、先に整理の問題です。

机上の構想ではありません。この仕組みは製造業の実際の設計文書で検証済みで、根拠付きの回答だけでなく、図面のレビュー補助や設計書のドラフト生成まで動くところを確認しています(2026年8月時点)。

「AIは作り話をするから使えない」で止まった構想は、まだ捨てなくて大丈夫です。あなたの失望の原因は、AIの性格ではなく構成のほうにあったのですから。

よくある質問(FAQ)

Q. 「嘘をつかないAI」と「嘘がつけないAI」は、何が違うのですか?
A. 整理しても間違いはゼロにならないため、「嘘をつかないAI」は作れません。作れるのは、整理済みナレッジの外から答えを組み立てられず、仮に間違っても根拠を見ればすぐバレる「嘘がつけない仕組み」です。間違いゼロを約束するのではなく、間違いに気づけることを設計で保証します。
Q. ハルシネーションは、AIの性能が上がれば自然に消えますか?
A. 性能待ちはおすすめしません。もっともらしい穴埋めは、「当てずっぽうでも点が入るかもしれない試験」を受け続けた訓練の仕組みに由来する挙動で、AIの開発元自身の研究でもそう説明されています。賢いモデルへの乗り換えではなく、穴埋めの余地を渡さない設計で塞ぐのが確実です。
Q. 社内文書に書かれていないことを質問すると、どうなりますか?
A. 「ありません」と答えます。資料全体を先に整理し終えているため、「探した上で書かれていない」と言い切れます。一般知識でもっともらしく穴埋めした答えが返ってくることはありません。
Q. PoCで一度失敗した文書でも、やり直せますか?
A. やり直せます。PoCが止まった原因の多くは、AIの性能ではなく、穴埋めの余地を大量に渡す構成の側にあるからです。NDAを結んでナレッジをそのまま渡すだけの無償実証トライアルで、御社の実際の文書と、実際に嘘をつかれた質問を使って効果を実測できます。

AUTHOR

株式会社GembaShift 代表取締役CEO 黛 政隆

黛 政隆(まゆずみ まさたか)

株式会社GembaShift 代表取締役CEO

エンジニア歴20年、PM経験50件超。生成AIの導入を、現場に入って一緒に組む仕事をしています。 この記事の内容は、著者自身が実際に手を動かして業務で検証した実体験に基づいています。

FREE DOWNLOAD

AI導入の仕分けチェックシート

この記事の仕分け方を、24の問いのシートにしました。メール登録で無料で受け取れます。

無料で受け取る

まずは、現場の話から。

PoCでAIに嘘をつかれた、あの質問。御社の文書で本当に塞げるのかを確かめたい方は、まずどの業務なら嘘を塞げるのかの仕分けから、30分の構造診断でお話ししましょう。NDAを結んでナレッジをそのまま渡すだけの無償実証トライアルで、御社の実際の文書と質問を使って効果を実測することもできます。