PoC（小規模なテスト導入）で精度90％が出たとき、正直に言うと、私は「これはいける」と思ってしまいました。「あとは本番に載せるだけだ」と。でも本番に持っていったら、精度は60％台に落ちました。
AIは何も変わっていませんでした。変わったのは、データと使う人の条件です。
株式会社GembaShift代表の黛（まゆずみ）です。この記事では、PoCの「成功」が本番で崩れる構造を3パターンに分解します。ルールが分かれば、次の一手は打てます。
Q01AIのPoCで精度が出たのに、本番で失敗するのはなぜですか？
PoCと本番が、まったく別のゲームだからです。PoCの精度は「きれいなデータ・想定どおりの使い方」で出た数字で、本番はその逆。AIの精度が落ちたのではなく、PoCでは出会わなかったパターンに初めて遭遇しているだけです。
うちだけの話ではありません。複数のグローバル調査で、AIプロジェクトの4割前後が本番化に至らないと報告されています。PwC Japanの調査でも、生成AIで「期待を大きく上回る効果」を実感している日本企業は約1割にとどまります（元記事公開の2026年4月時点）。
失敗の構造は、大きく3つのパターンに分かれます。①テストデータが本番を代表していなかった、②直す人がいなかった、③全社展開を急ぎすぎた。順番に見ていきます。
Q02精度90％あれば、実務には十分ではないのですか？
工程が連鎖すると足りなくなります。精度90％でも5ステップ連鎖すると、0.9の5乗で約59％まで落ちます。「テストでは良かったのに」の正体は、ここにあります。
1つの工程だけ見れば「9割当たる」は優秀に見えます。でも実務は、読み取り→分類→転記→照合→出力のように複数の工程がつながって初めて完結します。掛け算で効いてくることを、PoCの段階で織り込んでおく必要があります。
Q03PoCのテストデータは、どう作ればいいのですか？
テストデータの20％を意図的に例外ケースにして、PoCを「失敗を発見する場」に切り替えます。きれいな代表例だけで構成すると、本番で出会う手書きの崩れやフォーマット混在に、稼働後に初めてぶつかることになります。
これが最も多い失敗です。生成AIは汎用モデルだからこそ、入力の幅が広がると出力も揺れます。本番で精度が落ちたのではなく、PoCで例外を避けていただけ ──ここに気づけるかどうかです。
- チェック1：テストデータが「きれいなサンプル」だけになっていないか
- チェック2：例外パターン（手書きの崩れ・フォーマット混在など）を意図的に含めたか
Q04本番稼働後の改善体制は、どう作ればいいのですか？
「出力がおかしい」と報告する仕組みと、2週間以内に改善を反映できる体制を、本番開始前に決めておきます。PoCではベンダーが全力でチューニングしてくれますが、本番後に誰が改善するのか決まっていないケースが多く、これは精度ではなく体制の設計不良です。
精度60％でも2週間で改善サイクルを回せるチームは勝てます。90％のまま半年動かないチームは負ける。この差は、モデルの性能ではなく運用の設計から生まれます。
処方箋は地味です。週1回、エラー事例を5件集める30分のミーティング。泥臭いですけど、これが一番早いです。
Q05PoCが成功したら、すぐ全社展開すべきですか？
急がないほうがいいです。1チームの成功条件を、他部門も持っているとは限りません。「1チーム×1業務×2ヶ月」の単位で回し、全社展開は判断の結果であって、計画の前提にしないのが原則です。
- チェック1：一斉展開を計画していないか
- チェック2：最初のチームの成功要因を言語化できているか
コスト面の工夫もひとつ。下書きは軽いモデルに任せ、最終チェックだけ高性能モデルにすれば、運用コストは半分以下になります。
Q063つの失敗パターンのうち、いちばん多いのはどれですか？
「直す人がいなかった」です。精度の問題ではなく、直す仕組みがない問題。PoCと本番はまったく別のゲームですが、ルールが分かれば次の一手は打てます。精度は変えられます──変えるための仕組みさえあれば。
「AIの精度が低いからダメだった」で片付けてほしくないんです。テストデータに例外を2割入れる。2週間の改善サイクルを決めておく。展開は1チーム×1業務×2ヶ月で。この3つだけで、PoCの景色はかなり変わります。
よくある質問（FAQ）
- Q. PoCとは何ですか？
- A. Proof of Concept（概念実証）の略で、本格導入の前に小規模なテスト導入で効果を確かめる取り組みです。ただしPoCの精度は「きれいなデータ・想定どおりの使い方」で出た数字であり、本番とは条件が別物である点に注意が必要です。
- Q. AIプロジェクトは、どのくらいの割合で本番化に失敗しているのですか？
- A. 複数のグローバル調査で、AIプロジェクトの4割前後が本番化に至らないと報告されています。PwC Japanの調査でも、生成AIで「期待を大きく上回る効果」を実感している日本企業は約1割にとどまります（元記事公開の2026年4月時点）。
- Q. 精度が60％しか出ていなくても、本番導入していいのですか？
- A. 改善体制しだいです。精度60％でも2週間で改善サイクルを回せるチームは勝てますし、90％のまま半年動かないチームは負けます。「出力がおかしい」と報告する仕組みと、2週間以内に反映できる体制が先です。
- Q. 生成AIの運用コストを下げる方法はありますか？
- A. 処理を分担させることです。下書きは軽いモデルに任せ、最終チェックだけ高性能モデルにすれば、運用コストは半分以下になります。
AUTHOR
黛 政隆（まゆずみ まさたか）
株式会社GembaShift 代表取締役CEO
エンジニア歴20年、PM経験50件超。生成AIの導入を、現場に入って一緒に組む仕事をしています。 この記事の内容は、著者自身が実際に手を動かして業務で検証した実体験に基づいています。