「ローカルAI（自社で動かすAI）って、結局アリなんですか？ ナシなんですか？」──最近、よくこう聞かれます。
「もうクラウドは要らない」と言う人と、「まだ早い」と言う人。どちらの声も大きいのですが、正直、どちらも雑です。現場で生成AIの実装をやっている株式会社GembaShift代表の黛（まゆずみ）です。
アリかナシかは、感覚で決める話ではありません。ライセンス・コスト構造・ハードと精度の現実──この3つを見れば、判断は立ちます。順番に説明します。
Q01ローカルLLMの導入は「アリかナシか」で判断できますか？
できません。ローカルかクラウドかを一本の旗で決めようとするのが、そもそも罠です。信条で選ぶ話ではなく、ライセンス・コスト構造・ハードと精度の現実という3つの物差しで、業務ごとに見極める話です。
性能の高いAIを自社で動かせる時代になったのは、もう前提です。問題はその先。思想ではなく、電卓で決める ──これがこの記事の結論の先出しです。
Q02無料で公開されているAIモデルは、企業がそのまま使っていいのですか？
そのままではいけません。オープンウェイトはオープンソースではなく、重み（AIの中身のデータ）が公開されていても、利用規約はモデルごとにバラバラです。採用前に最新の規約を必ず確認するのが鉄則です。
比較的ゆるい規約（Apache 2.0系など）のものもあれば、提供元が独自の規約を敷いていて、大規模に使うなら別途確認が要るものもあります。規約は版でコロコロ変わります。
規約以前の壁もあります。出自です。性能上位の一角は中国発のモデル（QwenやDeepSeekなど）で、手元で閉じて動かしても、調達やセキュリティ監査の段で「中国由来は避けたい」という発注元が現実にいます。製造系で特にその傾向を感じます。
逃げ道はあって、Mistral（フランス）やGemma（Google）など非中国系の選択肢も育ってきています。つまり、強い、と、使っていい、は別。ベンチマーク1位がそのまま自社の正解になるわけではありません。
Q03ローカルLLMとクラウドAI、どちらが安いのですか？
業務の処理量で決まります。クラウドのAPIは固定費がほぼゼロで、使うほど料金が積み上がる。ローカルはサーバー代という固定費が先に乗るかわりに、あとは回し放題に近い。だから業務ごとに損益分岐点が引けます。
処理量がある線を超えたら、ローカルのほうが安くなる。常に回し続けるほど、ローカルが効く 構造です。大量データのナレッジ整理や、高ボリュームの分類・抽出・タグ付けのように同じ処理をずっと回す業務は、クラウドだと料金が青天井になりがちです。
ただし正直に言うと、固定費はサーバー代だけではありません。運用の人手も地味に固定費です。だから「激安」とは言いません。自分の業務量を電卓に入れて、どちら側かを見る。それだけの話です。
Q04安いサーバーでもローカルLLMは動きますか？
「動きます」と「使えます」は別物です。安いサーバーでも動くというのは、たいてい小型版（軽いモデル）の話です。実務に耐える規模になると、軽くする圧縮（量子化）をかけても、それなりのメモリ（VRAM）が要ります。
ここは自分でハマったので、正直に書きます。私は自分の安価なサーバー（CPUだけの構成）で、巨大モデルを部分的に動かす仕組み（MoE）を試したことがあります。結果、実用になりませんでした。CPUで動かすための処理がまだ追いついておらず、速度がぜんぜん出なかったのです。
カタログ上は動く。でも、自社の業務で実用の速度・精度が出るかは、まったく別問題でした。念のため補足すると、モデルを動かす土台ソフト（vLLMやOllamaなど）はかなり成熟していて、「動かすのが難しい」は1〜2年前よりだいぶ減った実感があります。
Q05ローカルLLMの精度は、実務に耐えますか？
最前線のモデルには届かないことがあり、日本語が苦手なこともあります。公式ベンチマークの順位ではなく、自社の業務データで測るしかありません。ただ、オープンウェイトは概ね半年〜1年遅れで最前線を追ってくる、というのが実感です（2026年時点）。
使える水準を超えた瞬間に、一気に来ます。「今は届かない」は「ずっと届かない」ではありません。だからこそ、自社の業務データで測る物差しを先に持っておくことに意味があります。
Q06結局、ローカルLLMはどう判断すればいいのですか？
「ローカルか、クラウドか」ではなく「どの業務をどこに置くと得か」で判断します。ローカルが向くのは、常に回し続ける高ボリュームの処理と、契約やNDA上そもそもクラウドに出せないデータの処理の2つです。
後者は、守る・守らない以前に、ローカルが唯一の準拠できる選択肢になる場合があります。逆に、最前線の知性が要る場面は借りればいい。全部を片側に寄せる必要はどこにもありません。
最初の一歩はこうです。自社で「常に回す業務」を1つ挙げて、それをクラウドのAPIで回し続けたら月いくらになるか、ざっくり見積もる。それが、ローカル検討の損益分岐の入口です。
よくある質問（FAQ）
- Q. オープンウェイトとオープンソースは何が違うのですか？
- A. オープンウェイトは、AIの重み（中身のデータ）が公開されているという意味で、学習の全工程まで公開されているとは限りません。利用規約もモデルごとに異なるため、無料で落とせることと企業がそのまま使っていいことは別です。
- Q. 量子化とは何ですか？
- A. AIモデルを軽くする圧縮技術です。ただし量子化をかけても、実務に耐える規模のモデルを動かすには、それなりのメモリ（VRAM）が必要です。
- Q. どんな業務がローカルLLMに向いていますか？
- A. 常に回し続ける高ボリュームの処理（大量データのナレッジ整理、分類・抽出・タグ付けなど）と、契約やNDA上クラウドに出せないデータの処理です。クラウドAPIだと料金が積み上がり続ける業務ほど、固定費型のローカルが効きます。
- Q. 中国発のモデルは使ってはいけないのですか？
- A. 規約や技術の問題以前に、調達やセキュリティ監査の段階で「中国由来は避けたい」という発注元が現実にいます（特に製造系）。Mistral（フランス）やGemma（Google）など非中国系の選択肢も育ってきているため、納入先の要件も含めて選定するのが現実的です。
- Q. ローカルLLMを動かす環境構築は難しいですか？
- A. モデルを動かす土台ソフト（vLLMやOllamaなど）はかなり成熟しており、「動かすのが難しい」という壁は1〜2年前より大きく下がっています。難所はむしろ、実務に耐える速度・精度が出るハードの見積もりです。
AUTHOR
黛 政隆（まゆずみ まさたか）
株式会社GembaShift 代表取締役CEO
エンジニア歴20年、PM経験50件超。生成AIの導入を、現場に入って一緒に組む仕事をしています。 この記事の内容は、著者自身が実際に手を動かして業務で検証した実体験に基づいています。