「ローカルか、クラウドか」。この問いで迷っている時点で、たぶん、もう一段見誤っています。排他で考えるから、話が止まるのです。
現場で生成AIの実装をやっている株式会社GembaShift代表の黛（まゆずみ）です。機密データを扱いながら基幹業務に生成AIを組み込み始めた会社の、決裁する人と、実際にどこに置くかを決める人へ向けて書きます。
正解は、二択ではなく、振り分け。仕事ごとに置き場所を変える──この組み方が、いま現場の標準になりつつあります。
Q01どの業務をローカルAIに、どの業務をクラウドAIに置くべきですか？
基準はシンプルに2方向です。外に出せない機密・毎日大量に回す高頻度・判断の幅が小さい定型は、自社で持つ。高い知性が要る難問・たまにしか来ない低頻度・間違いの影響が大きい高リスクは、外の最上位モデルに渡します。
全部ローカルにすれば安心、でもない。全部クラウドに預ければ楽、でもない。二択はわかりやすいのですが、わかりやすいだけで、たいてい間違っています。
Q02業務の振り分けは、人が毎回やるのですか？
いいえ。問い合わせの中身をAIが見て、自社で答えるか外に渡すかを自動で選びます。この仕組み（Router）ごと作るのが、いまの設計の主戦場です。
実は私、この振り分けを自分で作って回しています。問い合わせの中身を見てローカルとクラウドを自動で分ける仕組み（Router）に、社内文書を根拠に答えさせる手法（RAG）を組み合わせたものです。
机上で図を描いただけだと、ここは絶対に詰まります。どの問い合わせがどちらに飛ぶべきか、回してみないと肌感が出ないのです。
Q03「ローカルAIは精度が低い」という心配は正しいですか？
振り分けで考えると、この心配は土俵に上がる前に消えます。精度が要る仕事は、そもそもクラウドに回すからです。定型・高頻度の処理は軽いローカルで十分回り、難しい工程だけ外の最高性能に渡す2段構えにします。
この2段構えなら、精度の話は「ローカル単体の限界」ではなく「配分の設計」に変わります。精度が要る仕事は、そもそもクラウドに回す ──これが答えです。
Q04セキュリティが理由なら、クラウドのままでも閉じられるのではないですか？
半分正しいです。Azure OpenAIは自社ネットワーク内に閉じて使う構成が取れ、Amazon Bedrockもデータを外に出さずに使えます。だから「セキュリティだから自社で持つ」は半分しか正しくありません。
学習に勝手に使わせない、といった契約上の取り決めもあります（細かい範囲は版で変わるので、最新は必ず確認を）。つまり「クラウドのまま閉じる」という選択肢は、ちゃんと実在します。
ネットワークを閉じるだけなら、クラウドでもできてしまう。では、本当にローカルでなければ取れないものは何か──次の問いに続きます。
Q05それでもローカルAIで持つべき理由は何ですか？
曖昧な不安を脇に置くと、2点に絞れます。1つは主権──誰かの輸出管理や方針転換、地政学の都合で止まらず、手綱を自分で握れること。もう1つはスケール時のコスト──大量に継続的に使う業務ほど、回し放題の固定費構造が効いてくることです。
実際、特定のクラウドへの依存をやめて自社運用に動く流れも出てきています。クラウドは使うほど積み上がり、ローカルは回し放題。使い倒すほど差がつく構造です。
ローカルでなければ取れないのは、主権とコストの2点だけ。ここがはっきりすると、迷いが減ります。
Q06AI活用で勝つのは、結局どんな会社ですか？
全部ローカルを制した会社ではなく、決められる会社です。どこを自社で持ち、どこを外に任せるか──その線を自社の業務に合わせて引ける会社に、これからの差が出ます。
「全部か、無か」は、もう古い考え方です。これからは「どこを持つかを設計する」に入れ替える。効率の話というより、誰かの都合に振り回される側から自分で選ぶ側に回るという、自由の話です。
最初の一歩は紙とペンで十分です。機密・高頻度・定型でローカルに寄せたい仕事を1つ、難問・低頻度でクラウド最上位に任せたい仕事を1つ、書き出してみてください。その2行が、御社の振り分け設計図の最初の一行になります。
ちなみにこの適材適所の設計は、私自身、自社でも実証しています。社内の文書を外に出さず自社のサーバーで動かすローカルAI基盤（Refyn）を作り、どこをローカルに寄せられるかを日々検証している最中です。机上の設計論ではなく、自分で作って確かめています。
よくある質問（FAQ）
- Q. Router（ルーター）とは何ですか？
- A. 問い合わせの中身をAIが見て、ローカルAIで答えるか、クラウドの最上位モデルに渡すかを自動で振り分ける仕組みです。人が毎回判断するのではなく、この仕組みごと作るのが現在の設計の主戦場です。
- Q. RAGとは何ですか？
- A. 社内文書を根拠にAIに答えさせる手法です。振り分けの仕組み（Router）と組み合わせることで、機密文書を外に出さずに、社内の情報に基づいた回答を返す構成が作れます。
- Q. 全部ローカルにするのが一番安全ではないのですか？
- A. 安全性の面でも合理的ではありません。精度が要る難問までローカルに寄せると品質が落ち、閉域構成のクラウドという選択肢も実在するからです。ローカルでなければ取れない価値は、主権とスケール時のコストの2点に絞られます。
- Q. 閉域構成のクラウドとローカルAIは、どう使い分けますか？
- A. 「ネットワークを閉じたい」だけなら閉域クラウド（Azure OpenAI、Amazon Bedrockなど）でも足ります。外部の都合で止められたくない業務や、大量・継続利用でコストが積み上がる業務は、ローカルが優位です。
AUTHOR
黛 政隆（まゆずみ まさたか）
株式会社GembaShift 代表取締役CEO
エンジニア歴20年、PM経験50件超。生成AIの導入を、現場に入って一緒に組む仕事をしています。 この記事の内容は、著者自身が実際に手を動かして業務で検証した実体験に基づいています。