ある平日の午後、私のパソコンの画面で、カーソルがひとりでに動いていました。画面を見て、クリックして、文字を打ち込んで、次の画面へ。人がやるのと同じ手順で、仕事が進んでいきます。
遠隔操作ではありません。あらかじめ手順を組み込んだ自動処理でもありません。AIが画面を見て、自分で考えて操作しているのです。
転記・照合・調べて登録──「画面を見ながら手を動かす仕事」が社内にある方にこそ、関係のある変化です。2026年夏にあいついで登場した最新世代のAI、Fable 5とGPT-5.6 Solに私が実際に仕事を任せてみた記録を、順を追って書きます。
Q01AIがパソコンを操作するとは、どういう仕組みですか？
「ブラウザユース」「コンピューターユース」と呼ばれる技術です。AIが人間と同じように画面を見て、クリックや文字入力を代わりに実行します。人間用の画面をそのまま使うため、システム改修もシステム同士をつなぐ開発も要りません。
定義はこうです。コンピューターユースとは、AIが画面を認識し、クリック・文字入力・画面遷移を人間と同じ手順で実行する技術のこと。
イメージとしては、隣の席の人に自分の画面をそのまま渡して、「ここからお願い」と仕事を代わってもらう感じです。今ある業務システムが、そのまま相手になります。
| 比較項目 | 従来の自動化（位置記憶型） | AIによる画面操作 |
|---|---|---|
| 画面の見方 | 「この位置のボタンを押す」と場所で覚える | 「登録ボタンを探して押す」と意味で見る |
| レイアウト変更 | 少し変わるだけで止まり、直すたびに人が呼ばれる | 変わっても仕事が続く |
| 導入の前提 | システムごとの作り込みが必要 | 人間用の画面をそのまま使う（改修不要） |
Q02なぜ今まで、AIに画面仕事を任せられなかったのですか？
原因は「画面の読み間違い」です。ボタンの見落とし、よく似た欄への誤入力、途中で迷子になる──結局、人が後ろについて見張ることになり、実務には出せませんでした。操作の腕ではなく、「目」の問題でした。
この技術自体は、前からありました。私も早くから自分の環境で動かしていて、「これは来るな」と感じていました。ただ正直に言うと、実務には出せませんでした。
人が見張るなら、自分でやったほうが早い。「AIに仕事は任せられないよね」という、あの感覚の正体はここにありました。
そして2026年夏のFable 5とGPT-5.6 Solの世代で、画面を読む精度が大きく上がりました。読み間違いが消えると、変わるのは点数ではなく、任せ方そのものです。
Q03実際の業務で、どこまで任せられましたか？
開発中サービスの動作検証をまるごと任せたところ、OK/NG判定つきの検証仕様書が返ってきました。どの画面で何を操作して、どこが期待と違ったかまで一覧になっています。NG箇所を直すための設計まで、一気通貫で書かせました。
設計のキモをひとつだけ。作らせたAIとは別に、“検証する目”を立てて画面を触らせました。作った本人に検品させない、という役割分離です。人間の職場と同じですね。
いちばん驚いたのは、GPT-5.6 Solに同じ画面を触らせながら「この画面で使いづらい所を挙げて」と頼んだときです。
エラーや表示崩れを機械的に拾ったのではありません。実際に使う人が「これだと使いづらいな」と感じるはずの箇所が、的確に並んでいました。つまり、使う人の目線で画面を見ていたということです。
2026年7月に公開した自社のスマホゲーム「テトもり！」でも、UIテストをAIに完全自動で任せています。驚くほど的確に指摘事項を見つけて、それを自動で直すところまで動きました。
Q04どの仕事から、AIに渡せばいいですか？
まず任せるのは「見るだけ」の仕事です。転記・照合・調べて登録のうち、結果を一覧で出させる確認系から渡します。入力・登録・送信のような「書き込む」仕事は、直前まで進めさせて、実行する前に人が確認します。
- 自社の業務を「見るだけ」と「書き込む」に仕分けする
- 「見るだけ」の仕事から渡し、結果を一覧で出させる
- 「書き込む」仕事は直前まで進めさせ、実行前に人が確認する
- 任せるときは「何を見て、何をして、どうなったか」の作業記録を書かせながら進めさせる
見るだけの仕事なら、間違いにすぐ気づけて、やり直しも利きます。最後の目視だけ人がやる分業にすれば、間違えられない仕事でも渡せます。
作業記録があれば後から検品できますし、途中で止まっても、そこから再開できます。新しく入った人に、初日からいきなり登録ボタンまで押させないのと同じ順番です。
Q05この変化は、結局なにを意味しますか？
AIに「目」ができた、ということです。正確に言うと、前から目はありましたが、仕事を任せられる精度でものが見えるようになりました。画面仕事は「人がやるもの」から「渡し方を考えるもの」に変わり始めています。
この変化に気づいている会社は、2026年時点では正直まだ少ないと感じています。
まずは自社の業務を、「見るだけ」と「書き込む」に仕分けするところから始めてみてください。仕分け表ができるだけでも、どこから渡せるかは見えてきます。
よくある質問（FAQ）
- Q. コンピューターユース（ブラウザユース）とは何ですか？
- A. AIが人間と同じように画面を見て、クリックや文字入力を代わりに実行する技術です。人間用の画面をそのまま使うため、システム改修やシステム同士をつなぐ開発は不要です。
- Q. 従来のRPAや自動化ツールと何が違いますか？
- A. 従来型は「この位置のボタンを押す」と場所で覚えるため、画面のレイアウトが少し変わると止まります。AIは「登録ボタンを探して押す」と意味で画面を見るため、レイアウトが変わっても仕事が続きます。
- Q. どんな業務からAIに任せるべきですか？
- A. 転記・照合・調べて登録のような「画面を見ながら手を動かす仕事」のうち、まず「見るだけ」の仕事からです。入力・登録・送信のような「書き込む」仕事は直前まで進めさせて、実行前に人が確認します。
- Q. 間違えられない業務にも使えますか？
- A. 結果を一覧で出させて、最後の目視だけ人がやる分業にすれば渡せます。あわせて「何を見て、何をして、どうなったか」の作業記録を書かせておくと、後から検品でき、途中で止まってもそこから再開できます。
- Q. なぜ2026年になって実用レベルになったのですか？
- A. 2026年夏に登場したFable 5・GPT-5.6 Sol世代で、画面を読む精度が大きく上がったためです。それまでは「画面の読み間違い」があり、結局人が見張る必要がありました。足りなかったのは操作の腕ではなく「目」でした。
AUTHOR
黛 政隆（まゆずみ まさたか）
株式会社GembaShift 代表取締役CEO
エンジニア歴20年、PM経験50件超。生成AIの導入を、現場に入って一緒に組む仕事をしています。 この記事の内容は、著者自身が実際に手を動かして業務で検証した実体験に基づいています。