コンピュータユース

コンピュータユースとは

コンピュータユースとは、AIがスクリーンショットを通じてGUI（グラフィカルユーザーインターフェース）を視覚的に認識し、マウスクリック・キーボード入力・スクロールなどの操作を自律的に実行してコンピュータを直接操作する能力を指す。Anthropicが2024年10月22日、Claude 3.5 Sonnetの新バージョン（claude-3-5-sonnet-20241022）とともにパブリックベータとして公開した。

Anthropicの実装では computer・text_editor・bash の3つのビルトインツールをAPIリクエストに含めることでコンピュータユースが有効になる。Claudeはスクリーンショットを受け取ってUIを解析し、次のアクション（例: 座標(x, y)へのクリック、テキスト入力）をツール呼び出しとして返す。実行環境側がその指示に基づいて実際の操作を行い、新しいスクリーンショットを取得してClaudeに返す—このループが繰り返されることで複雑なGUI操作タスクを自律的に完遂する。

なぜ注目されているのか

従来のRPAツール（UiPath・Power Automateなど）はHTML要素のID・XPathなどの静的セレクタに依存しており、UIのデザイン変更があると即座に壊れる脆弱性があった。コンピュータユースは視覚的理解に基づくため、UIが変わっても「ボタンがどこにあるか」を人間と同じように認識できる。

Anthropicのデモでは、ウェブブラウザでの検索・フォーム入力・カレンダー操作、ターミナルでのコマンド実行、スプレッドシート操作などを連続して自律実行する様子が公開され、技術コミュニティで大きな注目を集めた。OpenAIも2025年にOperatorを発表しており、GUIを介したエージェント操作は各社が力を入れる重要な技術領域となっている。

リスクと制約

2025年現在もAnthropicはコンピュータユースを「ベータ版」と位置づけており、本番環境での直接利用は推奨していない。主なリスクとして、AIが意図しないUIを誤クリックする誤操作リスク、悪意あるウェブページが画面に指示を表示してAIを誘導するビジュアルプロンプトインジェクション、機密情報がスクリーンショットに含まれるプライバシーリスクが挙げられる。Anthropicは隔離された仮想環境（Dockerコンテナ等）での実行と、ガードレールの組み合わせを強く推奨している。

ドラゴンボールで例えると

コンピュータユースは**「天津飯の千里眼 × 悟空の瞬間移動」**の組み合わせで動くイメージだ。

• スクリーンショットで状況把握 ＝ 天津飯の千里眼（遠くの場所を「見て」状況をリアルタイムで把握する能力）。AIが画面を「見て」UIを認識する
• マウスクリック・キーボード操作 ＝ 悟空の瞬間移動（見た場所に即座に移動して操作を実行）
• 「UIが変わっても認識できる」 ＝ 悟空はスカウターに頼らず、目と気（感覚）で相手の強さを読む——静的セレクタ（XPath）が「スカウターが壊れたら使えない」のと対照的
• ビジュアルプロンプトインジェクション ＝ ザーボンが変身して「俺は仲間だ」と見た目を偽る攻撃。悪意あるウェブページが「このボタンを押してください」と画面に表示してAIを騙す手口
• 仮想環境（Dockerコンテナ）での実行推奨 ＝ 「実験は精神と時の部屋（隔離空間）でやれ」という安全方針。本番の地球（本番環境）で暴走させないための隔離

「人間と同じ画面を見て操作できる」AIは、まるでキャラクターが現実のコンピュータ画面に入り込んで操作しているようだ。だからこそ、人間と同じリスク（誤操作・騙され）も同じように存在する。