AIがPCを操作する時代が到来しました。2024年10月、AnthropicはClaudeに「Computer Use」機能を搭載し、AIがスクリーンショットを見ながらマウスやキーボードを操作できるようになりました。本記事では、Computer Use技術の仕組みと実験結果を詳しく解説します。

関連記事: 本記事は「AIエージェント論文おすすめ9選」の詳細解説記事です。他の論文も合わせてご覧ください。

Computer Useとは？3行でわかる論文の要点

1. 従来手法の課題: AIはAPIやテキストベースでしかコンピュータと対話できず、GUIアプリケーションの操作は人間に依存していた
2. Computer Useのアプローチ: スクリーンショットを入力として受け取り、マウス移動・クリック・キーボード入力などの操作を出力する
3. なぜ重要か: OSWorld（実OS環境）で14.9%、WebArena（Webブラウザ）で32%の成功率を達成。完璧ではないが、GUIエージェントの新時代を切り開いた

論文情報

Computer Useの仕組みを図解で理解

Computer Useは、視覚認識と行動生成の2つの能力を組み合わせたマルチモーダルAIシステムです。

Step 1: スクリーンショットの取得と認識

AIはまず現在の画面状態をスクリーンショットとして受け取ります。Claude 3.5 Sonnetのビジョン能力を活用し、画面上の要素を認識します。

[入力] スクリーンショット画像（PNG/JPEG）
       ↓
[認識] - ボタン、テキストフィールド、アイコンの位置
       - テキストコンテンツの読み取り
       - UI要素間の関係性

Step 2: タスクの理解と計画

ユーザーの指示を理解し、達成するために必要な操作の計画を立てます。

[ユーザー指示] 「Googleで"AI agent"を検索して」
       ↓
[計画] 1. ブラウザのアドレスバーを見つける
       2. Google.comにアクセス
       3. 検索ボックスをクリック
       4. "AI agent"と入力
       5. Enterキーを押す

Step 3: 座標ベースの操作実行

計画に基づいて、具体的なマウス・キーボード操作を出力します。

# Computer Useが出力する操作の例
{
    "action": "mouse_move",
    "coordinate": [640, 360]  # 画面中央付近
}
{
    "action": "left_click"
}
{
    "action": "type",
    "text": "AI agent"
}
{
    "action": "key",
    "key": "Return"
}

Step 4: 結果の確認とループ

操作後に新しいスクリーンショットを取得し、タスクが完了したか確認します。未完了なら次の操作を計画します。

技術的な特徴

1. 座標推定の仕組み

Computer Useは画面上の要素の座標を推定する能力を持っています。ただし、完璧ではありません。

座標推定の課題:

• 小さなUI要素（チェックボックス、ラジオボタン）の正確なクリックが難しい
• 動的に変化するUI（アニメーション、ポップアップ）への対応
• 高解像度画面での精度低下

対策:

• 推奨解像度: 1024x768（XGA）
• スケーリングなし（100%表示）
• 静的なUI状態での操作

2. サポートされる操作

3. ツール定義（API仕様）

# Computer Use ツールの定義
tools = [
    {
        "type": "computer_20241022",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
    }
]

実験結果：どれくらい性能が上がるのか

Anthropicは複数のベンチマークでComputer Useを評価しました。

OSWorld（実OS環境でのタスク実行）

OSWorldは、実際のOS環境（Ubuntu）で複雑なタスクを実行するベンチマークです。ファイル操作、アプリケーション起動、設定変更などが含まれます。

WebArena（Webブラウザでのタスク実行）

WebArenaは、Webアプリケーション（GitLab、Reddit、ショッピングサイト等）でのタスク実行を評価します。

結果の解釈

人間との比較:

• 人間の成功率（72-78%）と比較すると、まだ大きな差がある
• 特に複雑なタスク、マルチステップのタスクで差が顕著

従来AIとの比較:

• GPT-4Vと比較して約2倍の性能向上
• 視覚認識と行動生成の統合が効果的

ユースケース

1. GUI自動化（RPA代替）

従来のRPAの課題:

• UI変更に弱い（セレクターが壊れる）
• 開発・保守コストが高い
• 複雑なロジックの実装が困難

Computer Useによる解決:

[タスク] 毎日のレポート作成
1. Excelを開く
2. データを更新
3. グラフを作成
4. PDFとして保存
5. メールで送信

AIが視覚的にUIを認識するため、ボタンの位置が変わっても対応可能です。

2. レガシーシステム連携

課題: APIがない古いシステムとの連携

解決策:

• Computer UseでGUI操作を自動化
• レガシーシステムのデータを抽出
• モダンなシステムに連携

[例] 古い在庫管理システムからデータ抽出
1. システムにログイン
2. 在庫一覧画面を開く
3. データをコピー
4. Excelに貼り付け
5. CSVとしてエクスポート

3. テスト自動化

従来のE2Eテストの課題:

• テストスクリプトの保守が大変
• 視覚的なバグの検出が困難

Computer Useによるテスト:

[自然言語でテストケースを記述]
「ログイン画面でユーザー名とパスワードを入力し、
 ログインボタンをクリック。
 ダッシュボードが表示されることを確認」

4. データ入力・転記作業

ユースケース例:

• 請求書データの入力
• 顧客情報の更新
• フォームへの一括入力

[タスク] 100件の顧客情報をCRMに登録
- CSVから顧客情報を読み取り
- CRMのフォームに1件ずつ入力
- 登録完了を確認

制限事項と注意点

セキュリティリスク

重要な注意事項:

1. 認証情報の取り扱い

• Computer Useは画面に表示されるすべての情報にアクセス可能

• パスワード入力画面では注意が必要

• 機密情報が映り込まないよう配慮

1. 権限の最小化

• 専用のサンドボックス環境での実行を推奨

• 必要最小限の権限のみ付与

• インターネット接続の制限

1. 人間の監視

• 完全な自律動作は危険

• 重要な操作前には確認を挿入

• ログの記録と監査

技術的な制限

現時点での適切な用途

推奨される用途:

• 定型的な反復作業の自動化
• 開発・テスト環境での利用
• 人間の監視下での補助的な利用

推奨されない用途:

• 完全無人での本番環境操作
• 金融取引などのクリティカルな操作
• 機密情報を扱うシステムでの利用

実装例

基本的なComputer Use呼び出し

import anthropic

client = anthropic.Anthropic()

# Computer Useツールの定義
tools = [
    {
        "type": "computer_20241022",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
    }
]

# APIリクエスト
response = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=tools,
    messages=[
        {
            "role": "user",
            "content": "Googleで'AI agent'を検索してください"
        }
    ]
)

# レスポンスの処理
for block in response.content:
    if block.type == "tool_use":
        print(f"操作: {block.name}")
        print(f"入力: {block.input}")

操作ループの実装

def run_computer_use_loop(task: str, max_steps: int = 10):
    # Computer Useの操作ループを実行
    messages = [{"role": "user", "content": task}]

    for step in range(max_steps):
        # スクリーンショットを取得
        screenshot = capture_screenshot()

        # APIリクエスト
        response = client.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=1024,
            tools=tools,
            messages=messages
        )

        # 操作を実行
        for block in response.content:
            if block.type == "tool_use":
                result = execute_action(block.input)
                messages.append({
                    "role": "tool",
                    "tool_use_id": block.id,
                    "content": result
                })

        # 完了判定
        if is_task_complete(response):
            break

    return response

FAQ

Q1. Computer UseとRPAの違いは？

RPA（Robotic Process Automation）:

• セレクターベースでUI要素を特定
• 事前にワークフローを定義
• UI変更に弱い

Computer Use:

• 視覚認識でUI要素を特定
• 自然言語でタスクを指示
• UI変更に比較的強い

Q2. どんなOSで使える？

現在、公式にサポートされているのは:

• Ubuntu Linux（推奨）
• macOS（一部機能）
• Windows（Docker経由）

Anthropicが提供するDockerイメージを使用することで、安全なサンドボックス環境で実行できます。

Q3. 商用利用は可能？

はい、Claude APIの利用規約に従って商用利用可能です。ただし、以下の点に注意:

• セキュリティリスクの考慮
• 適切な監視・ログ体制
• 利用規約の遵守

Q4. 処理速度はどのくらい？

• スクリーンショット取得: 約0.5-1秒
• API呼び出し: 約2-5秒
• 1タスクあたり: 数十秒〜数分（複雑さによる）

リアルタイム性が求められるタスクには向いていません。

Q5. 複数画面での操作は可能？

現時点では、単一ディスプレイでの操作のみサポートされています。マルチモニター環境では、主画面のみが操作対象となります。

まとめ

Computer Useは、AIがGUIを操作する新しいパラダイムを切り開いた技術です。

ポイント

• スクリーンショット認識 + 操作生成: 視覚的にUIを理解し、マウス・キーボード操作を出力
• ベンチマーク結果: OSWorldで14.9%、WebArenaで32%の成功率（人間の約1/3-1/5）
• 主なユースケース: GUI自動化、レガシーシステム連携、テスト自動化
• 制限事項: 高解像度での精度低下、セキュリティリスク、処理速度

今後の展望

Computer Useはまだ発展途上の技術ですが、以下の進化が期待されます:

1. 精度の向上: より正確な座標推定と操作
2. 速度の改善: リアルタイムに近い応答
3. マルチモーダル拡張: 音声・動画への対応
4. セキュリティ強化: より安全な実行環境

AIエージェント開発の次のステップとして、ぜひComputer Useを試してみてください。

次に読むべき論文

AIエージェント論文おすすめ9選に戻る

参考リソース

• Anthropic公式ドキュメント
• Computer Use デモリポジトリ
• OSWorld ベンチマーク
• WebArena ベンチマーク

本記事はAnthropicの公式ドキュメントおよび技術資料に基づいて作成しました。