Computer Use
コンピューター使用
コンピューターの使用により、モデルは画面を見てクリック、入力、スクロールなどのアクションを返すことができます。アプリケーションハーネスは各許可されたアクションをチェックして実行します。
screen → action → harness → next screen現在の画面: expense.testエージェントはテスト用経費アプリを開き、248ドルの下書きを入力します。送信する前に一時停止し、各画面と操作を記録します。スクリーンショット金額を入力許可 · 実行screen → model action → harness check/execute → next screenOPSもう一つの例
エージェントはテスト用経費アプリを開き、248ドルの下書きを入力します。送信する前に一時停止し、各画面と操作を記録します。
主な部分
- 01現在の画面
- 02返されたアクション
- 03ターゲットと引数
- 04ハーネスチェック
- 05アクション結果
- 06承認、ログ、停止
以下の場合に使用します
視覚的インターフェースを操作する必要があり、安定したAPIが適さない場合に使用します。隔離、操作制限、確認、停止ルールを追加してください。
以下の場合は使用しないでください
テスト済みのAPIがある場合はそちらを優先してください。支払い、削除、秘密情報の入力、アカウント変更を確認するために人による確認を求めてください。
コードで使用する名前
screen → model action → harness check/execute → next screen 出荷前に
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome：Complete the task with コンピューター使用 (Computer Use)。 User context：エージェントはテスト用経費アプリを開き、248ドルの下書きを入力します。送信する前に一時停止し、各画面と操作を記録します。 AI method or concept：コンピューター使用 (Computer Use)。 Why it fits：視覚的インターフェースを操作する必要があり、安定したAPIが適さない場合に使用します。隔離、操作制限、確認、停止ルールを追加してください。 Do not use it when：テスト済みのAPIがある場合はそちらを優先してください。支払い、削除、秘密情報の入力、アカウント変更を確認するために人による確認を求めてください。 AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary)：その情報源にとって公式です。他のプラットフォームやチームはその用語を別の方法で使用する場合があります。 Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
このリクエストを確認する
Review how コンピューター使用 (Computer Use) is used now. Definition: コンピューターの使用により、モデルは画面を見てクリック、入力、スクロールなどのアクションを返すことができます。アプリケーションハーネスは各許可されたアクションをチェックして実行します。 Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.