Computer Use
utilisation de l'ordinateur
L'utilisation de l'ordinateur permet à un modèle de voir un écran et de retourner des actions telles que cliquer, taper ou faire défiler. Un moteur d'application vérifie et exécute chaque action autorisée.
screen → action → harness → next screenécran actuel : expense.testUn agent ouvre une application de dépenses de test et remplit un brouillon de 248 $. Il fait une pause avant de soumettre et enregistre chaque écran et action.capture d’écransaisir le montantautoriser · exécuterscreen → model action → harness check/execute → next screenOPSUn autre exemple
Un agent ouvre une application de dépenses de test et remplit un brouillon de 248 $. Il fait une pause avant de soumettre et enregistre chaque écran et action.
Parties principales
- 01Écran actuel
- 02Action retournée
- 03Cible et arguments
- 04Vérification du harnais
- 05Résultat de l'action
- 06Approbation, journal et arrêt
Utilisez-le lorsque
Utilisez-le lorsqu'une interface visuelle doit être manipulée et qu'aucune API stable ne convient. Ajoutez isolation, limites d'action, confirmation et règles d'arrêt.
Ne l'utilisez pas lorsque
Préférez une API testée lorsqu'elle existe. Exigez qu'une personne confirme le paiement, la suppression, la saisie d'un secret ou les modifications de compte.
Nom utilisé dans le code
screen → model action → harness check/execute → next screen Avant d'expédier
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with utilisation de l'ordinateur (Computer Use). User context: Un agent ouvre une application de dépenses de test et remplit un brouillon de 248 $. Il fait une pause avant de soumettre et enregistre chaque écran et action. AI method or concept: utilisation de l'ordinateur (Computer Use). Why it fits: Utilisez-le lorsqu'une interface visuelle doit être manipulée et qu'aucune API stable ne convient. Ajoutez isolation, limites d'action, confirmation et règles d'arrêt. Do not use it when: Préférez une API testée lorsqu'elle existe. Exigez qu'une personne confirme le paiement, la suppression, la saisie d'un secret ou les modifications de compte. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): C'est officiel pour cette source. D'autres plateformes ou équipes peuvent utiliser le terme d'une autre manière. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Vérifiez cette demande
Review how utilisation de l'ordinateur (Computer Use) is used now. Definition: L'utilisation de l'ordinateur permet à un modèle de voir un écran et de retourner des actions telles que cliquer, taper ou faire défiler. Un moteur d'application vérifie et exécute chaque action autorisée. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.