Computer Use
utilizzo del computer
L'utilizzo del computer consente a un modello di visualizzare uno schermo e restituire azioni come cliccare, digitare o scorrere. Un'applicazione di supporto controlla ed esegue ogni azione consentita.
screen → action → harness → next screenschermo corrente: expense.testUn agente apre un'app di spese di prova e compila una bozza da $248. Si ferma prima di inviare e registra ogni schermata e azione.screenshotdigita importoconsenti · eseguiscreen → model action → harness check/execute → next screenOPSUn altro esempio
Un agente apre un'app di spese di prova e compila una bozza da $248. Si ferma prima di inviare e registra ogni schermata e azione.
Parti principali
- 01Schermo corrente
- 02Azione restituita
- 03Obiettivo e argomenti
- 04Controllo dell'imbracatura
- 05Risultato dell'azione
- 06Approvazione, registro e arresto
Usalo quando
Usalo quando un'interfaccia visiva deve essere operata e nessuna API stabile è adatta. Aggiungi isolamento, limiti d'azione, conferma e regole di stop.
Non usarlo quando
Preferisci un'API testata quando esiste. Richiedi a una persona di confermare pagamento, cancellazione, inserimento di dati riservati o modifiche all'account.
Nome usato nel codice
screen → model action → harness check/execute → next screen Prima di spedire
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with utilizzo del computer (Computer Use). User context: Un agente apre un'app di spese di prova e compila una bozza da $248. Si ferma prima di inviare e registra ogni schermata e azione. AI method or concept: utilizzo del computer (Computer Use). Why it fits: Usalo quando un'interfaccia visiva deve essere operata e nessuna API stabile è adatta. Aggiungi isolamento, limiti d'azione, conferma e regole di stop. Do not use it when: Preferisci un'API testata quando esiste. Richiedi a una persona di confermare pagamento, cancellazione, inserimento di dati riservati o modifiche all'account. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): È ufficiale per quella fonte. Altre piattaforme o team potrebbero usare il termine in modo diverso. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Controlla questa richiesta
Review how utilizzo del computer (Computer Use) is used now. Definition: L'utilizzo del computer consente a un modello di visualizzare uno schermo e restituire azioni come cliccare, digitare o scorrere. Un'applicazione di supporto controlla ed esegue ogni azione consentita. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.