Computer Use
Computernutzung
Computernutzung ermöglicht einem Modell, einen Bildschirm anzuzeigen und Aktionen wie Klicken, Tippen oder Scrollen auszuführen. Ein Anwendungs-Harness überprüft und führt jede erlaubte Aktion aus.
screen → action → harness → next screenaktueller Bildschirm: expense.testEin Agent öffnet eine Test-Spesen-App und füllt einen Entwurf über 248 $ aus. Er pausiert, bevor er ihn einreicht, und zeichnet jeden Bildschirm und jede Aktion auf.ScreenshotBetrag eingebenerlauben · ausführenscreen → model action → harness check/execute → next screenOPSEin weiteres Beispiel
Ein Agent öffnet eine Test-Spesen-App und füllt einen Entwurf über 248 $ aus. Er pausiert, bevor er ihn einreicht, und zeichnet jeden Bildschirm und jede Aktion auf.
Hauptteile
- 01aktueller Bildschirm
- 02Zurückgegebene Aktion
- 03Ziel und Argumente
- 04Harness-Überprüfung
- 05Aktionsergebnis
- 06Genehmigung, Protokoll und Stop
Verwenden Sie es, wenn
Verwenden Sie es, wenn eine visuelle Schnittstelle bedient werden muss und keine stabile API passt. Fügen Sie Isolation, Aktionslimits, Bestätigung und Stoppregeln hinzu.
Nutze es nicht, wenn
Bevorzugen Sie eine getestete API, wenn eine existiert. Erfordern Sie, dass eine Person Zahlung, Löschung, Eingabe eines Geheimnisses oder Kontenänderungen bestätigt.
In Code verwendeter Name
screen → model action → harness check/execute → next screen Vor dem Ausliefern
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Computernutzung (Computer Use). User context: Ein Agent öffnet eine Test-Spesen-App und füllt einen Entwurf über 248 $ aus. Er pausiert, bevor er ihn einreicht, und zeichnet jeden Bildschirm und jede Aktion auf. AI method or concept: Computernutzung (Computer Use). Why it fits: Verwenden Sie es, wenn eine visuelle Schnittstelle bedient werden muss und keine stabile API passt. Fügen Sie Isolation, Aktionslimits, Bestätigung und Stoppregeln hinzu. Do not use it when: Bevorzugen Sie eine getestete API, wenn eine existiert. Erfordern Sie, dass eine Person Zahlung, Löschung, Eingabe eines Geheimnisses oder Kontenänderungen bestätigt. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Es ist offiziell für diese Quelle. Andere Plattformen oder Teams können den Begriff auf andere Weise verwenden. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Diese Anfrage prüfen
Review how Computernutzung (Computer Use) is used now. Definition: Computernutzung ermöglicht einem Modell, einen Bildschirm anzuzeigen und Aktionen wie Klicken, Tippen oder Scrollen auszuführen. Ein Anwendungs-Harness überprüft und führt jede erlaubte Aktion aus. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.