Multimodal AI
IA multimodale
L'IA multimodale peut utiliser ou créer plusieurs types de données. Cela peut inclure du texte, des images, de l'audio, de la vidéo ou des données de capteurs.
Un autre exemple
Un assistant d'entretien vérifie une photo de la machine, le bruit signalé et le numéro du modèle. Il demande une image sous un angle plus sûr avant de proposer des étapes.
Parties principales
- 01User intent and context
- 02Model or tool decision
- 03Grounded result and fallback
Utilisez-le lorsque
Utilisez plusieurs types de saisie uniquement lorsque chacun apporte des faits nécessaires. Expliquez la qualité, le consentement, le coût et la gestion des échecs.
Ne l'utilisez pas lorsque
Ne déduisez pas de traits sensibles ni ne présentez d’images incertaines comme des faits. Proposez des alternatives textuelles pour l’accès à la caméra et au microphone.
Nom utilisé dans le code
text + image/audio/video inputs and outputs Avant d'expédier
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with IA multimodale (Multimodal AI). User context: Un assistant d'entretien vérifie une photo de la machine, le bruit signalé et le numéro du modèle. Il demande une image sous un angle plus sûr avant de proposer des étapes. AI method or concept: IA multimodale (Multimodal AI). Why it fits: Utilisez plusieurs types de saisie uniquement lorsque chacun apporte des faits nécessaires. Expliquez la qualité, le consentement, le coût et la gestion des échecs. Do not use it when: Ne déduisez pas de traits sensibles ni ne présentez d’images incertaines comme des faits. Proposez des alternatives textuelles pour l’accès à la caméra et au microphone. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Aucun standard officiel unique ne régit l’ensemble du terme. Sa signification peut varier selon les équipes, plateformes ou frameworks. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Vérifiez cette demande
Review how IA multimodale (Multimodal AI) is used now. Definition: L'IA multimodale peut utiliser ou créer plusieurs types de données. Cela peut inclure du texte, des images, de l'audio, de la vidéo ou des données de capteurs. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.