Un processus métier peut partir d’un email, d’un PDF, d’une photo, d’une capture d’écran, d’une pièce jointe, d’un message vocal ou d’une vidéo. Un agent multimodal peut exploiter plusieurs de ces formats dans le même workflow, avec un modèle, des outils et des permissions prévus pour cela.
À retenir avant de commencer
Un agent IA multimodal fait entrer dans un même processus les informations qui arrivent déjà sous plusieurs formes : texte d’un email, facture PDF, document photographié, capture d’écran, pièce scannée, note vocale ou séquence vidéo utile. L’objectif reste le travail accompli, avec un gain de continuité à la clé.
Le point de départ reste le travail à accomplir. Le format n’est qu’une porte d’entrée. Le résultat doit rester vérifiable : information extraite, pièce classée, manque détecté, demande routée, action autorisée ou exception remontée.
Ce que chaque format sait vraiment faire
La prise en charge dépend du modèle choisi, des outils qui l’entourent et du format réellement envoyé. Certains modèles acceptent des images ; d’autres savent recevoir des fichiers ou du son ; la vidéo peut demander un service différent ou un prétraitement. Un workflow doit donc déclarer les modalités qu’il prend en charge au lieu de promettre « tous les formats ».
Taille, durée, résolution et nombre de fichiers : chaque fournisseur fixe ses propres limites, et elles évoluent. Un PDF peut peser quelques mégaoctets maximum, une vidéo quelques dizaines de secondes utiles suffisent souvent. Vérifie ces valeurs au moment de construire plutôt que de les figer dans une promesse commerciale. La documentation OpenAI sur les fichiers précise notamment que le traitement d’un PDF associe le texte extrait aux images de chaque page lorsque le modèle prend en charge la vision : une facture de deux pages se traite donc d’un seul geste, texte et mise en forme ensemble. [1]
La qualité de l’entrée compte autant que le format. Une photo floue, un scan coupé, une capture sans date ou une vidéo sans son exploitable peuvent produire une extraction incertaine. Un format non pris en charge peut nécessiter une conversion, un OCR, une transcription ou une sélection de séquences avant l’analyse. La compréhension visuelle reste probabiliste : un champ peu lisible reste incertain, même après l’acceptation de l’image par le modèle.
Le format d’entrée change, le processus métier reste
Une demande client peut arriver comme texte dans un email. Le justificatif associé peut être un PDF. Une pièce oubliée peut arriver ensuite sous forme de photo. Une capture d’écran peut montrer une erreur. Un document scanné peut rejoindre le dossier comme pièce jointe. Le workflow reste pourtant le même : recevoir, identifier, vérifier, classer, agir dans le cadre autorisé et remonter l’exception.
Cette continuité évite de créer un mini-processus différent pour chaque canal. Le bon système rattache chaque contenu au dossier, à l’étape et à la règle concernés. L’article sur le workflow agentique détaille ce découpage entre déclencheur, contexte, outils, exécution et reprise humaine.
Texte et documents : le cas le plus courant
Le texte reste la modalité la plus simple à exploiter : email, formulaire, message, champ de CRM ou note interne. Les documents ajoutent une couche de structure. Une facture contient des montants, dates et références ; un dossier administratif contient des pièces attendues ; un PDF commercial peut contenir plusieurs versions d’une offre.
Sur un PDF, le travail utile consiste à extraire les éléments nécessaires (montant, date, référence), garder la source, rattacher l’information au bon dossier et détecter ce qui manque. Pour les documents longs ou nombreux, la récupération de contexte peut compléter l’analyse. Le guide sur le RAG en entreprise explique comment limiter les sources et les versions consultées.
Un PDF peut contenir du texte natif, des pages scannées ou les deux. La chaîne doit savoir si elle extrait directement le texte, si elle applique un OCR ou si elle traite la page comme une image. La documentation de Claude décrit aussi le traitement des PDF comme une combinaison du contenu textuel et visuel. [3]
Photos et images : quand le visuel contient l’information
Une photo est utile lorsqu’elle remplace un document dont le scan immédiat est impossible : attestation photographiée, plaque signalétique, justificatif papier ou état visuel d’un équipement. Une image peut aussi être une capture d’écran avec un message d’erreur, un statut ou un élément de dossier.
L’agent doit savoir ce qu’il cherche. « Regarde cette image » est trop vague. « Relève la référence du document, vérifie si la date est lisible et signale tout champ incertain » produit une sortie plus contrôlable. Les modèles de vision peuvent décrire et extraire, mais la résolution, le cadrage et l’ambiguïté visuelle restent des limites documentées par les fournisseurs. [4]
Une information extraite d’une photo attend une validation avant de remplacer une donnée déjà confirmée. Le workflow peut conserver la pièce, montrer le champ proposé et demander une autre image lorsque la qualité reste insuffisante.
Audio : transformer une parole en donnée de travail
Un commercial dicte en voiture « rappeler Dubois, devis 3400 € validé sauf option garantie, envoyer la version corrigée vendredi ». La note vocale contient une demande, un compte rendu de visite, des références et une échéance. Pour devenir exploitable, elle passe par une transcription, puis par une structuration : interlocuteur (Dubois), décision (validation sous condition), montant (3 400 €), action datée (envoi vendredi).
Une transcription reste une hypothèse : un nom propre, un montant ou une référence peuvent être mal reconnus. Les informations sensibles doivent être confirmées avant une action qui engage. Les services de transcription exposent leurs propres formats, langues et contraintes ; chaque agent doit déclarer les services activés. [2]
Le bon usage : transformer une parole en données de travail traçables, puis laisser la règle décider si elle déclenche une action.
Vidéo : l’intégrer uniquement quand l’information n’existe qu’en mouvement
La vidéo devient pertinente quand une information visuelle ou parlée n’existe pas ailleurs : démonstration d’un défaut, séquence d’un processus, réunion enregistrée ou visite dont certains passages doivent être retrouvés. Elle est rarement le premier format à intégrer.
Le traitement peut être direct avec un modèle compatible, ou indirect : extraire la piste audio, sélectionner des images, découper la séquence puis analyser les passages utiles. La documentation Google sur la compréhension vidéo illustre ce type de capacités et les options d’échantillonnage. [5]
La vidéo augmente généralement le volume traité, le coût et la latence. Avant de l’ajouter, pose une question simple : quelle information métier existe uniquement dans la vidéo, plutôt que dans une photo, un document ou un court extrait audio ?
Plusieurs formats dans le même workflow
Imaginons un dossier entrant. Le client décrit sa demande par email. Il joint un devis PDF et une photo d’un document manquant. Plus tard, il envoie une note vocale avec une précision. Le workflow peut rattacher ces contenus au même dossier, extraire les informations utiles, détecter une contradiction et poursuivre les étapes autorisées.
Chaque modalité joue un rôle : le texte donne l’intention, le PDF apporte les références, la photo complète la pièce, l’audio précise le contexte. Une vidéo ne serait ajoutée que si une information visuelle ou parlée la rend réellement nécessaire.
Comprendre une photo ou un PDF laisse le pouvoir de l’agent défini par le périmètre, les permissions et les règles d’exécution.
Les permissions comptent autant que le modèle
Un agent peut avoir le droit de lire une pièce jointe sans pouvoir l’archiver ailleurs. Il peut extraire un montant sans avoir le droit de modifier une facture. Il peut transcrire un audio sans conserver le fichier original. Il peut analyser une image sans pouvoir l’envoyer à un tiers.
Ces choix concernent l’identité de l’agent, la liste des outils, le stockage temporaire, la rétention, les fournisseurs de modèles, les transferts et les journaux. Ils doivent être documentés pour le cas d’usage. Le guide sur les permissions et les données sensibles détaille la séparation entre lecture, préparation, exécution et validation.
La multimodalité élargit les données susceptibles d’entrer dans le workflow ; les droits restent limités à ceux que tu as accordés explicitement. Une pièce jointe reste une ressource avec un propriétaire, une finalité et une durée d’utilisation.
Transformer le doute en étape du workflow
L’incertitude devient un état du workflow, avec sa sortie prévue, au lieu d’une phrase prudente cachée dans une réponse. Une date illisible, une voix couverte par le bruit, deux montants contradictoires ou une séquence vidéo incomplète doivent produire une sortie claire : demander une meilleure pièce, rechercher une autre source ou transmettre le cas.
Comme principe de conception, le comportement attendu est explicite : Si l’information extraite est ambiguë, incomplète ou sous le seuil de confiance défini, le workflow doit pouvoir s’arrêter, demander une autre pièce ou remonter le cas à un humain. Certains modèles exposent un score de confiance ; quand il existe, il s’implémente, se teste et se relie à une action précise.
Les cas ambigus doivent faire partie du jeu de test : photo floue, page manquante, PDF protégé, audio incomplet, document en double, image sans contexte et vidéo trop longue. Le guide pour tester un agent avant la production explique pourquoi on évalue le résultat, les conditions d’arrêt et la formulation.
Quand la multimodalité vaut réellement le coup
Elle vaut le coup quand un format crée aujourd’hui une rupture de traitement : une personne doit ressaisir une photo, ouvrir chaque PDF, écouter toutes les notes vocales ou parcourir une vidéo entière pour retrouver un passage. Le gain potentiel vient de la continuité du processus et de l’information retrouvée.
Trois signaux sont utiles :
- le même dossier reçoit régulièrement plusieurs types de contenus ;
- une étape humaine répétitive consiste surtout à convertir un format en information exploitable ;
- le résultat peut être vérifié par une source, une règle ou une personne responsable.
À l’inverse, une modalité rare, coûteuse ou difficile à vérifier gagne à rester manuelle : un envoi ponctuel reste plus simple et plus sûr qu’une intégration entière.
Ce qu’il faut cadrer avant de construire
Avant le premier fichier, définis :
- les formats réellement utiles et leur provenance ;
- le modèle ou le service qui traite chaque modalité ;
- les conversions nécessaires : OCR, transcription, extraction d’images ou découpage vidéo ;
- les limites pratiques de taille, durée, volume et qualité ;
- le stockage du fichier original, des dérivés et des transcriptions ;
- la rétention et la suppression des données temporaires ;
- les permissions de lecture, d’écriture et de transmission ;
- le traitement synchrone ou asynchrone et le délai acceptable ;
- les règles d’escalade en cas d’incertitude ;
- les tests, la trace et la reprise après erreur.
Le déploiement doit ensuite transformer chaque échec de conversion, fichier trop lourd ou fournisseur indisponible en erreur visible, avec un statut d’échec explicite. L’article sur le déploiement avec reprise détaille les retries bornés, l’idempotence et les alertes visibles.
Un agent IA multimodal utile sait donc faire trois choses : exploiter le bon contenu, rester dans les permissions définies et reconnaître quand l’information manque de fiabilité et qu’une vérification humaine s’impose.