Décryptage multimodal de Tencent Marvis : pourquoi images, voix, vidéos et documents convergent désormais dans un seul workflow IA

Si les précédents articles sur Marvis portaient surtout sur trois questions :

• peut-il réellement prendre la main sur l'ordinateur ;
• peut-il lire les fichiers locaux ;
• peut-il vous faire gagner du temps au bureau ;

ici, je veux répondre à une question qui devient beaucoup plus concrète :

quand des images, de la voix, des vidéos, des tableaux et des documents arrivent en même temps, Marvis peut-il les transformer en un workflow réellement exécutable ?

J'ai repris à tête reposée le site officiel de Marvis, ainsi que l'article public plus orienté "pratique multimodale" publié sur Tencent Cloud Developer Community. Ma conclusion est simple :

ce qu'il faut surveiller aujourd'hui chez Marvis, ce n'est pas seulement sa capacité à voir une image, mais sa manière d'assembler compréhension visuelle, saisie vocale, génération de documents et production de graphiques dans une chaîne de tâches plus proche d'un vrai environnement de production.

C'est aussi pour cela que, selon moi, l'avantage concurrentiel réel de Marvis ne se limite pas au "mode local" ou au "contrôle à distance du PC", mais tient davantage à ceci :

il est en train de devenir une porte d'entrée vers des workflows multimodaux sur desktop.

Conclusion rapide

• Au 29 juin 2026, les sources publiques montrent que les capacités multimodales les plus convaincantes de Marvis se concentrent sur quatre grands types de tâches :
  1. Compréhension d'images et de captures d'écran, avec extraction de contenu
  2. Passage de la voix à la génération de documents
  3. Analyse conjointe d'images, de texte et de tableaux
  4. Livraison en une fois de rapports, fichiers Word et graphiques Excel
• Le site officiel de Marvis présente déjà clairement plusieurs capacités multimodales dans son discours produit :
  • recherche dans les fichiers et les images ;
  • recherche de texte à l'intérieur des images ;
  • compréhension approfondie de documents et de tableaux ;
  • génération de graphiques ;
  • amélioration rédactionnelle ;
  • conversion de formats.
• L'article public de Tencent Cloud Developer Community décrit déjà une vraie chaîne de tâches, et non plus seulement un échange "question-réponse" :
  • reconnaître une image ;
  • extraire des paramètres ;
  • rédiger une analyse ;
  • produire un document Word ;
  • créer des graphiques Excel.

Pourquoi le multimodal compte plus que le simple "chat"

Beaucoup d'outils IA fonctionnent encore selon une logique très simple :

• vous leur donnez un texte ;
• ils vous renvoient un texte.

Or, dans le travail réel, les entrées ne sont presque jamais purement textuelles.

Le plus courant, c'est plutôt :

• prendre une photo d'un produit ;
• faire une capture d'écran d'un back-office ;
• enregistrer un extrait audio de réunion ;
• envoyer un long document avec un tableau ;
• et vouloir, au bout du compte, un résultat directement exploitable.

Autrement dit, dans le travail quotidien, ce qui consomme le plus de temps n'est pas simplement "obtenir une réponse du modèle", mais :

faire entrer des informations issues de modalités différentes, puis les assembler en un livrable réellement utile.

Et c'est précisément là qu'un assistant système comme Marvis peut prendre de l'avance sur un simple chatbot IA.

Les capacités publiques du site officiel rendent déjà cette direction très claire

D'après les descriptions publiques du site de Marvis, son objectif sur le multimodal est très direct :

• rechercher dans le contenu des fichiers et des images ;
• rechercher le texte contenu dans les images ;
• organiser des bibliothèques d'images et de documents selon des critères comme les visages, les thèmes ou les lieux ;
• comprendre en profondeur les documents et les tableaux ;
• prendre en charge la génération de graphiques, la réécriture de textes et la conversion de formats.

Mises bout à bout, ces capacités ne relèvent déjà plus de simples fonctions isolées, mais d'une chaîne multimodale relativement complète :

• voir le contenu ;
• retrouver le contenu ;
• comprendre le contenu ;
• générer un résultat.

Autrement dit, l'ambition de Marvis n'est pas juste de "supporter l'entrée image", mais plutôt :

faire converger images, texte, documents et tableaux vers un résultat final de niveau desktop.

Cas 1 : la reconnaissance d'image ne sert pas seulement à décrire une photo, mais à extraire directement des paramètres

Dans l'article public de Tencent Cloud Developer Community, le cas le plus parlant est un scénario de :

rapport d'analyse concurrentielle sur des montres connectées

L'objectif n'est pas un simple échange en un tour, mais un livrable très proche d'un vrai travail métier :

• collecter les images et paramètres de 3 produits concurrents ;
• réaliser une analyse comparative ;
• générer un rapport Word ;
• générer des graphiques Excel.

On n'est déjà plus dans "dis-moi ce que représente cette image", mais plutôt dans :

transformer une entrée visuelle en élément d'une vraie tâche d'analyse.

Selon les étapes décrites publiquement, la première phase consiste à :

• importer les images de 3 montres connectées ;
• demander à Marvis d'identifier les produits et d'en extraire les paramètres clés.

Dans les résultats présentés publiquement, Marvis renvoie notamment :

• le suivi de la fréquence cardiaque ;
• la mesure de l'oxygène sanguin ;
• l'autonomie ;
• le prix.

Cela signifie qu'il ne se contente pas de décrire l'image, mais qu'il :

• identifie l'objet ;
• extrait des champs structurés ;
• prépare la suite pour le rapport et les graphiques.

Pourquoi ce type de capacité est-il important ? Parce qu'en situation réelle, une image ne sert que rarement à "regarder pour voir". Le plus souvent, il faut plutôt :

• retrouver des champs dans une capture d'écran ;
• extraire des caractéristiques depuis une photo produit ;
• identifier des tendances à partir d'un graphique ;
• détecter des différences clés dans une interface.

Si l'outil sait seulement "parler de l'image", la valeur reste limitée. S'il peut réinjecter les informations visuelles dans l'étape suivante du workflow, là on parle d'un vrai gain de productivité.

Cas 2 : la voix ne sert pas seulement à transcrire, mais à déclencher directement une tâche documentaire

Le même article public multimodal donne un autre exemple très intéressant :

• l'utilisateur parle directement à l'ordinateur ;
• "Aide-moi à créer un document Word intitulé 'Compte rendu hebdomadaire', avec le contenu de la réunion d'aujourd'hui."

D'après la chaîne décrite dans l'article, Marvis enchaîne :

1. reconnaissance vocale ;
2. compréhension de l'instruction ;
3. appel à l'API Office ;
4. génération d'un document Word sur le bureau ;
5. retour vocal sur le résultat.

Ce n'est pas du tout la même chose que ce que beaucoup de personnes entendent par "fonction vocale".

Beaucoup de produits qui annoncent la voix ne font en réalité que :

• convertir la voix en texte ;
• puis coller ce texte dans une fenêtre de chat.

Ici, chez Marvis, la logique est différente :

la voix n'est que le point d'entrée de la tâche ; l'essentiel, c'est qu'une vraie opération documentaire est ensuite exécutée.

Cela a une vraie valeur dans plusieurs situations concrètes :

• quand on n'a pas le temps de taper pendant une réunion ;
• quand on doit parler tout en manipulant l'ordinateur ;
• quand on veut obtenir directement un fichier exploitable.

Dans un environnement desktop, la valeur de la voix n'est donc pas seulement de "pouvoir parler", mais de savoir :

si la voix peut s'intégrer directement dans le workflow du système.

Cas 3 : ce qui ressemble vraiment à un environnement de production, c'est l'enchaînement "voir l'image + analyser + produire un rapport + créer des graphiques"

Si ce cas d'analyse concurrentielle sur des montres connectées mérite un article à lui seul, c'est parce qu'il ne s'agit pas d'une démo ponctuelle, mais d'une chaîne multimodale complète.

Dans l'article public, les étapes suivantes prolongent encore ce workflow :

Étape 1 : compréhension d'image

• identifier 3 images de montres ;
• extraire les paramètres.

Étape 2 : analyse textuelle

• générer une analyse comparative à partir des paramètres ;
• rédiger des conclusions sur les fonctions, les prix et les avis utilisateurs.

Étape 3 : génération de document

• créer un Word intitulé "Rapport d'analyse concurrentielle sur les montres connectées" ;
• y insérer des sections, des tableaux et des conclusions.

Étape 4 : visualisation des données

• créer un fichier Excel ;
• y écrire les paramètres et les scores ;
• générer automatiquement un histogramme et un graphique radar.

Pourquoi cette chaîne est-elle si importante ?

Parce qu'elle révèle un mode de travail très concret :

la valeur du multimodal en IA ne vient pas d'une capacité isolée spectaculaire, mais de l'aptitude à relier plusieurs modalités jusqu'à un livrable final.

On se rapproche déjà beaucoup de ce qui se passe réellement au bureau ou dans un travail d'analyse métier :

• l'entrée n'est pas uniquement textuelle ;
• la sortie n'est pas juste une phrase de synthèse ;
• et le flux intermédiaire traverse images, texte, tableaux et documents.

Cas 4 : les chiffres de productivité relèvent du discours public, mais ils montrent clairement la cible

L'article public propose aussi un tableau de gains de temps très typique :

• identification des images concurrentes : 30 minutes -> 2 minutes ;
• génération de l'analyse comparative : 60 minutes -> 3 minutes ;
• génération du rapport Word : 45 minutes -> 5 minutes ;
• création des graphiques Excel : 30 minutes -> 3 minutes ;
• total : 165 minutes -> 13 minutes.

Ce qui correspond, dans le discours public, à :

environ 12.7 fois plus d'efficacité

Évidemment, on ne peut pas traiter ce chiffre comme une promesse reproductible dans toutes les équipes. Mais il indique au moins une chose :

Marvis ne cherche pas à être "plus humain dans la conversation", mais plutôt à :

compresser dans un même workflow continu des opérations auparavant dispersées entre plusieurs outils.

Captures d'écran, texte dans l'image, graphiques : cette approche va plus loin qu'un OCR classique

Un autre point clé sur le site officiel de Marvis est qu'il mentionne explicitement :

• la recherche dans le contenu des images ;
• la recherche du texte à l'intérieur des images ;
• la prise en charge d'une photothèque IA et d'une bibliothèque documentaire IA.

Pourquoi ne faut-il pas résumer cela à "il y a de l'OCR" ?

Parce qu'en usage desktop réel, les images que vous manipulez ne sont généralement pas des scans isolés, mais plutôt :

• des captures d'écran de back-office ;
• des affiches produit ;
• des captures de tableaux ;
• des captures d'écran de conversations ;
• des captures de pages de présentation.

Très souvent, ce que l'on attend n'est pas seulement "lire le texte", mais plutôt :

• comprendre ce que raconte l'image ;
• repérer où se trouvent les paramètres clés ;
• vérifier si cela correspond à d'autres sources ;
• voir si l'on peut réutiliser ces informations pour l'analyse suivante.

C'est pour cela que, selon moi, on est plus proche de :

questions-réponses sur capture d'écran + compréhension de contenu + progression de tâche

et pas simplement d'un outil OCR au sens traditionnel.

La compréhension vidéo ressemble aujourd'hui davantage à une capacité annoncée qu'à un cas de production pleinement documenté

Entre l'article public multimodal et le site officiel, Marvis intègre déjà clairement la vidéo dans son récit produit multimodal.

Mais, par rapport aux images, à la voix, aux documents et aux tableaux, les cas de production publics autour de la vidéo restent moins détaillés.

Ce que l'on peut confirmer avec le plus de confiance à ce stade, c'est qu'au niveau du positionnement produit, la vidéo entre déjà dans un cadre comme celui-ci :

• la vidéo comme modalité d'entrée ;
• la génération de résumés de contenu ;
• l'analyse de comportements ou de contenus.

Mais si vous me demandez aujourd'hui quelle piste mérite d'être testée en priorité avec Marvis, je garderais l'ordre suivant :

1. compréhension d'images et de captures d'écran ;
2. voix -> document ;
3. articulation image + rapport + graphiques.

Parce que, sur ces volets, les informations publiques ressemblent déjà davantage à un vrai workflow qu'à une simple démonstration conceptuelle.

Quelles équipes ont le plus intérêt à tester Marvis dès maintenant

Profils qui peuvent le tester tout de suite

• les personnes qui réalisent souvent des analyses concurrentielles ou des analyses produit ;
• les équipes opérations, business analysis ou recherche qui doivent traiter ensemble images, documents et tableaux ;
• les personnes qui organisent régulièrement des enregistrements de réunion ou des mémos vocaux ;
• les équipes qui doivent analyser des matériaux mêlant texte et visuels ;
• les personnes qui veulent regrouper captures d'écran, documents et tableaux dans un même workflow desktop.

Profils qui peuvent encore attendre

• celles et ceux qui ne font que du chat textuel sans images ni fichiers ;
• les équipes dont le travail n'a presque jamais besoin d'images ou de voix en entrée ;
• les personnes davantage focalisées sur l'expérience conversationnelle que sur la fermeture complète de la tâche ;
• celles et ceux qui n'ont pas encore de besoin réel de traitement multimodal.

Si vous voulez le tester vous-même, je vous recommande cette méthode

1. Ne commencez pas par demander "est-ce qu'il comprend les images ?". Donnez-lui directement une vraie tâche.
2. Les meilleurs points d'entrée pour un premier test sont souvent :
   • questions-réponses sur capture d'écran ;
   • extraction de paramètres depuis une photo produit ;
   • conversion d'une réunion vocale en document Word ;
   • entrée image + génération de rapport ;
   • articulation tableau + document + graphique.
3. Ne regardez pas seulement si la réponse "fait humaine". Vérifiez surtout :
   • si le passage d'une modalité à l'autre est fluide ;
   • si cela réduit vraiment le copier-coller ;
   • si le fichier final est réellement livrable ;
   • si cela diminue la manutention manuelle entre les étapes.
4. Si vous évaluez déjà plusieurs IA desktop, vous pouvez aussi comparer :
   • les tâches multimodales desktop où Marvis semble le plus adapté ;
   • les tâches qu'il vaut mieux continuer à confier à des outils spécialisés d'OCR, de montage ou de reporting.

Si votre sujet du moment est plutôt : comment connecter dans un même workflow multimodal vos modèles Tencent, GLM, Kimi, DeepSeek, StepFun et autres, vous pouvez commencer par consulter :

• Tarifs des modèles
• Acheter une API Key
• Documentation API

Conclusion finale

Si je devais résumer en une phrase mon jugement sur l'orientation multimodale de Marvis, ce serait :

ce qui le rend vraiment intéressant, ce n'est pas seulement le support des images et de la voix, mais le fait qu'il commence à regrouper images, voix, documents et tableaux dans une même chaîne de tâches desktop.

Une fois cette mécanique bien fluide, la valeur n'est plus simplement de :

• regarder une image ;
• écouter un extrait vocal ;
• résumer cela en une phrase.

Elle devient plus proche de ceci :

• lire une image et en extraire des paramètres ;
• lancer une tâche à la voix ;
• rédiger un rapport ;
• produire des graphiques ;
• livrer un fichier.

Autrement dit, ce qu'il faut vraiment tester dans Marvis, ce n'est pas la "démo multimodale impressionnante", mais bien :

sa capacité à transformer de multiples entrées multimodales en un véritable workflow multimodal.

Références

• Marvis 官网
• 多模态AI应用：从文本到图像的Marvis实践
• 新手全面指南：上手腾讯 Marvis 进行个人知识管理与智能问答