Tencents multimodaler Marvis im Praxistest: Warum Bilder, Sprache, Videos und Dokumente in einem einzigen KI-Workflow zusammenlaufen

Wenn sich die letzten Marvis-Artikel vor allem darum gedreht haben:

• ob der Assistent deinen Computer übernehmen kann
• ob er lokale Dateien lesen kann
• ob er dir im Büroalltag Zeit spart

dann beantwortet dieser Beitrag eine Frage, die in der Praxis immer relevanter wird:

Wenn Bilder, Sprache, Videos, Tabellen und Dokumente gleichzeitig hereinkommen, kann Marvis daraus einen wirklich ausführbaren Workflow machen?

Ich habe mir dafür die offizielle Marvis-Website sowie den öffentlichen Tencent-Cloud-Developer-Community-Beitrag noch einmal genau angesehen, der stärker auf multimodale Praxisfälle eingeht. Mein Fazit vorweg:

An Marvis ist aktuell nicht nur spannend, ob das System Bilder "sehen" kann. Entscheidend ist, dass es Bildverständnis, Spracheingabe, Dokumentenerstellung und Diagramm-Output zunehmend zu einer durchgehenden Aufgabenkette verbindet, die näher an echter Produktionsarbeit liegt.

Genau deshalb sehe ich den eigentlichen Wettbewerbsvorteil von Marvis nicht nur im "lokalen Modus" oder in der Fernsteuerung des PCs, sondern hier:

Es entwickelt sich in Richtung eines Einstiegs in multimodale Desktop-Workflows.

Das Fazit zuerst

• Stand 29. Juni 2026 liegen die überzeugendsten öffentlich dokumentierten multimodalen Stärken von Marvis in vier Aufgabenfeldern:
  1. Bild- und Screenshot-Verständnis inklusive Inhaltsextraktion
  2. Spracheingabe bis hin zur Dokumentenerstellung
  3. Gemeinsame Analyse von Bild, Text und Tabelle
  4. Fertige Auslieferung von Bericht, Word-Datei und Excel-Chart in einem Durchgang
• Die offizielle Marvis-Website nennt multimodale Fähigkeiten inzwischen ganz explizit als Teil des Produkts:
  • Suche in Dateien und Bildinhalten
  • Suche nach Text innerhalb von Bildern
  • Tiefes Verständnis für Dokumente und Tabellen
  • Diagramm- und Chart-Erstellung
  • Textüberarbeitung
  • Formatkonvertierung
• Im öffentlichen Beitrag der Tencent Cloud Developer Community taucht bereits eine ziemlich komplette Aufgabenkette auf. Es geht nicht mehr nur um "eine Frage rein, eine Antwort raus", sondern um:
  • Bilder verstehen
  • Parameter extrahieren
  • Analysen schreiben
  • Word-Berichte erzeugen
  • Excel-Charts erstellen

Warum Multimodalität wichtiger ist als nur "gut chatten zu können"

Viele KI-Tools folgen bis heute im Kern derselben Logik:

• Du gibst einen Text ein
• Du bekommst einen Text zurück

Nur sieht reale Arbeit fast nie so aus.

Viel häufiger kommt eher Folgendes vor:

• Du fotografierst ein Produkt
• Du machst einen Screenshot aus dem Backend
• Du nimmst eine Besprechung als Sprachmemo auf
• Du wirfst ein langes Dokument plus Tabelle hinein
• Und am Ende soll ein Ergebnis herauskommen, das direkt nutzbar ist

Der eigentliche Aufwand in der Praxis liegt also selten darin, "eine Antwort vom Modell zu bekommen", sondern hier:

Informationen aus unterschiedlichen Modalitäten einsammeln und in ein Ergebnis überführen, das du wirklich verwenden kannst.

Genau an dieser Stelle kann sich ein systemnaher Assistent wie Marvis von einem normalen Chatbot absetzen.

Die öffentlich beschriebenen Fähigkeiten zeigen diese Richtung schon sehr klar

Nach der öffentlichen Produktbeschreibung von Marvis ist das multimodale Zielbild ziemlich direkt:

• Suche in Datei- und Bildinhalten
• Suche nach Text in Bildern
• Organisation von Bild- und Dokumentenbeständen nach Personen, Themen oder Orten
• Tiefes Verständnis von Dokumenten und Tabellen
• Unterstützung für Chart-Erstellung, Textüberarbeitung und Formatkonvertierung

Zusammengenommen ist das längst keine Einzelfunktion mehr, sondern eine relativ vollständige multimodale Kette:

• Inhalte sehen
• Inhalte finden
• Inhalte verstehen
• Ergebnisse erzeugen

Das heißt: Bei Marvis geht es auf dieser Strecke nicht einfach nur darum, "Bildeingaben zu unterstützen", sondern darum:

Bilder, Text, Dokumente und Tabellen am Ende in ein gemeinsames Desktop-Ergebnis münden zu lassen.

Fall 1: Bilder verstehen heißt hier nicht nur beschreiben, sondern direkt Parameter extrahieren

Der deutlichste Praxisfall im Tencent-Cloud-Developer-Community-Beitrag ist ein:

Wettbewerbsanalyse-Bericht für Smartwatches

Das Ziel ist kein einzelner Dialogzug, sondern ein Deliverable, das echter Business-Arbeit sehr nahekommt:

• Bilder und Parameter von 3 Konkurrenzprodukten sammeln
• Einen Vergleich erstellen
• Einen Word-Bericht generieren
• Excel-Charts erzeugen

Das ist schon deutlich mehr als ein "Schau dir bitte an, was auf diesem Bild ist". Es geht eher um:

Bildinput als festen Bestandteil einer Analyseaufgabe zu nutzen.

Laut dem öffentlichen Ablauf beginnt die Kette mit:

• 3 Smartwatch-Bilder hochladen
• Marvis die Produkte erkennen und Schlüsselparameter extrahieren lassen

In den öffentlich gezeigten Ergebnissen nennt Marvis unter anderem:

• Herzfrequenzmessung
• Blutsauerstoffmessung
• Akkulaufzeit
• Preis

Das zeigt: Es geht nicht nur um Bildbeschreibung, sondern um:

• Objekterkennung
• Extraktion strukturierter Felder
• Vorbereitung für den nächsten Schritt in Bericht und Chart

Warum ist das wichtig? Weil Bilder in echter Arbeit selten nur "zum Anschauen" da sind. Viel häufiger geht es darum:

• Felder aus Screenshots zu ziehen
• Parameter aus Produktbildern zu erfassen
• Trends aus Diagrammen zu lesen
• Unterschiede aus Seitenlayouts herauszuarbeiten

Wenn ein Tool nur Bilder beschreiben kann, bleibt der praktische Nutzen begrenzt. Wenn es die Informationen im Bild aber in den nächsten Arbeitsschritt weiterreichen kann, entsteht echte Produktivität.

Fall 2: Spracheingabe bedeutet hier nicht nur Transkription, sondern direkt Dokumentenarbeit

Im selben öffentlichen Multimodal-Beitrag gibt es noch ein zweites Beispiel, das sehr aufschlussreich ist:

• Ein Nutzer spricht direkt mit dem Computer
• "Hilf mir bitte, ein Word-Dokument zu erstellen. Der Titel soll 'Wochenmeeting-Protokoll' sein und der Inhalt sind die heutigen Besprechungsnotizen."

Laut dem beschriebenen Ablauf macht Marvis dann:

1. Spracherkennung
2. Verstehen der Anweisung
3. Aufruf der Office-API
4. Erstellung eines Word-Dokuments auf dem Desktop
5. Sprachliches Feedback zum Ergebnis

Das unterscheidet sich deutlich von dem, was viele unter "Sprachfunktion" verstehen.

Denn bei vielen Produkten bedeutet Sprache am Ende nur:

• Sprache in Text umwandeln
• Den Text in ein Chatfenster einfügen

Marvis wirkt hier dagegen eher so:

Sprache ist nur der Einstieg in die Aufgabe. Der eigentliche Wert liegt darin, dass danach wirklich eine Dokumentenaktion ausgeführt wird.

Gerade für reale Arbeitssituationen ist das spannend:

• Wenn beim Meeting keine Zeit zum Tippen bleibt
• Wenn du während einer Aufgabe mündlich Anweisungen geben willst
• Wenn das Ergebnis sofort als Datei abgelegt werden soll

Im Desktop-Kontext liegt der Wert von Sprache also nicht darin, "sprechen zu können", sondern hier:

Kann Sprache direkt in einen System-Workflow eingespeist werden?

Fall 3: Wirklich produktionsnah wird es, wenn "Bild verstehen + analysieren + Bericht schreiben + Charts bauen" zu einem Ablauf verbunden wird

Gerade deshalb lohnt sich der Smartwatch-Wettbewerbsanalyse-Fall fast schon als eigener Artikel: Er zeigt keine einzelne Demo, sondern eine komplette multimodale Aufgabenkette.

Im öffentlichen Beitrag geht der Ablauf anschließend weiter:

Schritt 1: Bildverständnis

• 3 Uhrenbilder erkennen
• Parameter extrahieren

Schritt 2: Textanalyse

• Auf Basis der Parameter eine Wettbewerbsanalyse erzeugen
• Schlüsse zu Funktionen, Preis und Nutzerbewertungen formulieren

Schritt 3: Dokumentenerstellung

• Ein Word mit dem Titel "Smartwatch-Wettbewerbsanalysebericht" erzeugen
• Kapitel, Tabellen und Schlussfolgerungen einfügen

Schritt 4: Datenvisualisierung

• Excel erstellen
• Parameter und Bewertungen eintragen
• Automatisch Balken- und Radardiagramme generieren

Warum ist diese Kette so wichtig?

Weil sie ein reales Arbeitsmuster offenlegt:

Der Wert multimodaler KI liegt nicht darin, dass eine Einzelfähigkeit spektakulär wirkt, sondern darin, unterschiedliche Modalitäten bis zu einem finalen Deliverable verbinden zu können.

Das ist schon ziemlich nah an dem, wie echte Office- oder Analysearbeit aussieht:

• Der Input ist nicht nur Text
• Der Output ist nicht nur ein zusammenfassender Satz
• Dazwischen musst du zwischen Bild, Text, Tabelle und Dokument wechseln

Fall 4: Der Effizienzvergleich ist zwar Marketing, zeigt aber klar, worauf Marvis zielt

Der öffentliche Beitrag nennt dazu auch eine typische Effizienzgegenüberstellung:

• Konkurrenzprodukt-Bilder erkennen: 30 Minuten -> 2 Minuten
• Vergleichsanalyse erzeugen: 60 Minuten -> 3 Minuten
• Word-Bericht erstellen: 45 Minuten -> 5 Minuten
• Excel-Charts bauen: 30 Minuten -> 3 Minuten
• Gesamt: 165 Minuten -> 13 Minuten

In der öffentlichen Darstellung entspricht das:

rund 12,7-facher Effizienzsteigerung

Solche Zahlen solltest du natürlich nicht als Versprechen verstehen, das jedes Team stabil reproduzieren kann. Aber sie zeigen zumindest sehr klar, worauf Marvis bei Multimodalität abzielt:

Verteilte Arbeitsschritte aus mehreren Tools möglichst in einen durchgehenden Workflow zusammenziehen.

Screenshots, Text in Bildern und Charts: Diese Strecke ist mehr als klassisches OCR

Ein weiterer entscheidender Punkt auf der Marvis-Website ist die explizite Nennung von:

• Bildinhalte durchsuchen
• Text in Bildern durchsuchen
• KI-Bildarchiv und KI-Dokumentenarchiv

Warum lässt sich das nicht einfach auf "Marvis hat OCR" reduzieren?

Weil Bilder im Desktop-Alltag in der Regel keine isolierten Scans sind, sondern eher:

• Backend-Screenshots
• Produktposter
• Tabellenscreenshots
• Screenshots von Chatverläufen
• Screenshots aus Präsentationen oder Konzeptseiten

Und in diesen Fällen willst du oft nicht nur "den Text herauslesen", sondern wissen:

• Worum geht es in diesem Bild?
• Wo stehen die Schlüsselparameter?
• Passen die Informationen zu anderen Quellen?
• Kann das direkt für weitere Analysen weiterverwendet werden?

Darum sehe ich hier eher diese Kombination:

Screenshot-Q&A + Inhaltsverständnis + Aufgabenfortschritt

und nicht bloß ein klassisches OCR-Werkzeug.

Videoverständnis ist im Moment eher ein Ausblick als ein komplett belegter Produktionsfall

Aus dem öffentlichen Multimodal-Beitrag und der Produktkommunikation geht hervor, dass Marvis Video inzwischen klar in seine multimodale Erzählung aufgenommen hat.

Im Vergleich zu Bild, Sprache, Dokument und Tabelle sind die öffentlich belegten Produktionsbeispiele für Video derzeit aber noch nicht ganz so ausformuliert.

Was sich aktuell relativ solide sagen lässt:

• Video ist als eine der Eingabemodalitäten eingeplant
• Zusammenfassungen von Inhalten sind Teil des Zielbilds
• Inhalts- oder Verhaltensanalysen werden als mögliche Fähigkeit beschrieben

Wenn du mich fragst, welche Strecke man heute bei Marvis zuerst belastbar testen sollte, dann würde ich trotzdem diese Priorität setzen:

1. Bild- und Screenshot-Verständnis
2. Sprache -> Dokument
3. Zusammenspiel von Bild, Bericht und Chart

Denn für diese Teile liegen die öffentlichen Informationen bereits näher an echten Workflows als an einer reinen Konzeptdemo.

Für welche Teams sich ein früher Test jetzt besonders lohnt

Teams, die sofort testen sollten

• Menschen, die häufig Wettbewerbs- oder Produktanalysen erstellen
• Operations-, Analyse- oder Research-Rollen, die Bilder, Dokumente und Tabellen gemeinsam verarbeiten müssen
• Teams, die regelmäßig Meeting-Audios oder Sprachmemos in Protokolle überführen
• Personen, die gemischtes Material aus Bild und Text auswerten müssen
• Alle, die Screenshots, Dokumente und Tabellen in einem gemeinsamen Desktop-Workflow zusammenführen wollen

Teams, die noch abwarten können

• Wer fast ausschließlich reine Textchats nutzt und kaum mit Bildern oder Dateien arbeitet
• Wer im Alltag praktisch nie Bild- oder Spracheingaben braucht
• Wer stärker auf "Chat-Gefühl" als auf geschlossene Aufgabenketten schaut
• Wer noch keinen echten Bedarf an multimodaler Materialverarbeitung hat

Wenn du Marvis selbst testen willst, würde ich so vorgehen

1. Frage nicht zuerst, "ob es Bilder versteht", sondern gib dem System direkt eine echte Aufgabe.
2. Gute erste Tests sind meistens:
   • Screenshot-Q&A
   • Parameterextraktion aus Produktbildern
   • Meeting-Spracheingabe zu Word
   • Bildinput plus Berichtserstellung
   • Zusammenspiel aus Tabelle, Dokument und Chart
3. Beurteile nicht nur, ob die Antwort menschlich klingt. Wichtiger ist:
   • Läuft der Wechsel zwischen Modalitäten reibungslos?
   • Musst du weniger kopieren und einfügen?
   • Ist die finale Datei wirklich lieferfähig?
   • Fällt manuelle Zwischenarbeit weg?
4. Wenn du ohnehin Desktop-KI evaluierst, kannst du dabei direkt vergleichen:
   • Für welche multimodalen Desktop-Aufgaben ist Marvis stärker?
   • Bei welchen Aufgaben bleiben spezialisierte OCR-, Schnitt- oder Reporting-Tools die stabilere Wahl?

Wenn dich gerade eher interessiert, wie du Tencent-, GLM-, Kimi-, DeepSeek-, StepFun- und weitere Modelle in einen eigenen multimodalen Workflow einbindest, dann schau dir zuerst diese Seiten an:

• Modellpreise
• API Key kaufen
• API-Dokumentation

Schlussfazit

Wenn ich meine Einschätzung zu Marvis und Multimodalität auf einen Satz verdichten müsste, dann wäre es dieser:

Spannend ist nicht nur, dass Marvis Bilder und Sprache unterstützt, sondern dass es Bilder, Sprache, Dokumente und Tabellen zunehmend in eine gemeinsame Desktop-Aufgabenkette zieht.

Wenn das gut funktioniert, liegt der Wert eben nicht mehr nur darin:

• ein Bild anzusehen
• eine Sprachnotiz anzuhören
• einen Satz zusammenzufassen

Sondern eher darin:

• aus Bildern Parameter zu extrahieren
• Aufgaben per Sprache auszugeben
• Berichte zu schreiben
• Charts zu erzeugen
• Dateien direkt abzuliefern

Genau deshalb sollte man diese Marvis-Strecke nicht als "multimodale Show-Demo" bewerten, sondern mit einer ganz konkreten Frage:

Kann das System multimodale Eingaben in einen echten multimodalen Workflow überführen?

Referenzen

• Marvis 官网
• 多模态AI应用：从文本到图像的Marvis实践
• 新手全面指南：上手腾讯 Marvis 进行个人知识管理与智能问答