Analisis kes multimodal Tencent Marvis: kenapa imej, suara, video dan dokumen mula bergabung dalam satu aliran kerja AI?

Jika beberapa artikel Marvis sebelum ini lebih menumpukan pada:

• sama ada ia boleh mengambil alih komputer
• sama ada ia boleh membaca fail tempatan
• sama ada ia boleh menjimatkan masa anda di pejabat

Maka artikel ini lebih mahu menjawab satu soalan yang semakin praktikal:

Apabila imej, suara, video, helaian dan dokumen datang serentak, bolehkah Marvis menyusunnya menjadi satu aliran kerja yang benar-benar boleh dilaksanakan?

Saya meneliti semula laman rasmi Marvis serta artikel awam di Komuniti Pembangun Tencent Cloud yang lebih memfokuskan pada “amali multimodal”. Kesimpulan saya di depan:

Perkara paling wajar diberi perhatian pada Marvis sekarang bukan sekadar sama ada ia boleh memahami imej, tetapi hakikat bahawa ia mula menggabungkan pemahaman imej, input suara, penjanaan dokumen dan output carta menjadi rantaian tugas berterusan yang lebih menyerupai persekitaran kerja sebenar.

Sebab itulah pada pandangan saya, kelebihan daya saing sebenar Marvis bukan hanya “mod tempatan” atau “kawalan komputer jarak jauh”, tetapi:

ia sedang bergerak ke arah “pintu masuk aliran kerja desktop multimodal”.

Kesimpulan ringkas dahulu

• Sehingga 29 Jun 2026, keupayaan Marvis yang paling meyakinkan dalam bahan awam untuk arah multimodal tertumpu pada empat jenis tugasan:
  1. Pemahaman imej / tangkapan skrin dan pengekstrakan kandungan
  2. Input suara kepada penjanaan dokumen
  3. Analisis gabungan imej + teks + jadual
  4. Penyerahan sekali jalan untuk laporan, Word dan carta Excel
• Laman rasmi Marvis sudah pun memasukkan keupayaan berkaitan multimodal dengan jelas dalam naratif produk:
  • carian fail / kandungan imej
  • carian teks dalam imej
  • pemahaman mendalam dokumen dan helaian
  • penjanaan carta
  • penggilapan salinan
  • penukaran format
• Dalam artikel awam Komuniti Pembangun Tencent Cloud, sudah muncul rantaian tugas sebenar yang agak lengkap. Ia bukan lagi sekadar “tanya satu soalan, jawab satu soalan”, sebaliknya:
  • lihat imej dan kenal pasti
  • ekstrak parameter
  • tulis analisis
  • hasilkan Word
  • bina carta Excel

Kenapa multimodal lebih penting daripada sekadar “boleh bersembang”

Banyak alat AI hingga hari ini masih beroperasi dalam satu logik yang sama:

• anda beri satu perenggan teks
• ia pulangkan satu perenggan teks

Tetapi input kerja sebenar hampir tidak pernah datang dalam bentuk teks semata-mata.

Yang lebih biasa ialah:

• anda mengambil gambar produk
• anda menangkap skrin halaman backend
• anda merakam suara mesyuarat
• anda memuat naik dokumen panjang bersama satu jadual
• dan akhirnya anda mahu hasil yang benar-benar boleh diserahkan

Dalam erti kata lain, perkara yang paling memakan tenaga dalam kerja sebenar selalunya bukan “minta model menjawab”, tetapi:

mengumpulkan maklumat daripada mod yang berbeza, lalu menyusunnya menjadi hasil yang betul-betul boleh digunakan.

Dan di sinilah pembantu peringkat sistem seperti Marvis paling berpeluang membuka jurang dengan AI sembang biasa.

Keupayaan awam di laman rasmi sudah menjelaskan arah ini dengan jelas

Berdasarkan penerangan terbuka di laman rasmi Marvis, sasaran multimodalnya sangat terus terang:

• boleh mencari fail / kandungan imej
• boleh mencari teks dalam imej
• boleh menyusun galeri imej dan pustaka dokumen mengikut wajah, tema, lokasi dan dimensi lain
• boleh melakukan pemahaman mendalam terhadap dokumen dan helaian
• menyokong penjanaan carta, penggilapan teks dan penukaran format

Bila digabungkan, set keupayaan ini sebenarnya bukan lagi fungsi terasing, tetapi satu rantaian multimodal yang agak lengkap:

• lihat kandungan
• cari kandungan
• fahami kandungan
• jana hasil

Maksudnya, cita-cita Marvis pada jalur ini bukan sekadar “menyokong input imej”, tetapi:

membawa imej, teks, dokumen dan helaian yang berbeza masuk ke dalam satu hasil tugasan peringkat desktop.

Kes 1: pengecaman imej bukan sekadar menerangkan gambar, tetapi terus mengekstrak parameter

Dalam artikel awam Komuniti Pembangun Tencent Cloud itu, kes praktikal yang paling jelas menunjukkan nilainya ialah:

laporan analisis pesaing jam tangan pintar

Sasaran tugasan ini bukan soal jawab satu pusingan, tetapi penghantaran yang sangat menyerupai kerja komersial sebenar:

• kumpulkan imej dan parameter bagi 3 produk pesaing
• lakukan analisis perbandingan
• jana laporan Word
• jana carta Excel

Ini sudah bukan lagi “tolong lihat gambar ini apa bendanya”, tetapi lebih dekat kepada:

menjadikan input imej sebagai sebahagian daripada tugasan analisis.

Mengikut langkah dalam artikel awam tersebut, langkah pertama ialah:

• memuat naik imej 3 jam tangan pintar
• meminta Marvis mengenal pasti produk dan mengekstrak parameter utama

Dalam hasil terbuka yang dipaparkan, output Marvis merangkumi:

• pemantauan kadar denyutan jantung
• pengesanan oksigen darah
• ketahanan bateri
• harga

Ini bermaksud perkara yang dilakukannya bukan sekadar penerangan imej, tetapi:

• mengenal pasti objek
• mengekstrak medan berstruktur
• terus menyokong laporan dan carta pada langkah seterusnya

Kenapa keupayaan seperti ini penting? Kerana dalam kerja sebenar, imej jarang sekadar “untuk dilihat”, sebaliknya lebih kerap digunakan untuk:

• mencari medan daripada tangkapan skrin
• mencari parameter daripada gambar produk
• mencari trend daripada carta
• mencari perbezaan utama daripada halaman

Jika ia hanya boleh melihat gambar dan bercakap tentang gambar, nilainya terhad. Tetapi jika maklumat dalam imej boleh terus ditolak ke langkah aliran kerja seterusnya, barulah itu benar-benar produktif.

Kes 2: input suara bukan sekadar ditukar ke teks, tetapi terus menjadi tugasan dokumen

Dalam artikel awam multimodal yang sama, satu lagi contoh yang sangat berbaloi diperhatikan ialah:

• pengguna terus bercakap kepada komputer
• “tolong buat satu dokumen Word, tajuknya ‘Minit Mesyuarat Mingguan’, kandungannya rekod mesyuarat hari ini”

Mengikut rantaian dalam artikel tersebut, Marvis melakukan:

1. pengecaman suara
2. memahami arahan
3. memanggil Office API
4. menjana dokumen Word pada desktop
5. kemudian memberi maklum balas hasil melalui suara

Ini berbeza sedikit daripada pemahaman ramai orang tentang “fungsi suara”.

Banyak produk yang mendakwa menyokong suara sebenarnya hanya:

• menukar suara kepada teks
• kemudian menampal teks itu ke dalam kotak sembang

Tetapi dalam Marvis, alirannya lebih menyerupai:

suara hanyalah pintu masuk tugasan; yang penting ialah ia benar-benar melaksanakan operasi dokumen selepas itu.

Ini sangat bermakna untuk beberapa senario sebenar:

• ketika mesyuarat dan tidak sempat menaip
• perlu memberi arahan sambil terus bekerja
• mahu hasil terus disimpan sebagai fail

Jadi dalam persekitaran desktop, nilai sebenar suara bukan pada “boleh bercakap”, tetapi:

sama ada suara boleh disambung terus ke dalam aliran kerja sistem.

Kes 3: yang benar-benar menyerupai persekitaran produksi ialah apabila “lihat imej + analisis + hasilkan laporan + bina carta” disambung menjadi satu set lengkap

Sebab kes analisis pesaing jam tangan pintar ini layak dibincangkan secara berasingan ialah ia bukan demo fungsi tunggal, tetapi satu rantaian tugasan multimodal yang lengkap.

Dalam artikel awam itu, langkah selepasnya diteruskan seperti berikut:

Langkah 1: pemahaman imej

• kenal pasti imej 3 jam tangan
• ekstrak parameter

Langkah 2: analisis teks

• jana analisis perbandingan pesaing berdasarkan parameter
• tulis kesimpulan tentang fungsi, harga dan ulasan pengguna

Langkah 3: penjanaan dokumen

• jana Word bertajuk “Laporan Analisis Pesaing Jam Tangan Pintar”
• tulis bahagian, jadual dan kesimpulan

Langkah 4: visualisasi data

• cipta Excel
• tulis parameter dan skor
• jana carta bar dan carta radar secara automatik

Kenapa rantaian ini sangat penting?

Kerana ia mendedahkan satu corak kerja sebenar:

nilai AI multimodal bukan pada satu keupayaan paling mengagumkan secara tunggal, tetapi pada sama ada ia boleh menyambungkan mod yang berbeza menjadi satu hasil akhir yang benar-benar boleh diserahkan.

Ini sudah sangat hampir dengan rupa sebenar kerja pejabat atau analisis perniagaan:

• input bukan teks semata-mata
• output juga bukan sekadar satu ringkasan
• di tengah-tengahnya perlu merentas imej, teks, helaian dan dokumen

Kes 4: walaupun perbandingan kecekapan ialah naratif awam, ia cukup jelas menunjukkan sasaran Marvis

Artikel awam ini turut memberikan satu jadual perbandingan kecekapan yang sangat tipikal:

• pengecaman imej pesaing: 30 minit -> 2 minit
• penjanaan analisis perbandingan: 60 minit -> 3 minit
• penjanaan laporan Word: 45 minit -> 5 minit
• pembinaan carta Excel: 30 minit -> 3 minit
• jumlah keseluruhan: 165 minit -> 13 minit

Dengan kata lain, menurut naratif awam itu:

sekitar 12.7 kali peningkatan kecekapan

Sudah tentu angka seperti ini tidak boleh dianggap sebagai janji yang boleh diulang secara stabil untuk semua pasukan. Tetapi sekurang-kurangnya ia menjelaskan satu perkara:

Sasaran Marvis dalam arah multimodal bukanlah “bersembang santai dengan lebih menyerupai manusia”, tetapi:

memampatkan operasi yang asalnya berpecah merentasi banyak alat ke dalam satu aliran kerja berterusan.

Tangkapan skrin, teks dalam imej dan carta: jalur ini lebih dekat dengan penggunaan desktop sebenar berbanding OCR biasa

Satu lagi poin penting di laman rasmi Marvis ialah ia dengan jelas menyebut:

• carian kandungan imej
• carian teks dalam imej
• sokongan untuk galeri AI dan pustaka dokumen AI

Kenapa perkara ini tidak boleh disederhanakan sebagai sekadar “ada OCR”?

Kerana dalam kerja desktop sebenar, imej yang anda hadapi selalunya bukan dokumen imbasan terpencil, tetapi:

• tangkapan skrin backend
• poster produk
• tangkapan skrin jadual
• tangkapan skrin rekod sembang
• tangkapan skrin halaman cadangan

Sering kali apa yang anda perlukan bukan sekadar “baca teksnya”, tetapi:

• apakah yang sedang dibincangkan oleh gambar ini
• di mana parameter penting berada
• adakah ia sepadan dengan bahan lain
• bolehkah ia terus digunakan untuk analisis susulan

Inilah sebabnya saya rasa ia lebih dekat kepada:

soal jawab tangkapan skrin + pemahaman kandungan + pemajuan tugasan

dan bukannya sekadar alat OCR dalam makna tradisional.

Jalur pemahaman video kini lebih menyerupai pratonton keupayaan berbanding kes produksi yang lengkap

Berdasarkan artikel multimodal awam dan naratif di laman rasmi, Marvis kini sudah memasukkan video ke dalam rangka penceritaan keupayaan multimodalnya.

Tetapi berbanding imej, suara, dokumen dan helaian, kes produksi terbuka untuk arah video masih belum selengkap itu.

Apa yang boleh dipastikan dengan lebih stabil pada tahap ini ialah video sudah dimasukkan ke dalam rangka keupayaan seperti berikut:

• video sebagai salah satu mod input
• boleh digunakan untuk ringkasan kandungan
• boleh digunakan untuk analisis tingkah laku atau kandungan

Namun jika anda tanya saya, jalur manakah yang paling berbaloi diuji dahulu pada Marvis hari ini, saya masih akan mengutamakan:

1. pemahaman imej / tangkapan skrin
2. suara -> dokumen
3. gabungan imej + laporan + carta

Kerana bahagian-bahagian ini sudah lebih hampir kepada aliran kerja sebenar dalam bahan awam, bukan sekadar paparan konsep.

Pasukan mana yang paling sesuai mencubanya dahulu

Orang yang sesuai mencuba sekarang

• mereka yang kerap membuat analisis pesaing atau analisis produk
• peranan operasi / analisis perniagaan / penyelidikan yang perlu memproses imej, dokumen dan helaian bersama-sama
• mereka yang kerap menyusun rakaman mesyuarat atau memo suara
• mereka yang perlu menganalisis bahan gabungan imej dan teks
• mereka yang mahu memasukkan tangkapan skrin, dokumen dan helaian ke dalam aliran kerja desktop yang sama

Orang yang boleh tunggu dan lihat dahulu

• mereka yang hanya menggunakan sembang teks tulen dan hampir tidak menyentuh imej atau fail
• mereka yang kerja hariannya hampir tidak memerlukan input imej atau suara
• mereka yang lebih mementingkan pengalaman sembang model berbanding penutupan tugasan
• mereka yang masih belum ada keperluan sebenar untuk memproses bahan multimodal

Jika anda mahu mengujinya sendiri, saya cadangkan begini

1. Jangan mulakan dengan bertanya “adakah ia faham imej”, sebaliknya beri terus tugasan sebenar.
2. Titik masuk yang paling sesuai untuk diuji dahulu biasanya:
   • soal jawab tangkapan skrin
   • pengekstrakan parameter daripada gambar produk
   • suara mesyuarat ke Word
   • input imej + penjanaan laporan
   • helaian + dokumen + gabungan carta
3. Jangan hanya nilai sama ada jawapannya kedengaran seperti manusia. Fokus utama ialah:
   • adakah pertukaran mod berjalan lancar
   • adakah ia mengurangkan salin-tampal
   • adakah fail akhir benar-benar boleh diserahkan
   • adakah kerja pemindahan manual di tengah proses berkurang
4. Jika anda memang sedang menilai desktop AI, anda juga boleh bandingkan sekali:
   • tugasan desktop multimodal jenis apa yang lebih sesuai untuk Marvis
   • tugasan mana yang masih lebih stabil jika diserahkan kepada OCR profesional, alat penyuntingan atau alat laporan

Jika yang lebih anda ambil berat sekarang ialah: bagaimana untuk menyatukan model Tencent, GLM, Kimi, DeepSeek, StepFun dan lain-lain ke dalam aliran kerja multimodal anda sendiri, anda boleh lihat dahulu:

• Harga model
• Beli API Key
• Dokumentasi API

Kesimpulan akhir

Jika saya perlu merumuskan penilaian saya tentang hala tuju multimodal Marvis dalam satu ayat, maka begini:

Yang benar-benar menarik tentang Marvis bukan sekadar “menyokong imej dan suara”, tetapi hakikat bahawa ia mula menggabungkan imej, suara, dokumen dan helaian ke dalam satu rantaian tugasan peringkat desktop.

Bila perkara ini berjalan lancar, nilainya bukan lagi sekadar:

• melihat satu imej
• mendengar satu rakaman suara
• membuat satu ringkasan

Sebaliknya, ia lebih dekat kepada:

• lihat imej dan ekstrak parameter
• beri tugasan melalui suara
• tulis laporan
• hasilkan carta
• serahkan fail siap

Maksudnya, jalur Marvis yang paling berbaloi diuji bukan “demo multimodal yang nampak hebat”, tetapi:

sama ada ia benar-benar boleh menukar input multimodal menjadi aliran kerja multimodal.

Rujukan

• Marvis 官网
• 多模态AI应用：从文本到图像的Marvis实践
• 新手全面指南：上手腾讯 Marvis 进行个人知识管理与智能问答