Your privacy choices

Allow optional cookies for referral attribution, visit analytics, and Google Ads purchase measurement.

กลับไปที่บล็อก

เจาะเคสมัลติโหมดของ Tencent Marvis: ทำไมภาพ เสียง วิดีโอ และเอกสาร ถึงเริ่มถูกรวมเป็น AI Workflow เดียว?

MarvisTencentมัลติโหมดการรู้จำภาพการป้อนคำสั่งด้วยเสียงการเข้าใจวิดีโอAI Assistant

Marvis 多模态公开配图

ถ้าบทความ Marvis ก่อนหน้านี้พูดถึงเรื่องว่า:

  • มันควบคุมคอมพิวเตอร์แทนเราได้ไหม
  • มันอ่านไฟล์ในเครื่องได้แค่ไหน
  • มันช่วยประหยัดเวลาในงานออฟฟิศได้จริงหรือเปล่า

งั้นบทความนี้อยากตอบอีกคำถามที่เริ่มสำคัญขึ้นเรื่อย ๆ มากกว่า:

เมื่อภาพ เสียง วิดีโอ ตาราง และเอกสารไหลเข้ามาพร้อมกัน Marvis จะรวมทั้งหมดให้กลายเป็นเวิร์กโฟลว์ที่ทำงานได้จริงหรือไม่?

ผมกลับไปอ่านทั้งเว็บไซต์ทางการของ Marvis และบทความสาธารณะจาก Tencent Cloud Developer Community ที่โฟกัสด้าน “มัลติโหมดใช้งานจริง” อีกรอบ แล้วข้อสรุปสั้น ๆ ของผมคือ:

สิ่งที่น่าจับตาใน Marvis ตอนนี้ ไม่ใช่แค่มันมองภาพได้หรือไม่ได้ แต่คือมันเริ่มเชื่อมความเข้าใจภาพ การป้อนคำสั่งด้วยเสียง การสร้างเอกสาร และการทำกราฟ เข้าด้วยกันเป็นสายงานต่อเนื่องที่ใกล้กับสภาพแวดล้อมการทำงานจริงมากขึ้น

นี่จึงเป็นเหตุผลว่าทำไมผมมองว่า จุดแข่งที่แท้จริงของ Marvis ไม่ได้มีแค่ “โหมดโลคัล” หรือ “รีโมตควบคุมคอมพิวเตอร์” แต่คือ:

มันกำลังเดินไปสู่บทบาทของ “จุดเข้าใช้งานเวิร์กโฟลว์เดสก์ท็อปแบบมัลติโหมด”

สรุปก่อนเลย

  • ณ วันที่ 29 มิถุนายน 2026 ความสามารถมัลติโหมดของ Marvis ที่มีน้ำหนักมากที่สุดจากข้อมูลสาธารณะ จะอยู่ใน 4 งานหลัก:
    1. ทำความเข้าใจภาพ / ภาพหน้าจอ และดึงข้อมูลสำคัญ
    2. แปลงเสียงเป็นงานสร้างเอกสาร
    3. วิเคราะห์ร่วมกันระหว่างภาพ + ข้อความ + ตาราง
    4. ส่งมอบรายงาน, Word และกราฟ Excel ได้ในรอบเดียว
  • เว็บไซต์ทางการของ Marvis ระบุความสามารถด้านมัลติโหมดไว้อย่างชัดเจนแล้ว เช่น:
    • ค้นหาเนื้อหาในไฟล์ / รูปภาพ
    • ค้นหาข้อความภายในรูปภาพ
    • ทำความเข้าใจเอกสารและตารางเชิงลึก
    • สร้างกราฟ
    • ปรับแต่งข้อความ
    • แปลงรูปแบบไฟล์
  • ในบทความสาธารณะของ Tencent Cloud Developer Community ก็เริ่มเห็น task chain ที่สมบูรณ์ขึ้น ไม่ใช่แค่ถามหนึ่งคำตอบหนึ่ง แต่เป็นลำดับงานแบบนี้:
    • ดูภาพแล้วรู้ว่าเป็นอะไร
    • ดึงพารามิเตอร์
    • เขียนบทวิเคราะห์
    • สร้าง Word
    • ทำกราฟ Excel

ทำไมเรื่องมัลติโหมดถึงสำคัญกว่าการ “คุยเก่ง”

เครื่องมือ AI จำนวนมากจนถึงตอนนี้ ยังติดอยู่กับตรรกะเดิม:

  • คุณป้อนข้อความหนึ่งย่อหน้า
  • ระบบตอบกลับมาด้วยข้อความอีกย่อหน้า

แต่ข้อมูลที่ใช้ทำงานจริง แทบไม่เคยเป็นข้อความล้วน

สิ่งที่เจอบ่อยกว่าคือ:

  • คุณถ่ายรูปสินค้าเข้ามา
  • คุณแคปภาพหน้าจอจากระบบหลังบ้าน
  • คุณอัดเสียงประชุมไว้ช่วงหนึ่ง
  • คุณโยนเอกสารยาวพร้อมตารางเข้ามา
  • แล้วสุดท้ายคุณยังอยากได้ผลลัพธ์ที่เอาไปส่งงานต่อได้จริง

พูดอีกแบบคือ สิ่งที่กินแรงที่สุดในงานจริง มักไม่ใช่ “ให้โมเดลตอบคำถาม” แต่เป็น:

การรวบรวมข้อมูลจากหลายโมดัลลิตี แล้วประกอบมันให้กลายเป็นผลลัพธ์ที่ใช้งานได้จริง

และนี่แหละคือจุดที่ผู้ช่วยระดับระบบอย่าง Marvis มีโอกาสสร้างระยะห่างจาก AI แชตทั่วไปได้มากที่สุด

ความสามารถที่เว็บไซต์ประกาศไว้ บอกทิศทางนี้ชัดมากแล้ว

จากคำอธิบายบนเว็บไซต์ทางการ Marvis เป้าหมายด้านมัลติโหมดค่อนข้างตรงไปตรงมา:

  • ค้นหา เนื้อหาในไฟล์ / รูปภาพ
  • ค้นหา ข้อความในรูปภาพ
  • จัดระเบียบคลังรูปและคลังเอกสารตามบุคคล หัวข้อ หรือสถานที่
  • ทำความเข้าใจ เอกสารและตาราง เชิงลึก
  • รองรับ การสร้างกราฟ การเกลาข้อความ และการแปลงรูปแบบ

เมื่อเอาความสามารถเหล่านี้มาวางรวมกัน มันไม่ใช่ฟีเจอร์แยกจุดอีกต่อไป แต่เริ่มกลายเป็นสายงานมัลติโหมดที่ค่อนข้างครบ:

  • มองเห็นเนื้อหา
  • ค้นหาเนื้อหา
  • เข้าใจเนื้อหา
  • สร้างผลลัพธ์ออกมา

หรือพูดให้ชัดกว่านั้น ความทะเยอทะยานของ Marvis บนเส้นนี้ ไม่ได้อยู่แค่ระดับ “รองรับการป้อนภาพ” แต่คือ:

ทำให้ภาพ ข้อความ เอกสาร และตารางจากหลายทาง ไหลมารวมกันที่ผลลัพธ์งานบนเดสก์ท็อปชิ้นเดียว

เคส 1: การรู้จำภาพ ไม่ได้หยุดแค่บรรยายภาพ แต่ดึงพารามิเตอร์มาใช้ต่อได้ทันที

ในบทความสาธารณะของ Tencent Cloud Developer Community เคสที่อธิบายเรื่องนี้ได้ชัดที่สุด คือ:

รายงานวิเคราะห์คู่แข่งของสมาร์ตวอทช์

เป้าหมายของงานนี้ไม่ใช่ถามตอบรอบเดียว แต่เป็นงานส่งมอบที่ใกล้เคียงงานเชิงธุรกิจจริง:

  • รวบรวมภาพและสเปกของคู่แข่ง 3 รุ่น
  • วิเคราะห์เปรียบเทียบ
  • สร้างรายงาน Word
  • สร้างกราฟ Excel

นี่ไม่ใช่แค่ “ช่วยดูหน่อยว่ารูปนี้คืออะไร” แต่ใกล้กับแนวคิดว่า:

เปลี่ยนภาพที่ป้อนเข้าไป ให้กลายเป็นส่วนหนึ่งของงานวิเคราะห์

จากลำดับขั้นในบทความ ขั้นแรกคือ:

  • อัปโหลดรูปสมาร์ตวอทช์ 3 รุ่น
  • ให้ Marvis ระบุสินค้าและดึงพารามิเตอร์หลักออกมา

ผลลัพธ์ที่แสดงในบทความ มีข้อมูลอย่าง:

  • การวัดอัตราการเต้นหัวใจ
  • การวัดออกซิเจนในเลือด
  • อายุการใช้งานแบตเตอรี่
  • ราคา

แปลว่ามันไม่ได้แค่บรรยายภาพ แต่ทำสิ่งต่อไปนี้ด้วย:

  • ระบุวัตถุ
  • ดึงข้อมูลให้เป็นฟิลด์แบบมีโครงสร้าง
  • ส่งต่อข้อมูลให้รายงานและกราฟในขั้นถัดไป

ทำไมความสามารถแบบนี้ถึงสำคัญ? เพราะภาพในงานจริง แทบไม่ใช่ของที่ “เอาไว้ดูเฉย ๆ” แต่มักใช้เพื่อ:

  • หา field สำคัญจากภาพหน้าจอ
  • ดึงสเปกจากรูปสินค้า
  • อ่านแนวโน้มจากกราฟ
  • หา key difference จากหน้าเพจ

ถ้าทำได้แค่บรรยายภาพ คุณค่าก็ยังจำกัด แต่ถ้ามันพาข้อมูลในภาพไหลต่อไปยังขั้นถัดไปของเวิร์กโฟลว์ได้ นั่นต่างหากคือ productivity ของจริง

เคส 2: เสียงไม่ใช่แค่ถอดเป็นข้อความ แต่กลายเป็นงานเอกสารได้เลย

ในบทความมัลติโหมดชิ้นเดียวกัน ยังมีอีกตัวอย่างที่น่าสนใจมาก:

  • ผู้ใช้พูดใส่คอมพิวเตอร์ตรง ๆ
  • “ช่วยสร้างเอกสาร Word ชื่อ ‘บันทึกการประชุมประจำสัปดาห์’ แล้วใส่เนื้อหาเป็นบันทึกการประชุมวันนี้”

ตามลำดับในบทความ Marvis ทำงานแบบนี้:

  1. รู้จำเสียงพูด
  2. เข้าใจคำสั่ง
  3. เรียกใช้ Office API
  4. สร้างไฟล์ Word บนเดสก์ท็อป
  5. ตอบกลับผลลัพธ์ด้วยเสียงอีกครั้ง

นี่ต่างจากสิ่งที่หลายคนเข้าใจว่าเป็น “ฟีเจอร์เสียง” พอสมควร

หลายผลิตภัณฑ์ที่บอกว่ารองรับเสียง จริง ๆ มักทำแค่:

  • แปลงเสียงเป็นข้อความ
  • เอาข้อความไปแปะในกล่องแชต

แต่ในกรณีของ Marvis มันใกล้เคียงกับแนวคิดนี้มากกว่า:

เสียงเป็นแค่ช่องทางรับคำสั่ง ส่วนแก่นจริงคือมันลงมือทำงานเอกสารให้ต่อทันที

นี่จึงมีความหมายมากในสถานการณ์อย่าง:

  • ตอนประชุมที่พิมพ์ไม่ทัน
  • ตอนต้องสั่งงานไปพร้อมกับทำอย่างอื่นบนหน้าจอ
  • ตอนอยากให้ผลลัพธ์ถูกบันทึกเป็นไฟล์เลย

ดังนั้น ในสภาพแวดล้อมเดสก์ท็อป คุณค่าของเสียงไม่ใช่แค่ “พูดได้” แต่คือ:

มันต่อเสียงเข้ากับ system workflow ได้โดยตรงหรือไม่

เคส 3: สิ่งที่เหมือนสภาพแวดล้อมการผลิตจริงที่สุด คือการเชื่อม “ดูภาพ + วิเคราะห์ + ออกรายงาน + ทำกราฟ” เข้าด้วยกัน

เหตุผลที่เคสวิเคราะห์คู่แข่งสมาร์ตวอทช์นี้ควรแยกมาพูดเต็ม ๆ ก็เพราะมันไม่ใช่เดโมฟีเจอร์เดี่ยว แต่เป็น task chain มัลติโหมดทั้งเส้น

ในบทความ ขั้นตอนถัดจากนั้นยังไหลต่อแบบนี้:

ขั้นที่ 1: ทำความเข้าใจภาพ

  • ระบุรูปนาฬิกา 3 รุ่น
  • ดึงพารามิเตอร์

ขั้นที่ 2: วิเคราะห์ข้อความ

  • สร้างบทวิเคราะห์เปรียบเทียบจากพารามิเตอร์
  • เขียนข้อสรุปด้านฟังก์ชัน ราคา และความคิดเห็นผู้ใช้

ขั้นที่ 3: สร้างเอกสาร

  • สร้าง Word ชื่อ “รายงานวิเคราะห์คู่แข่งสมาร์ตวอทช์”
  • ใส่หัวข้อ ตาราง และบทสรุปลงไป

ขั้นที่ 4: ทำภาพข้อมูล

  • สร้าง Excel
  • ใส่พารามิเตอร์และคะแนน
  • สร้างกราฟแท่งและกราฟเรดาร์อัตโนมัติ

ทำไมสายงานนี้ถึงสำคัญมาก?

เพราะมันสะท้อนรูปแบบการทำงานจริงอย่างหนึ่ง:

คุณค่าของ AI มัลติโหมด ไม่ได้อยู่ที่ความหวือหวาของความสามารถจุดใดจุดหนึ่ง แต่อยู่ที่มันเชื่อมอินพุตหลายโมดัลลิตีให้ไปจบที่งานส่งมอบได้หรือไม่

นี่ใกล้เคียงกับภาพของงานวิเคราะห์ธุรกิจหรือออฟฟิศจริงมากแล้ว:

  • อินพุตไม่ใช่ข้อความล้วน
  • เอาต์พุตก็ไม่ใช่ประโยคสรุปสั้น ๆ
  • ระหว่างทางยังต้องข้ามภาพ ข้อความ ตาราง และเอกสาร

เคส 4: ตัวเลขเปรียบเทียบประสิทธิภาพยังเป็นข้อมูลจากฝั่งผู้เผยแพร่ แต่ก็พอบอกได้ว่าพวกเขากำลังเล็งอะไร

บทความสาธารณะนี้ยังให้ตารางเทียบเวลาแบบคลาสสิกมาด้วย:

  • รู้จำภาพคู่แข่ง: 30 นาที -> 2 นาที
  • สร้างบทวิเคราะห์เปรียบเทียบ: 60 นาที -> 3 นาที
  • สร้างรายงาน Word: 45 นาที -> 5 นาที
  • ทำกราฟ Excel: 30 นาที -> 3 นาที
  • รวมทั้งหมด: 165 นาที -> 13 นาที

หรือคิดตามข้อความสาธารณะก็คือ:

ประสิทธิภาพเพิ่มขึ้นประมาณ 12.7 เท่า

แน่นอนว่าตัวเลขลักษณะนี้ ไม่ควรถูกมองเป็นคำสัญญาว่าทุกทีมจะทำซ้ำได้เท่ากันเสมอ แต่อย่างน้อยมันอธิบายสิ่งหนึ่งได้ชัด:

เป้าหมายของ Marvis ในทิศทางมัลติโหมด ไม่ใช่ “คุยเล่นได้เหมือนคนมากขึ้น” แต่คือ:

พยายามอัดงานที่เดิมกระจายอยู่หลายเครื่องมือ ให้มาอยู่ในเวิร์กโฟลว์ต่อเนื่องเส้นเดียว

ภาพหน้าจอ ข้อความในภาพ และกราฟ เส้นนี้ใกล้กับการใช้งานบนเดสก์ท็อปมากกว่า OCR ทั่วไป

อีกจุดสำคัญบนเว็บไซต์ Marvis คือการระบุชัดว่า:

  • ค้นหาเนื้อหาในรูปภาพ
  • ค้นหาข้อความในรูปภาพ
  • รองรับ AI image library และ AI document library

แล้วทำไมเรื่องนี้ถึงไม่ควรถูกตีความง่าย ๆ ว่า “ก็มี OCR”?

เพราะภาพที่ต้องเจอในงานเดสก์ท็อปจริง มักไม่ใช่สแกนเอกสารโดด ๆ แต่เป็น:

  • ภาพหน้าจอระบบหลังบ้าน
  • โปสเตอร์สินค้า
  • ภาพหน้าจอตาราง
  • ภาพหน้าจอบทสนทนา
  • ภาพหน้าจอหน้าเสนอแผนงาน

หลายครั้งสิ่งที่คุณต้องการ ไม่ใช่แค่ “อ่านข้อความออกมา” แต่คือ:

  • ภาพนี้กำลังสื่ออะไร
  • พารามิเตอร์สำคัญอยู่ตรงไหน
  • ตรงกับข้อมูลจากแหล่งอื่นหรือไม่
  • เอาไปวิเคราะห์ต่อได้เลยไหม

นี่คือเหตุผลที่ผมมองว่ามันใกล้กับแนวคิด:

ถามตอบจากภาพหน้าจอ + เข้าใจเนื้อหา + พางานเดินต่อ

มากกว่าจะเป็นเครื่องมือ OCR แบบดั้งเดิมอย่างเดียว

เส้นของการเข้าใจวิดีโอ ตอนนี้ยังเหมือนการปักธงความสามารถ มากกว่าจะเป็นเคสใช้งานจริงที่เปิดครบแล้ว

จากทั้งบทความมัลติโหมดและคำอธิบายบนเว็บไซต์ ตอนนี้ Marvis ได้นำ วิดีโอ เข้ามาอยู่ในภาพรวมความสามารถมัลติโหมดแล้ว

แต่เมื่อเทียบกับภาพ เสียง เอกสาร และตาราง เคสการใช้งานเชิงผลิตจริงของวิดีโอยังไม่ได้ถูกเปิดออกมาแบบครบเส้นเท่าไร

สิ่งที่พอยืนยันได้ค่อนข้างชัดในตอนนี้ คือในเชิง narrative ของผลิตภัณฑ์ มันเริ่มวางวิดีโอไว้ในกรอบความสามารถแบบนี้:

  • วิดีโอเป็นหนึ่งในอินพุตมัลติโหมด
  • ใช้สรุปเนื้อหาได้
  • ใช้วิเคราะห์พฤติกรรมหรือคอนเทนต์ได้

แต่ถ้าถามผมว่า วันนี้ควรเริ่มเทสต์ Marvis จากเส้นไหนก่อน ผมยังคงให้ลำดับความสำคัญกับ:

  1. การเข้าใจภาพ / ภาพหน้าจอ
  2. เสียง -> เอกสาร
  3. ภาพ + รายงาน + กราฟ ที่เชื่อมกัน

เพราะส่วนเหล่านี้จากข้อมูลสาธารณะ ใกล้กับเวิร์กโฟลว์ใช้งานจริงมากกว่าเดโมเชิงแนวคิด

ตอนนี้ทีมแบบไหนที่เหมาะจะเริ่มลองก่อน

คนที่เหมาะจะลองทันที

  • คนที่ทำงานวิเคราะห์คู่แข่งหรือวิเคราะห์สินค้าเป็นประจำ
  • ทีมปฏิบัติการ / วิเคราะห์ธุรกิจ / วิจัย ที่ต้องจัดการรูปภาพ เอกสาร และตารางพร้อมกัน
  • คนที่ต้องสรุปเสียงประชุมหรือ voice memo อยู่บ่อย ๆ
  • คนที่ต้องวิเคราะห์วัสดุที่มีทั้งภาพและข้อความปะปนกัน
  • คนที่อยากรวมภาพหน้าจอ เอกสาร และตาราง เข้าไปอยู่ในเดสก์ท็อป workflow เดียว

คนที่อาจรอดูก่อนได้

  • คนที่ใช้งานแค่แชตข้อความล้วน และแทบไม่แตะรูปหรือไฟล์
  • คนที่งานแทบไม่ต้องใช้ภาพหรือเสียงเป็นอินพุต
  • คนที่สนใจประสบการณ์การคุยกับโมเดล มากกว่าการปิดจบงานเป็น workflow
  • คนที่ยังไม่มี use case จัดการข้อมูลมัลติโหมดจริง ๆ

ถ้าคุณอยากลองทดสอบเอง ผมแนะนำให้เริ่มแบบนี้

  1. อย่าเริ่มจากคำถามว่า “มันเข้าใจภาพไหม” ให้โยนงานจริงเข้าไปเลย
  2. จุดเริ่มต้นที่เหมาะจะลองก่อน มักเป็น:
    • ถามตอบจากภาพหน้าจอ
    • ดึงพารามิเตอร์จากรูปสินค้า
    • แปลงเสียงประชุมเป็น Word
    • ป้อนภาพแล้วให้สร้างรายงาน
    • เชื่อมตาราง + เอกสาร + กราฟ เข้าด้วยกัน
  3. อย่าดูแค่ว่าคำตอบเหมือนคนไหม สิ่งที่ควรดูมากกว่าคือ:
    • การสลับโมดัลลิตีลื่นหรือไม่
    • ลดการคัดลอกวางไปมาได้แค่ไหน
    • ไฟล์สุดท้ายเอาไปส่งงานได้จริงไหม
    • ระหว่างทางลดงานย้ายข้อมูลด้วยมือได้มากน้อยแค่ไหน
  4. ถ้าคุณกำลังประเมิน desktop AI อยู่แล้ว ก็อาจเทียบต่อได้เลยว่า:
    • Marvis เหมาะกับงานเดสก์ท็อปแบบมัลติโหมดประเภทไหนมากกว่า
    • งานแบบไหนยังควรให้ OCR เฉพาะทาง เครื่องมือตัดต่อ หรือเครื่องมือทำรายงานเป็นคนทำจะนิ่งกว่า

ถ้าตอนนี้สิ่งที่คุณสนใจกว่าคือ: จะรวมโมเดลอย่าง Tencent, GLM, Kimi, DeepSeek, StepFun และอื่น ๆ ให้เข้ากับเวิร์กโฟลว์มัลติโหมดของตัวเองได้อย่างไร ลองดูต่อได้ที่:

บทสรุปสุดท้าย

ถ้าจะสรุปมุมมองของผมต่อทิศทางมัลติโหมดของ Marvis ให้เหลือแค่ประโยคเดียว ก็คือ:

สิ่งที่น่าสนใจจริง ๆ ไม่ใช่แค่ “รองรับภาพและเสียง” แต่คือมันเริ่มรวบภาพ เสียง เอกสาร และตาราง เข้ามาอยู่ใน task chain ระดับเดสก์ท็อปเส้นเดียว

ถ้าเรื่องนี้ทำได้ลื่นเมื่อไร คุณค่าของมันก็จะไม่ใช่แค่:

  • ดูภาพหนึ่งใบ
  • ฟังเสียงหนึ่งช่วง
  • สรุปออกมาเป็นหนึ่งประโยค

แต่จะใกล้กับสิ่งนี้มากกว่า:

  • ดูภาพแล้วดึงพารามิเตอร์
  • รับคำสั่งจากเสียง
  • เขียนรายงาน
  • ทำกราฟ
  • ส่งมอบไฟล์พร้อมใช้งาน

พูดให้ตรงที่สุด เส้นที่ควรทดสอบใน Marvis ไม่ใช่ “ความหวือหวาของมัลติโหมด” แต่คือ:

มันเปลี่ยนอินพุตหลายโมดัลลิตี ให้กลายเป็นเวิร์กโฟลว์มัลติโหมดที่ใช้งานจริงได้หรือไม่

แหล่งอ้างอิง