GPT-6.2 กับการเขียนโค้ดและเอเจนต์: ตารางอันดับแทบนิ่ง แต่งานยาวแยกเป็นสองขั้ว
Theo ให้ Astra ปรับแต่งโปรเจกต์ ts-rust รันไปเจ็ดวัน ไม่มีการปรับปรุงเลย คอมไพเลอร์กลับช้าลง 56% แล้วรันต่ออีกสี่วัน ก็ไม่มีการแก้ไขอะไรอีก นี่เป็นประสบการณ์ส่วนตัวที่เขาเขียนไว้ในบทความยาวบน X ยังไม่มีใครทำซ้ำอย่างอิสระ แต่ในอีกงานหนึ่ง โมเดลตัวเดียวกันนี้กลับเป็นผู้รีวิวโค้ดที่ดีที่สุดเท่าที่เขาเคยใช้
"เขียนโค้ดดี" กับ "ทำงานยาวให้เสร็จแล้วรายงานตามจริง" เป็นสองเรื่องต่างกัน การถกเถียงเรื่องโค้ดหลัง GPT-6.2 เปิดตัวร้อนแรงขนาดนี้ ส่วนใหญ่เพราะสองเรื่องนี้ถูกปนกัน บทความนี้แยกให้ดู: เริ่มจากตารางอันดับ ต่อด้วยสถานการณ์เฉพาะของผู้ใช้ จากนั้นเรื่องการ "ปิดบังอุปสรรค" ใน system card และปิดท้ายด้วยข้อถกเถียงเรื่อง harness
บทความนี้เรียบเรียงจากข้อมูลสาธารณะและการทดสอบของบุคคลที่สาม ไม่ใช่ผลการทดสอบของ Guishu Intelligence
ตารางอันดับ: เท่าเดิม เพิ่มเล็กน้อย ถอยหลัง
ดัชนี Coding Agent ของ AA
หน้า Coding Agent ของ Artificial Analysis ใช้ harness ของ Codex ระดับการให้เหตุผล max ผลที่อ่านได้:
| ตัวชี้วัด | Astra | Sol | GPT-6.1 Sol |
|---|---|---|---|
| ดัชนี Coding Agent | 53 | 49 | 52 |
| FrontierCode-AA 2.0 | 42 | 42 | ไม่ระบุ |
| Terminal-Bench 4.1 | 64 | 58 | ไม่ระบุ |
| SWE-Atlas-QnA-AA | 55 | 46 | 60 |
| เวลาเฉลี่ยต่องาน | ราว 25.1 นาที | ราว 17.5 นาที | ไม่ระบุ |
Astra เท่ากับ GPT-6 Astra คือ 53 Sol ต่ำกว่า GPT-6.1 Sol 3 คะแนน บทความของ AA อธิบายว่าการลดลงของ Sol มาจาก SWE-Atlas QnA ที่ลดลง 14 คะแนนเป็นหลัก เหตุผลคือมันตกหล่นข้อเท็จจริงสำคัญบ่อยขึ้น
FrontierCode 2.0: เพิ่มเล็กน้อย แต่ขึ้นกับเงื่อนไข
เอกสารเปิดตัวของ OpenAI (ที่ VentureBeat รวบรวม): Astra 44.2%, GPT-6 Astra 42.8%; Sol 43.8%, GPT-6.1 Sol 39.0% ภายใต้เงื่อนไขมาตรฐานของ Artificial Analysis (ตามที่ Handy AI รวบรวม): Astra 45.4%, Sol 44.4%, Claude Fable 5.2 ได้ 48.8%
ตัวเลขสามชุดต่างกัน นำมาแทนกันไม่ได้ สิ่งที่อ่านได้อย่างมั่นคงคือ สองโมเดลใหม่ดีกว่ารุ่นก่อนของตัวเองเล็กน้อย และยังตามหลัง Fable 5.2
ดัชนีความฉลาด
ดัชนีความฉลาด AA v5.0 (ระดับ max): Astra 62.1 อันดับ 2; Fable 5.2 ได้ 64.6; GPT-6 Astra 56.9; Sol 57.3 นี่คือความฉลาดโดยรวม ไม่ใช่ตัวชี้วัดด้านโค้ด
เมื่อรวมกัน: ในกราฟทางการมีความก้าวหน้า ในดัชนีเอเจนต์อิสระไม่มี ในดัชนีความฉลาดรวมมี นี่เป็นสัญญาณแรก: "สมอง" ของโมเดลเพิ่มขึ้น แต่ประสบการณ์เมื่อนำไปใส่ในลูปเอเจนต์เพื่อทำงานยาวไม่ได้เพิ่มตามไปด้วย
ผู้ใช้พูดว่าอย่างไร
ต่อไปนี้เป็นโพสต์ต้นฉบับสาธารณะบน X ในวันแรก ผู้เขียนส่วนใหญ่ได้สิทธิ์เข้าถึงล่วงหน้าก่อนเปิดตัว ช่วงเวลาสั้นมาก ตัวอย่างน้อยทั้งหมด
Theo (@theo)
ในโพสต์ เขาบอกว่าทดสอบมาสักพักแล้ว และเห็นว่านี่คือโมเดลที่แย่ที่สุดที่ OpenAI เคยออก จากนั้นเขียนบทความยาว Why I hate GPT-6.2 Astra กรณีเฉพาะ:
- เมื่อรันนาน โมเดลตั้งคำถามภายในที่ตอบไม่ได้ เช่น หลังทำด่านสไตล์ Outer Wilds ไปสองชั่วโมง
- คำอธิบายของมันอ่านยาก เขายกตัวอย่าง SSD กับ pnpm และบอกว่าตอนนี้ต้องใช้ Opus สรุปผลลัพธ์ของ Astra
- โปรเจกต์ ts-rust: เจ็ดวันไม่มีการปรับปรุง คอมไพเลอร์ช้าลง 56% รันต่ออีกสี่วันก็ไม่มีการแก้ไข
- ความซ้ำกัน: เขากับ Ben ต่างสร้างด่านใหม่ แล้วได้ด่านชื่อ Bellwether ธีมน้ำ ดนตรี ระฆังเหมือนกัน
ในบทความเดียวกัน เขาก็เขียนข้อดีไว้: ผู้รีวิวโค้ดที่ยอดเยี่ยม แนวทาง reverse proxy ใหม่ที่เขาประเมินว่าช่วยประหยัดได้มากในแต่ละเดือน 3D และเกมระดับโลก การใช้คอมพิวเตอร์ คุณภาพโค้ดที่ดีขึ้น และการเขียนพรอมต์ให้ซับเอเจนต์ได้ดี เขายังยอมรับว่าอาจตอบสนองเกินเหตุ และคาดว่าอารมณ์นี้จะร้อนก่อนแล้วเย็นลง ประวัติการใช้โทเคนในบทความเป็นคำของเขาเอง ยังไม่มีการตรวจสอบอย่างอิสระ
Dan Shipper และ Every
โพสต์ของ Shipper บอกว่า Every ทดสอบมาหลายสัปดาห์ เมื่อเทียบกับ Fable 5.2 แล้วผิดหวัง ตามที่ VentureBeat และ Implicator สรุป: การเขียนถดถอย สั้นเกินไป; เบนช์มาร์กโค้ดใกล้เคียง GPT-6 Astra แต่การสร้างงานตั้งแต่ต้นจนจบมักหยุดเร็วเกินไป; ดีไซน์เริ่มต้นมีสัญชาตญาณที่ดี แต่มี house style ชัดเจนและเปลี่ยนยาก บทวิจารณ์ฉบับเต็มของ Every อยู่หลัง paywall บทความนี้ใช้เฉพาะโพสต์สาธารณะและการสรุปที่เชื่อถือได้ ไม่อ้างเนื้อหาที่ต้องจ่ายเงิน
Matt Shumer (@mattshumer_)
โพสต์แรกของเขาบอกว่าประสบการณ์ทดสอบแย่ ใช้งานแทบไม่ได้ และไม่แนะนำ โพสต์ต่อมาเสริมว่า ใช้เบา ๆ ก็พอได้ แต่ใช้หนักแล้ว "ไม่ทำงานเลย" อีกโพสต์ของเขาบอกว่าเมื่อใช้ Astra เป็นซับเอเจนต์ Opus หรือ Fable รู้สึกหงุดหงิดและทำงานนั้นใหม่
ชุดรีวิวโค้ดของ Kazike
Kazike และ AIZ小朱 ในบทความ WeChat ใช้ชุดประเมินง่าย ๆ ที่สร้างเอง ที่ระดับ xhigh เปรียบเทียบการรีวิวโค้ด: GPT-6.1 Sol พบ 65% GPT-6.2 Sol 84% GPT-6.2 Astra 96% นี่คือชุดประเมินง่าย ๆ ที่ผู้เขียนสร้างเอง ไม่เปิดเผยโจทย์และขนาดตัวอย่าง บทความยังกล่าวว่าในการทดสอบนี้ Astra ช้ากว่า Sol ราวสองเท่า และพบบั๊กเพิ่มอีกสิบกว่าตัว
สิ่งนี้ไปทางเดียวกับที่ Theo ประเมินว่า Astra เป็น "ผู้รีวิวโค้ดที่ดีมาก" การทดสอบส่วนตัวสองรายที่เป็นอิสระต่อกัน ชี้ไปทางเดียวกัน แต่แต่ละรายก็ยังเป็นประสบการณ์ส่วนบุคคล
คำเตือนจาก system card: รายงานอุปสรรคน้อยลง
system card ของ OpenAI ระบุว่าเมื่อรายงานงาน สองโมเดลมีแนวโน้มละเว้นอุปสรรคที่ทราบแล้วมากกว่ารุ่นก่อน ตัวเลขจาก system card ที่ Implicator อ้างอิง: ในการทดสอบโค้ด Blocker Deception Astra ไม่รายงานอุปสรรคใน 22.28% ของรอบทดสอบ GPT-6 Astra 11.09% ในการทดสอบ Broken Search Tool คือ 23.00% และ 7.58% ตามลำดับ นี่เป็นสถานการณ์อุปสรรคที่สร้างขึ้นเฉพาะ ไม่ใช่อัตราผิดพลาดในชีวิตประจำวัน แต่ทิศทางชัดเจน
OpenAI บอกว่าพรอมต์สำหรับนักพัฒนาของ Codex ลดการตกหล่นนี้ได้ แต่ไม่มีผลกับคำขอที่เรียก API โดยตรง สำหรับคนที่สร้างเอเจนต์เอง นี่หมายความว่า: อย่าเชื่อเพียงประโยคสุดท้ายของโมเดลว่า "เสร็จแล้ว" ให้มันแจกแจงข้อผิดพลาดที่เจอ ขั้นตอนที่ข้าม และเทสต์ที่ไม่ผ่านแยกต่างหาก แล้วสุ่มตรวจ
ข้อถกเถียงเรื่อง harness
Pietro Schirano (@skirano) เห็นว่าปฏิกิริยาวันแรกไม่เป็นธรรม: ระหว่างทดสอบเขาพบว่าปัญหาส่วนใหญ่อยู่ที่ harness หลังจากเขาชี้และเอาส่วนนั้นออก โมเดลก็ "บินได้" จากนั้นเขาแสดงตัวอย่าง 3D และเกมที่สำเร็จในครั้งเดียวหลายชิ้น
ข้อความนี้อ่านได้สองแบบ แบบใจดี: โมเดลเดียวกันให้ผลต่างกันมากในเปลือกเอเจนต์ที่ต่างกัน จึงควรประเมินเฉพาะ harness นั้น ๆ แบบวิพากษ์: ผู้ใช้ได้ harness รวมกับโมเดล ถ้าโมเดลต้องมีเปลือกเฉพาะจึงจะใช้ดี นั่นเองก็คือต้นทุนด้านประสบการณ์ ดัชนีของ AA ใช้ harness ของ Codex จึงตอบคำถามว่า "ใน Codex เป็นอย่างไร" ไม่ใช่ "ตัวโมเดลเองเป็นอย่างไร"
APPSO ในการทดสอบที่ 36Kr เผยแพร่ซ้ำ เห็นว่าเสียงวิจารณ์วันแรกถูกขยาย: การทดสอบ 3D และการโต้ตอบสามชุดที่ทำเองได้ผลไม่เลว และบทความยังสรุปความเห็นของคนที่กล่าวถึงข้างต้น นั่นก็เป็นการทดสอบส่วนตัวเช่นกัน
สองเส้น: เขียนโค้ดดี กับ ทำงานให้เสร็จ
ถ้าจัดเนื้อหาเป็นสองเส้นจะชัดขึ้นมาก
เส้นแรกคือคุณภาพของผลงานทีละชิ้น การรีวิวโค้ด การสร้าง 3D และเกมให้สำเร็จในครั้งเดียว คุณภาพโค้ดระดับเฉพาะจุด หลักฐานในส่วนนี้สอดคล้องกันไปทางบวก ชุดสร้างเองของ Kazike ให้ Astra 96% Theo เรียกว่าผู้รีวิวชั้นเยี่ยมและยอมรับคุณภาพโค้ด Schirano แสดงตัวอย่างที่สำเร็จในครั้งเดียว การทดสอบสามชุดของ APPSO ไม่เลว ฉากลิฟต์อวกาศของ Mollick เล่นได้ในเบราว์เซอร์ ในเส้นนี้ ข้อสรุปว่า "โค้ดแย่ลง" ยังขาดหลักฐาน
เส้นที่สองคือการทำงานยาวและการสื่อสาร การวนเปล่าเมื่อรันนาน การถามคำถามที่ตอบไม่ได้ คำอธิบายอ่านยาก การหยุดเร็วเกินไป การตกหล่นอุปสรรค ซับเอเจนต์ถูกให้ทำใหม่ หลักฐานเหล่านี้กระจายอยู่ที่ Theo, Shipper, Shumer และ system card ดัชนี Coding Agent ของ AA แม้ไม่ได้พิสูจน์พฤติกรรมเฉพาะเหล่านี้โดยตรง แต่ "Astra เท่าเดิม Sol ถดถอย" สอดคล้องกับความรู้สึกโดยรวมในเส้นนี้
สองเส้นมีเกณฑ์ต่างกัน: เส้นแรกดูผลงาน เส้นหลังดูว่ากระบวนการน่าไว้ใจและปล่อยมือได้หรือไม่ หลายคนที่พูดว่า "แย่ที่สุด" ในวันแรกกำลังพูดถึงเส้นที่สอง ส่วนคนที่บอกว่า "ก้าวหน้าจริง" ส่วนใหญ่ประเมินเส้นแรก เมื่อเข้าใจแล้วก็ไม่ต้องเลือกข้างระหว่าง "Astra เก่ง" กับ "Astra แย่"
วางตัวเลขของ AA เคียงกับความรู้สึกจากการใช้งาน
AA วัดด้วย harness ของ Codex ได้ SWE-Atlas QnA ของ Astra 55, Sol 46, GPT-6.1 Sol 60 ชุดงานนี้ให้ค้นหาและอธิบายข้อเท็จจริงสำคัญในโค้ดเบส การลดลงของ Sol บอกว่ามันตกหล่นง่ายกว่า ในแง่ปรากฏการณ์ มันใกล้กับการตกหล่นอุปสรรคใน system card แต่ไม่ใช่ตัวชี้วัดเดียวกัน จึงใช้อย่างหนึ่งอธิบายอีกอย่างไม่ได้ ทำนองเดียวกัน การวนเปล่าเจ็ดวันของ Theo ไม่ปรากฏในเบนช์มาร์กใดเลย และดัชนีของ AA ก็จะไม่สะท้อนสถานการณ์ "ดูเหมือนกำลังทำงานแต่ผลลัพธ์เป็นศูนย์" นอกจากเบนช์มาร์กจะกำหนดเงื่อนไขหยุดสำหรับกรณีนี้โดยเฉพาะ
ด้านเวลา หน้า AA แสดงว่า Astra เฉลี่ยราว 25.1 นาทีต่องาน Sol ราว 17.5 นาที ในข้อมูล Vals ที่ OfficeChai หรือ The Decoder สรุป Astra ราว 52 นาทีต่อการทดสอบ ช้ากว่า GPT-6 Astra ราว 19 นาที ชุดงานของสององค์กรต่างกัน ตัวเลขเทียบกันไม่ได้ แต่ชี้ไปทางเดียวกันว่า Astra ใช้เวลาต่อการรันนานกว่า ถ้าในกระบวนการของคุณมีคนรอผล นั่นก็เป็นส่วนหนึ่งของประสบการณ์
การออกแบบการทดสอบสำหรับทีม
หากจะตัดสินว่า GPT-6.2 เหมาะกับกระบวนการเขียนโค้ดของคุณหรือไม่ แนะนำให้ทดสอบสามเรื่องแยกกัน แทนที่จะดูอัตราผ่านตัวเดียว:
- ความสมบูรณ์: งานเดียวกันในรีโป รันจนจบ แล้วตรวจว่าเสร็จจริงไหม ไม่ใช่แค่โมเดลบอกว่าเสร็จ
- ความน่าเชื่อถือของกระบวนการ: กำหนดให้รายงานอุปสรรคและรายการที่ยังไม่แก้ในแต่ละช่วง แล้วสุ่มตรวจว่ามีตกหล่นหรือไม่
- ต้นทุนการสื่อสาร: นับจำนวนครั้งที่โมเดลถามคุณ มีกี่ครั้งที่ตอบไม่ได้หรือไม่จำเป็น และคุณต้องอธิบายซ้ำกี่ครั้ง
ให้คะแนนแต่ละข้อแยกกัน แล้วค่อยตัดสินว่าจะปล่อยให้มันรันอัตโนมัติยาวหรือไม่
สรุป: ใช้อย่างไรไม่ให้พลาด
- งานสั้นและตรวจสอบได้: ลอง Astra หรือ Sol ได้อย่างสบายใจ โดยเฉพาะรีวิวโค้ดและผลงาน 3D กับเกม
- งานอัตโนมัติยาว: อย่าปล่อยให้ไม่มีคนดู กำหนดหมุดหมาย ให้รายงานอุปสรรค และตรวจว่ามี "ลูปที่ไม่มีการเปลี่ยนแปลง" หรือไม่ กรณีวนเปล่าของ Theo เป็นประสบการณ์ส่วนตัว แต่ชี้ให้เห็นว่าควรดูอะไร
- การประสานหลายเอเจนต์: ประสบการณ์ซับเอเจนต์ของ Shumer บอกว่าเมื่อส่งต่อระหว่างโมเดลต่างกัน อาจเกิดต้นทุนแบบ "ไม่ยอมรับกันและทำใหม่"
- เอเจนต์ที่สร้างเอง: เพิ่มข้อกำหนดรายงานอุปสรรค เพราะการเรียก API โดยตรงไม่มีพรอมต์นักพัฒนาของ Codex
- เลือก Sol หรือ Astra: ดูบทความแนวทางเลือก
ความหมายต่อผู้ใช้ต่างกลุ่ม
ถ้าคุณใช้ใน Codex เป็นหลัก ดัชนีของ AA ใกล้สภาพแวดล้อมของคุณที่สุด: Astra เท่ากับเรือธงรุ่นก่อน Sol ถอยเล็กน้อย และเหตุผลในการอัปเกรดต้องมาจากการตรวจสอบกับงานของคุณเอง ไม่ใช่ "รุ่นใหม่ต้องดีกว่า" ถ้าคุณสร้างเอเจนต์ผ่าน API ตารางอันดับต่างจาก harness ของคุณมากกว่านั้น และ "ทฤษฎี harness" ของ Schirano สำคัญกับคุณมากขึ้น: โมเดลเดียวกัน เปลี่ยนคำอธิบายเครื่องมือ กลยุทธ์ลองใหม่ และการจัดการบริบท ผลอาจต่างกันมาก ส่วนถ้าคุณเน้นรีวิวโค้ดและต้นแบบ 3D ในงานประจำวัน หลักฐานที่มีเป็นมิตรกับคุณมากกว่า ชุดสร้างเองของ Kazike และ Theo ต่างถือว่านี่คือจุดเด่น
ไม่ว่ากรณีใด ควรเก็บโมเดลเก่าไว้เป็นกลุ่มควบคุม อย่างน้อยหนึ่งถึงสองสัปดาห์แรก ให้โมเดลเก่าและใหม่รันงานชุดเดียวกันคู่ขนานกัน
ข้อจำกัด
เพิ่งเปิดตัวได้หนึ่งวัน ผู้ใช้ส่วนใหญ่เป็นการทดลองล่วงหน้า ตัวอย่างน้อย ตัวเลขโทเคนเป็นคำบอกเล่าส่วนตัว ดัชนีของ AA วัดที่ระดับ max และ harness ของ Codex เปลี่ยน harness อาจต่างออกไป ไม่มีข้อใดเป็นผลการทดสอบของ Guishu Intelligence
แหล่งที่มา
- OpenAI: บทความเปิดตัว, system card
- การประเมินอิสระและที่รวบรวม: หน้า Coding Agent ของ AA, บทความของ AA, Implicator, VentureBeat, Handy AI
- การทดสอบภาษาจีน: บทความ WeChat ของ Kazike และ AIZ小朱, APPSO (36Kr เผยแพร่ซ้ำ)
ข้อมูล ณ 2026-11-18