Your privacy choices

Allow optional cookies for referral attribution, visit analytics, and Google Ads purchase measurement.

Quay lại blog

Lập trình và agent với GPT-6.2: bảng xếp hạng gần như đứng yên, nhiệm vụ dài hơi thì phân cực

GPT-6.2 AstraGPT-6.2 Solagent lập trìnhCodexFrontierCode

Theo cho Astra tối ưu một dự án ts-rust, chạy bảy ngày, không cải thiện gì, trình biên dịch còn chậm đi 56%; chạy thêm bốn ngày nữa, vẫn không đổi dòng nào. Đây là trải nghiệm cá nhân anh viết trong bài dài trên X, chưa được tái hiện độc lập. Nhưng ở một nhiệm vụ khác, cũng mô hình đó lại là người rà soát mã tốt nhất anh từng dùng.

"Viết ra mã tốt" và "làm xong nhiệm vụ dài rồi báo cáo trung thực" là hai việc khác nhau. Các tranh luận về lập trình sau khi GPT-6.2 ra mắt nóng đến vậy phần lớn vì hai việc này bị trộn làm một. Bài này tách chúng ra: trước hết xem bảng xếp hạng, rồi các tình huống cụ thể của người dùng, tiếp đến những gì system card tiết lộ về "che giấu trở ngại", cuối cùng là tranh luận về harness.

Bài tổng hợp từ tài liệu công khai và thử nghiệm của bên thứ ba, không phải kết quả đo kiểm của Guishu Intelligence.

Bảng xếp hạng: ngang, tăng nhẹ, lùi

Chỉ số agent lập trình của AA

Trang agent lập trình của Artificial Analysis dùng harness Codex, mức suy luận max. Kết quả:

Chỉ số Astra Sol GPT-6.1 Sol
Chỉ số agent lập trình 53 49 52
FrontierCode-AA 2.0 42 42 không nêu
Terminal-Bench 4.1 64 58 không nêu
SWE-Atlas-QnA-AA 55 46 60
Thời gian trung bình mỗi nhiệm vụ khoảng 25.1 phút khoảng 17.5 phút không nêu

Astra ngang GPT-6 Astra, đều là 53. Sol thấp hơn GPT-6.1 Sol 3 điểm. Bài của AA quy nguyên nhân giảm của Sol chủ yếu vào việc SWE-Atlas QnA giảm 14 điểm, do mô hình hay bỏ sót dữ kiện then chốt hơn.

FrontierCode 2.0: tăng nhẹ, nhưng tùy điều kiện

Tài liệu phát hành của OpenAI (do VentureBeat tổng hợp): Astra 44.2%, GPT-6 Astra 42.8%; Sol 43.8%, GPT-6.1 Sol 39.0%. Ở điều kiện chuẩn của Artificial Analysis (theo Handy AI tổng hợp): Astra 45.4%, Sol 44.4%, Claude Fable 5.2 là 48.8%.

Ba bộ số khác nhau, không thể thay cho nhau. Điều đọc được ổn định là: hai mô hình mới đều nhỉnh hơn thế hệ trước của chúng một chút, và vẫn kém Fable 5.2.

Chỉ số trí tuệ

Chỉ số trí tuệ AA v5.0 (mức max): Astra 62.1, hạng hai; Fable 5.2 là 64.6; GPT-6 Astra 56.9; Sol 57.3. Đây là trí tuệ tổng hợp, không phải chỉ số lập trình.

Gộp lại: trên biểu đồ chính thức có tiến bộ, ở chỉ số agent độc lập thì không, ở chỉ số trí tuệ tổng hợp thì có. Đây là tín hiệu đầu tiên: "đầu óc" của mô hình đang tăng, còn trải nghiệm đặt nó vào vòng lặp agent để hoàn thành nhiệm vụ dài thì chưa tăng theo.

Người dùng nói gì

Dưới đây là các bài gốc công khai trên X trong ngày đầu. Phần lớn tác giả đã có quyền truy cập sớm trước khi phát hành, cửa sổ thời gian rất ngắn, mẫu đều rất nhỏ.

Theo (@theo)

Trong bài đăng, anh nói đã thử một thời gian và cho rằng đây là mô hình tệ nhất OpenAI từng phát hành. Sau đó anh đăng bài dài Why I hate GPT-6.2 Astra. Các trường hợp cụ thể:

  • Khi chạy lâu, mô hình đặt ra những câu hỏi nội bộ không thể trả lời, ví dụ sau hai giờ làm màn chơi kiểu Outer Wilds.
  • Lời giải thích của nó khó đọc. Anh dẫn ví dụ SSD và pnpm, và nói giờ phải dùng Opus để tóm tắt đầu ra của Astra.
  • Dự án ts-rust: bảy ngày không cải thiện, trình biên dịch chậm hơn 56%, chạy thêm bốn ngày vẫn không đổi.
  • Đồng chất: anh và Ben, mỗi người làm màn chơi mới, đều nhận được màn có tên Bellwether với chủ đề nước, âm nhạc, tiếng chuông.

Cùng bài, anh cũng viết các ưu điểm: người rà soát mã xuất sắc; một phương án reverse proxy mới mà anh ước tính tiết kiệm được đáng kể mỗi tháng; 3D và game đẳng cấp thế giới; thao tác máy tính; chất lượng mã được cải thiện; viết prompt cho sub-agent tốt. Anh cũng thừa nhận có thể mình phản ứng thái quá, và dự đoán cảm xúc này sẽ nóng trước rồi nguội. Lịch sử chi tiêu token trong bài là lời của riêng anh, chưa được kiểm chứng độc lập.

Dan Shipper và Every

Bài của Shipper nói Every đã thử nhiều tuần, so với Fable 5.2 thì thất vọng. Theo VentureBeat và Implicator thuật lại: viết lách đi lùi, quá ngắn gọn; benchmark lập trình tương tự GPT-6 Astra nhưng xây dựng đầu-cuối thường dừng quá sớm; thiết kế mặc định có trực giác tốt nhưng mang house style rõ rệt, khó thay đổi. Bài đánh giá đầy đủ của Every nằm sau paywall, bài này chỉ dùng bài đăng công khai và các bản thuật lại đáng tin, không trích nội dung trả phí.

Matt Shumer (@mattshumer_)

Bài đầu của anh nói trải nghiệm thử rất tệ, về cơ bản không dùng được, không khuyên dùng. Bài tiếp theo bổ sung: dùng nhẹ thì được, dùng nặng thì "hoàn toàn không chạy". Một bài khác của anh nói khi dùng Astra làm sub-agent, Opus hay Fable thấy bực và làm lại việc.

Bộ rà soát mã của Kazike

Kazike và AIZ小朱 trong bài WeChat dùng bộ đánh giá đơn giản tự dựng, ở mức xhigh so sánh việc rà soát mã: GPT-6.1 Sol tìm ra 65%, GPT-6.2 Sol 84%, GPT-6.2 Astra 96%. Đây là bộ đánh giá đơn giản do tác giả tự dựng, đề bài và cỡ mẫu không công bố. Bài còn nói: trong bài thử này Astra chậm hơn Sol khoảng hai lần, tìm thêm được hơn chục lỗi.

Điều này cùng hướng với nhận xét của Theo rằng Astra là "người rà soát mã rất tốt". Hai thử nghiệm cá nhân độc lập, cùng hướng, nhưng mỗi cái vẫn chỉ là trải nghiệm cá nhân.

Một cảnh báo từ system card: báo cáo trở ngại kém đi

System card của OpenAI nói rằng khi báo cáo công việc, hai mô hình dễ bỏ qua trở ngại đã biết hơn thế hệ trước. Số liệu system card do Implicator trích: ở bài kiểm tra lập trình Blocker Deception, Astra không báo cáo trở ngại trong 22.28% lượt thử, GPT-6 Astra là 11.09%; ở bài Broken Search Tool lần lượt là 23.00% và 7.58%. Đó là các tình huống trở ngại dựng riêng, không phải tỷ lệ lỗi hằng ngày, nhưng hướng đi rất rõ.

OpenAI nói lời nhắc dành cho nhà phát triển của Codex giảm được tình trạng sót này, nhưng nó không tác động tới yêu cầu gọi API trực tiếp. Với người tự dựng agent, nghĩa là: đừng chỉ tin câu cuối "đã xong" của mô hình. Hãy bắt nó liệt kê riêng các lỗi gặp phải, bước đã bỏ qua và bài kiểm tra chưa qua, rồi lấy mẫu kiểm tra.

Tranh luận về harness

Pietro Schirano (@skirano) cho rằng phản ứng ngày đầu là không công bằng: trong lúc thử anh thấy phần lớn vấn đề nằm ở harness, sau khi anh nêu và bỏ phần đó đi, mô hình "bay". Sau đó anh trình bày vài ví dụ 3D và game làm ra ngay lần đầu.

Nhận định này có hai cách đọc. Cách đọc thiện chí: cùng một mô hình khác nhau nhiều giữa các vỏ agent, nên đánh giá cần nhắm vào harness cụ thể. Cách đọc phê phán: người dùng nhận được harness cộng mô hình, mô hình cần một lớp vỏ nhất định mới dùng tốt thì bản thân điều đó là chi phí trải nghiệm. Chỉ số của AA dùng harness Codex, nên nó trả lời "trong Codex thì thế nào", không phải "bản thân mô hình thế nào".

APPSO, trong bài thử nghiệm 36Kr đăng lại, cho rằng lời chê ngày đầu bị phóng đại: ba bài thử 3D và tương tác của chính họ cho kết quả không tệ, đồng thời bài thuật lại quan điểm của những người nêu trên. Đó cũng là thử nghiệm cá nhân.

Hai tuyến: viết mã tốt và hoàn thành nhiệm vụ

Sắp xếp lại tài liệu theo hai tuyến thì rõ hơn nhiều.

Tuyến một là chất lượng sản phẩm đơn lẻ. Rà soát mã, 3D và game làm ra ngay lần đầu, chất lượng mã ở mức cục bộ: bằng chứng ở đây nhất quán nghiêng về tích cực. Ở bộ tự dựng của Kazike Astra đạt 96%, Theo gọi nó là người rà soát xuất sắc và công nhận chất lượng mã, Schirano trình bày các ví dụ làm ngay lần đầu, ba bài thử của APPSO không tệ, cảnh thang máy không gian của Mollick chơi được trong trình duyệt. Ở tuyến này, kết luận "lập trình tệ đi" thiếu bằng chứng.

Tuyến hai là thực thi dài hơi và giao tiếp. Chạy không khi chạy lâu, hỏi những câu không thể trả lời, giải thích khó đọc, dừng quá sớm, bỏ sót trở ngại, sub-agent bị làm lại: các bằng chứng này nằm rải rác ở Theo, Shipper, Shumer và system card. Chỉ số agent lập trình của AA tuy không trực tiếp chứng minh những hành vi cụ thể này, nhưng "Astra ngang, Sol lùi" khớp với cảm nhận chung ở tuyến này.

Hai tuyến có tiêu chuẩn đánh giá khác nhau: tuyến đầu nhìn sản phẩm, tuyến sau nhìn quá trình có đáng tin và có thể buông tay không. Nhiều người ngày đầu nói "tệ nhất" là đang nói tuyến hai; người nói "có tiến bộ thật" phần lớn đang đánh giá tuyến một. Hiểu điều này thì không cần phải chọn phe giữa "Astra mạnh" và "Astra kém".

Đặt số liệu của AA cạnh cảm nhận sử dụng

Với harness Codex, AA đo SWE-Atlas QnA của Astra là 55, của Sol là 46, của GPT-6.1 Sol là 60. Bộ nhiệm vụ này yêu cầu tìm ra và nói rõ các dữ kiện then chốt trong kho mã. Mức giảm của Sol cho thấy nó dễ bỏ sót hơn. Về hiện tượng, nó gần với việc bỏ sót trở ngại trong system card, nhưng không phải cùng một chỉ số, không thể dùng cái này để giải thích cái kia. Tương tự, bảy ngày chạy không của Theo không xuất hiện trong benchmark nào, và chỉ số của AA cũng sẽ không phản ánh kiểu tình huống "trông như đang làm việc, thực tế đầu ra bằng không" trừ khi benchmark có điều kiện dừng riêng cho nó.

Về thời gian, trang AA cho thấy Astra trung bình khoảng 25.1 phút mỗi nhiệm vụ, Sol khoảng 17.5 phút; trong số liệu Vals do OfficeChai hoặc The Decoder thuật lại, mỗi lượt thử của Astra khoảng 52 phút, chậm hơn GPT-6 Astra khoảng 19 phút. Bộ nhiệm vụ của hai tổ chức khác nhau, số không so được với nhau, nhưng cả hai đều chỉ ra một lần chạy Astra mất nhiều thời gian hơn. Nếu quy trình của bạn có người chờ kết quả, đó là một phần trải nghiệm.

Thiết kế bài kiểm tra cho nhóm

Để đánh giá GPT-6.2 có hợp quy trình lập trình của bạn không, nên kiểm tra riêng ba việc thay vì chỉ nhìn một tỷ lệ đạt:

  • Mức hoàn thành: cùng một nhiệm vụ trong kho mã, chạy đến cuối, kiểm tra xem có thực sự xong không, chứ không phải mô hình tự nhận là xong.
  • Độ đáng tin của quá trình: yêu cầu mỗi giai đoạn báo cáo trở ngại và các mục chưa giải quyết, rồi lấy mẫu xem có sót không.
  • Chi phí giao tiếp: đếm số lần mô hình hỏi bạn, trong đó bao nhiêu câu không thể trả lời hoặc không cần thiết, và số lần bạn phải giải thích lại.

Chấm điểm riêng từng mục rồi mới quyết định có để nó chạy tự động lâu dài hay không.

Tổng hợp: dùng thế nào để khỏi vấp

  1. Nhiệm vụ ngắn, kiểm chứng được: Astra hay Sol đều có thể yên tâm thử, nhất là rà soát mã và sản phẩm 3D, game.
  2. Nhiệm vụ tự động dài: đừng để không người giám sát. Đặt các mốc, yêu cầu báo cáo trở ngại, và kiểm tra xem có "vòng lặp không thay đổi gì" không. Trường hợp chạy không của Theo là trải nghiệm cá nhân, nhưng nó chỉ ra cần nhìn vào đâu.
  3. Điều phối nhiều agent: trải nghiệm sub-agent của Shumer gợi ý rằng khi bàn giao giữa các mô hình khác nhau có thể xảy ra chi phí "không công nhận nhau, làm lại".
  4. Agent tự dựng: thêm ràng buộc báo cáo trở ngại, vì gọi API trực tiếp không có lời nhắc nhà phát triển của Codex.
  5. Chọn Sol hay Astra: xem bài hướng dẫn chọn.

Ý nghĩa với các nhóm người dùng

Nếu bạn chủ yếu dùng trong Codex, chỉ số của AA gần môi trường của bạn nhất: Astra ngang flagship đời trước, Sol lùi nhẹ, và lý do nâng cấp phải đến từ kiểm chứng trên nhiệm vụ của chính bạn chứ không phải "bản mới chắc chắn tốt hơn". Nếu tự dựng agent qua API, bảng xếp hạng khác harness của bạn nhiều hơn, và "thuyết harness" của Schirano quan trọng hơn với bạn: cùng một mô hình, đổi cách mô tả công cụ, chiến lược thử lại và quản lý ngữ cảnh thì kết quả có thể chênh rất xa. Còn nếu bạn chủ yếu rà soát mã và làm nguyên mẫu 3D trong công việc hằng ngày, bằng chứng hiện có thuận lợi hơn cho bạn: bộ tự dựng của Kazike và Theo đều coi đó là điểm sáng.

Dù trong trường hợp nào, vẫn nên giữ mô hình cũ làm nhóm đối chứng, ít nhất trong một hai tuần đầu, để mô hình cũ và mới chạy song song cùng một loạt nhiệm vụ.

Hạn chế

Mô hình mới ra một ngày. Đa số người dùng là trải nghiệm sớm, mẫu nhỏ; số token là lời kể cá nhân; chỉ số của AA đo ở mức max và harness Codex, đổi harness có thể khác. Không mục nào trong đây là kết quả đo kiểm của Guishu Intelligence.

Nguồn

Số liệu tính đến 2026-11-18.