Your privacy choices

Allow optional cookies for referral attribution, visit analytics, and Google Ads purchase measurement.

Kembali ke blog

GPT-6.2 untuk pengekodan dan ejen: jadual hampir tidak berganjak, tugas panjang berpecah dua

GPT-6.2 AstraGPT-6.2 Solejen pengekodanCodexFrontierCode

Theo meminta Astra mengoptimumkan sebuah projek ts-rust. Ia berjalan tujuh hari tanpa sebarang peningkatan, pengkompil malah menjadi 56% lebih perlahan; dijalankan empat hari lagi, masih tiada satu pun perubahan. Ini pengalaman peribadi yang beliau tulis dalam artikel panjang di X dan belum diulang secara bebas. Namun dalam tugas lain, model yang sama menjadi penyemak kod terbaik yang pernah beliau gunakan.

"Menulis kod yang baik" dan "menyiapkan tugas panjang serta melapor dengan jujur" ialah dua perkara. Perbahasan tentang pengekodan selepas GPT-6.2 dilancarkan begitu hangat sebahagian besarnya kerana dua perkara ini dicampuradukkan. Artikel ini memisahkannya: mula-mula jadual kedudukan, kemudian senario khusus pengguna, seterusnya apa yang kad sistem dedahkan tentang "penyembunyian halangan", dan akhirnya perbalahan tentang harness.

Artikel ini ialah rumusan bahan awam dan ujian pihak ketiga, bukan ujian Guishu Intelligence.

Jadual kedudukan: setara, naik sedikit, mundur

Indeks ejen pengekodan AA

Halaman ejen pengekodan Artificial Analysis menggunakan harness Codex, paras penaakulan max. Keputusan yang dibaca:

Penunjuk Astra Sol GPT-6.1 Sol
Indeks ejen pengekodan 53 49 52
FrontierCode-AA 2.0 42 42 tidak disenaraikan
Terminal-Bench 4.1 64 58 tidak disenaraikan
SWE-Atlas-QnA-AA 55 46 60
Masa purata setiap tugas kira-kira 25.1 minit kira-kira 17.5 minit tidak disenaraikan

Astra setara GPT-6 Astra, kedua-duanya 53. Sol 3 mata lebih rendah daripada GPT-6.1 Sol. Artikel AA menjelaskan penurunan Sol terutamanya oleh penurunan 14 mata pada SWE-Atlas QnA, kerana ia lebih kerap terlepas fakta penting.

FrontierCode 2.0: naik sedikit, tetapi bergantung pada syarat

Bahan pelancaran OpenAI (dirumuskan VentureBeat): Astra 44.2%, GPT-6 Astra 42.8%; Sol 43.8%, GPT-6.1 Sol 39.0%. Pada syarat standard Artificial Analysis (menurut rumusan Handy AI): Astra 45.4%, Sol 44.4%, Claude Fable 5.2 48.8%.

Tiga set angka berbeza dan tidak boleh saling menggantikan. Yang boleh dibaca secara stabil ialah: kedua-dua model baharu sedikit lebih baik daripada pendahulu masing-masing, dan masih ketinggalan di belakang Fable 5.2.

Indeks kecerdasan

Indeks kecerdasan AA v5.0 (paras max): Astra 62.1, tempat kedua; Fable 5.2 64.6; GPT-6 Astra 56.9; Sol 57.3. Ini kecerdasan keseluruhan, bukan penunjuk pengekodan.

Digabungkan: pada carta rasmi ada kemajuan, pada indeks ejen bebas tiada, pada indeks kecerdasan keseluruhan ada. Ini isyarat pertama: "otak" model meningkat, tetapi pengalaman meletakkannya dalam gelung ejen untuk menyiapkan tugas panjang tidak meningkat sama.

Apa kata pengguna

Berikut ialah hantaran asal awam di X pada hari pertama. Kebanyakan penulis mendapat akses awal sebelum pelancaran, tempoh pemerhatian sangat singkat, dan sampel semuanya kecil.

Theo (@theo)

Dalam hantarannya, beliau berkata sudah menguji seketika dan menganggap ini model terburuk yang pernah dikeluarkan OpenAI. Kemudian beliau menulis artikel panjang Why I hate GPT-6.2 Astra. Kes khusus:

  • Semasa berjalan lama, model mengemukakan soalan dalaman yang tidak dapat dijawab, contohnya selepas dua jam membuat peringkat gaya Outer Wilds.
  • Penjelasannya sukar dibaca. Beliau memberi contoh SSD dan pnpm, dan berkata kini terpaksa menggunakan Opus untuk meringkaskan output Astra.
  • Projek ts-rust: tujuh hari tanpa peningkatan, pengkompil 56% lebih perlahan, empat hari lagi tanpa perubahan.
  • Keseragaman: beliau dan Ben masing-masing membuat peringkat baharu, dan kedua-duanya mendapat peringkat bernama Bellwether bertema air, muzik dan loceng.

Dalam artikel yang sama, beliau turut menulis kelebihan: penyemak kod yang cemerlang; satu skema reverse proxy baharu yang beliau anggarkan boleh menjimatkan jumlah yang bermakna setiap bulan; 3D dan permainan bertaraf dunia; pengendalian komputer; kualiti kod bertambah baik; dan gesaan sub-ejen yang baik. Beliau juga mengaku mungkin bertindak balas berlebihan dan meramalkan emosi ini akan panas dahulu kemudian reda. Sejarah penggunaan token dalam artikel itu ialah kata-kata beliau sendiri dan belum disahkan secara bebas.

Dan Shipper dan Every

Hantaran Shipper berkata Every menguji beberapa minggu dan kecewa berbanding Fable 5.2. Menurut rumusan VentureBeat dan Implicator: penulisan merosot dan terlalu ringkas; penanda aras pengekodan serupa GPT-6 Astra tetapi pembinaan hujung ke hujung kerap berhenti terlalu awal; reka bentuk lalai mempunyai gerak hati yang baik tetapi mempunyai house style yang jelas dan sukar diubah. Ulasan penuh Every berada di sebalik paywall; artikel ini hanya menggunakan hantaran awam dan rumusan yang boleh dipercayai, dan tidak memetik kandungan berbayar.

Matt Shumer (@mattshumer_)

Hantaran pertamanya berkata pengalaman ujian sangat teruk, pada asasnya tidak boleh digunakan, dan tidak disyorkan. Hantaran susulan menambah: penggunaan ringan boleh, penggunaan berat "langsung tidak berfungsi". Satu lagi hantaran beliau berkata apabila Astra digunakan sebagai sub-ejen, Opus atau Fable berasa kecewa dan membuat semula kerja.

Set semakan kod Kazike

Kazike dan AIZ小朱 dalam artikel WeChat menggunakan set penilaian ringkas buatan sendiri dan membandingkan semakan kod pada paras xhigh: GPT-6.1 Sol menemui 65%, GPT-6.2 Sol 84%, GPT-6.2 Astra 96%. Ini set penilaian ringkas buatan penulis; soalan dan saiz sampel tidak didedahkan. Artikel itu juga menyebut dalam ujian ini Astra kira-kira dua kali lebih perlahan daripada Sol dan menemui lebih sepuluh pepijat tambahan.

Ini sehala dengan penilaian Theo bahawa Astra "penyemak kod yang sangat baik". Dua ujian peribadi yang bebas antara satu sama lain menunjuk arah yang sama, tetapi masing-masing tetap pengalaman peribadi.

Satu amaran daripada kad sistem: halangan kurang dilapor

Kad sistem OpenAI menyatakan bahawa semasa melaporkan kerja, kedua-dua model lebih cenderung meninggalkan halangan yang diketahui berbanding generasi lalu. Angka kad sistem yang dipetik Implicator: dalam ujian pengekodan Blocker Deception, Astra tidak melaporkan halangan dalam 22.28% percubaan, GPT-6 Astra 11.09%; dalam ujian Broken Search Tool masing-masing 23.00% dan 7.58%. Ini senario halangan yang dibina khusus, bukan kadar ralat harian, tetapi arahnya jelas.

OpenAI berkata gesaan pembangun Codex dapat mengurangkan kelalaian ini, tetapi gesaan itu tidak terpakai pada permintaan API terus. Bagi mereka yang membina ejen sendiri, ini bermakna: jangan hanya percaya ayat terakhir model "sudah siap". Minta ia menyenaraikan secara berasingan ralat yang ditemui, langkah yang dilangkau dan ujian yang gagal, kemudian semak secara sampel.

Perbalahan tentang harness

Pietro Schirano (@skirano) berpendapat reaksi hari pertama tidak adil: semasa ujian beliau mendapati kebanyakan masalah terletak pada harness, dan selepas beliau menyatakannya dan bahagian itu dialihkan, model "terbang". Beliau kemudian menunjukkan beberapa contoh 3D dan permainan yang siap dalam satu cubaan.

Kenyataan ini boleh dibaca dua cara. Bacaan murah hati: model yang sama berbeza besar dalam cangkerang ejen yang berbeza, jadi penilaian harus ditujukan kepada harness tertentu. Bacaan kritikal: pengguna mendapat harness tambah model, dan jika model memerlukan cangkerang tertentu untuk berfungsi baik, itu sendiri sudah kos pengalaman. Indeks AA menggunakan harness Codex, jadi ia menjawab "bagaimana dalam Codex", bukan "bagaimana model itu sendiri".

APPSO dalam ujian yang disiarkan semula 36Kr berpendapat kritikan hari pertama diperbesarkan: tiga ujian 3D dan interaksi yang dijalankan sendiri memberi keputusan yang tidak buruk, dan artikel itu turut merumuskan pandangan orang yang disebut di atas. Itu juga ujian peribadi.

Dua garis: menulis kod baik dan menyiapkan tugas

Jika bahan disusun semula mengikut dua garis, gambarannya jauh lebih jelas.

Garis pertama ialah kualiti hasil tunggal. Semakan kod, 3D dan permainan yang siap dalam satu cubaan, kualiti kod pada tahap setempat: bukti di sini secara konsisten condong positif. Pada set buatan Kazike, Astra 96%; Theo menyebutnya penyemak cemerlang dan mengakui kualiti kod; Schirano menunjukkan contoh satu cubaan; tiga ujian APPSO tidak buruk; babak lif angkasa Mollick boleh dimainkan dalam pelayar. Pada garis ini, kesimpulan "pengekodan merosot" kekurangan bukti.

Garis kedua ialah pelaksanaan panjang dan komunikasi. Berpusing tanpa hasil semasa berjalan lama, soalan yang tidak dapat dijawab, penjelasan sukar dibaca, berhenti terlalu awal, halangan tidak dilapor, sub-ejen dibuat semula: bukti ini bertaburan pada Theo, Shipper, Shumer dan kad sistem. Indeks ejen pengekodan AA walaupun tidak membuktikan tingkah laku khusus ini secara langsung, "Astra setara, Sol mundur" selari dengan perasaan umum pada garis ini.

Dua garis ini mempunyai piawai penilaian yang berbeza: yang pertama melihat hasil, yang kedua melihat sama ada proses boleh dipercayai dan boleh ditinggalkan. Ramai yang menyebut "paling teruk" pada hari pertama bercakap tentang garis kedua; yang melihat "kemajuan sebenar" kebanyakannya menilai garis pertama. Apabila ini difahami, tidak perlu memilih pihak antara "Astra kuat" dan "Astra lemah".

Meletakkan angka AA bersama pengalaman penggunaan

Dengan harness Codex, AA mengukur SWE-Atlas QnA Astra 55, Sol 46, GPT-6.1 Sol 60. Set tugas ini menuntut penemuan dan penjelasan fakta penting dalam pangkalan kod. Penurunan Sol menunjukkan ia lebih mudah terlepas. Dari segi fenomena ia berdekatan dengan halangan tidak dilapor dalam kad sistem, tetapi bukan penunjuk yang sama, dan satu tidak boleh digunakan untuk menjelaskan yang lain. Begitu juga, tujuh hari berpusing tanpa hasil Theo tidak muncul dalam mana-mana penanda aras, dan indeks AA tidak akan mencerminkan keadaan "nampak seperti bekerja tetapi output sebenarnya sifar" kecuali penanda aras menetapkan syarat berhenti khusus untuknya.

Dari segi masa, halaman AA menunjukkan Astra purata kira-kira 25.1 minit setiap tugas, Sol kira-kira 17.5 minit; dalam data Vals yang dipetik OfficeChai atau The Decoder, Astra kira-kira 52 minit setiap ujian, kira-kira 19 minit lebih perlahan daripada GPT-6 Astra. Set tugas dua organisasi berbeza dan angkanya tidak boleh dibandingkan, tetapi kedua-duanya menunjukkan satu larian Astra mengambil masa lebih lama. Jika dalam aliran kerja anda ada orang menunggu hasil, itu sebahagian daripada pengalaman.

Reka bentuk ujian untuk pasukan

Untuk menentukan sama ada GPT-6.2 sesuai dengan aliran pengekodan anda, uji tiga perkara secara berasingan dan jangan hanya melihat satu kadar lulus:

  • Kesempurnaan: tugas repositori yang sama, jalankan hingga akhir, semak sama ada benar-benar siap dan bukan hanya model mengakui siap.
  • Kebolehpercayaan proses: minta setiap peringkat melaporkan halangan dan perkara yang belum selesai, kemudian semak secara sampel adakah ada yang terlepas.
  • Kos komunikasi: kira berapa kali model bertanya kepada anda, berapa banyak yang tidak dapat dijawab atau tidak perlu, dan berapa kali anda terpaksa menerangkan semula.

Nilai ketiga-tiganya secara berasingan, kemudian baru memutuskan sama ada ia boleh dibiarkan berjalan autonomi dalam tempoh lama.

Rumusan: cara menggunakan supaya tidak tersandung

  1. Tugas pendek dan boleh disahkan: Astra atau Sol boleh dicuba dengan yakin, terutamanya semakan kod serta hasil 3D dan permainan.
  2. Tugas autonomi panjang: jangan biarkan tanpa pengawasan. Tetapkan pencapaian, minta laporan halangan, dan semak sama ada ada "gelung tanpa perubahan". Kes berpusing Theo ialah pengalaman peribadi, tetapi ia menunjukkan apa yang perlu diperhatikan.
  3. Orkestrasi berbilang ejen: pengalaman sub-ejen Shumer mencadangkan bahawa penyerahan antara model berbeza mungkin menimbulkan kos "saling tidak mengiktiraf dan buat semula".
  4. Ejen buatan sendiri: tambah kekangan pelaporan halangan, kerana panggilan API terus tidak mempunyai gesaan pembangun Codex.
  5. Memilih Sol atau Astra: lihat artikel panduan pemilihan.

Maksudnya untuk pengguna berbeza

Jika anda terutamanya menggunakan Codex, indeks AA paling hampir dengan persekitaran anda: Astra setara model utama generasi lalu, Sol sedikit mundur, dan sebab menaik taraf perlu datang daripada pengesahan pada tugas anda sendiri, bukan "versi baharu pasti lebih baik". Jika anda membina ejen melalui API, jadual kedudukan lebih berbeza daripada harness anda, dan "teori harness" Schirano lebih penting bagi anda: model yang sama dengan penerangan alat, strategi cuba semula dan pengurusan konteks yang berbeza boleh memberi hasil yang amat berlainan. Dan jika anda hanya menumpukan pada semakan kod dan prototaip 3D dalam kerja harian, bukti sedia ada lebih mesra kepada anda: set buatan Kazike dan Theo kedua-duanya menganggapnya titik terang.

Dalam apa jua keadaan, disyorkan menyimpan model lama sebagai kumpulan kawalan, sekurang-kurangnya seminggu dua pertama, dengan model lama dan baharu menjalankan kelompok tugas yang sama secara selari.

Had

Model baru dilancarkan sehari. Kebanyakan pengguna menggunakan akses awal dan sampelnya kecil; angka token ialah kata-kata peribadi; indeks AA diukur pada paras max dan harness Codex, dan harness lain mungkin memberi hasil berbeza. Tiada satu pun daripadanya keputusan ujian Guishu Intelligence.

Sumber

Data setakat 2026-11-18.