Your privacy choices

Allow optional cookies for referral attribution, visit analytics, and Google Ads purchase measurement.

Kembali ke blog

Ulasan GPT-6.2 Astra: menonjol dalam sains dan kerja profesional, tetapi indeks ejen pengekodan AA setara generasi lalu

GPT-6.2 AstraOpenAIulasan modelsains3D

Pada hari yang sama, model yang sama menduduki kedudukan berbeza pada beberapa jadual: tempat pertama pada indeks sains Vals, tempat kedua pada indeks kecerdasan Artificial Analysis (seterusnya AA) dan tempat ketujuh pada indeks komposit Vals. Indeks sains dan indeks komposit Vals ialah dua jadual daripada organisasi yang sama. Kedudukan yang berbeza mungkin berpunca daripada syarat ujian, komposisi tugas dan kaedah pemarkahan yang tidak sama, jadi satu jadual atau tiga kedudukan itu tidak wajar digabungkan menjadi satu rumusan tentang keupayaan keseluruhan.

OpenAI melancarkan GPT-6.2 Astra dan GPT-6.2 Sol pada 2026-11-17. Menurut pemosisian rasmi, Astra ialah model barisan hadapan untuk projek yang "paling sukar", manakala Sol menangani kerja harian dan ejen berskala besar. Artikel ini hanya membincangkan Astra: bidang mana yang disokong bukti bebas dan bidang mana yang belum mengejar.

Artikel ini ialah rumusan bahan awam, bukan ujian Guishu Intelligence. Setiap angka dinyatakan sumber dan syaratnya, dan angka daripada organisasi berbeza tidak dicantumkan dalam satu jadual.

Kesimpulan ringkas

  • Sains: indeks sains Vals, Epoch ECI dan tugas terminal sains AA semuanya memberi isyarat positif.
  • Penyerahan kerja profesional: berdasarkan set tugas kerjaya Surge, penilaian Surge ialah Astra kini model OpenAI yang paling berbaloi digunakan untuk kerja profesional, tetapi masih belum mengatasi model Anthropic di tempat teratas. Ini penilaian Surge.
  • 3D: mendahului AA-3D (dinilai manusia), dan beberapa penguji awal turut menunjukkan demo 3D dan permainan yang kukuh.
  • Ejen pengekodan: hanya indeks ejen pengekodan AA yang setara GPT-6 Astra; item pengekodan lain seperti FrontierCode naik sedikit.
  • Jadual komposit: indeks komposit Vals hanya tempat ketujuh.
  • Perundangan: keputusan model asas pada jadual perundangan Vals tidak menonjol.

Bagaimana OpenAI meletakkan Astra

Menurut dokumen model OpenAI, ID API Astra ialah gpt-6.2-astra. Ia menerima input teks dan imej, mengeluarkan teks, dan tidak menyokong audio serta video. Tetingkap konteks 1,050,000 token, input maksimum 922,000, output maksimum 128,000. Tarikh akhir pengetahuan ialah 2026-05-18. API tidak menerima reasoning effort = none.

Dari segi ketersediaan, rujuk ChatGPT Learn: model tersedia dalam ChatGPT Work, Codex dan OpenAI API. Dalam ChatGPT, Work perlu dibuka dahulu; dokumen tidak menyatakan model ini masuk ke tetingkap sembang biasa. Untuk Enterprise dan Edu, pentadbir perlu mengaktifkannya.

Sains: tiga sumber bebas menunjuk arah sama

Indeks sains Vals. Indeks ini ialah purata tiga tugas: BioMysteryBench, MysteryMechanism dan Terminal-Bench-Science. Mengikut halaman Vals (dikemas kini 16 November), Astra tempat pertama dengan 68.44%; GPT-6 Astra 65.09%; Claude Fable 5.2 63.74%.

Epoch AI. Halaman model Epoch menunjukkan ECI Astra 174, seri tempat pertama dengan Fable 5.2 daripada 241 model; GPT-6 Astra 169. Pada subset Erdős FrontierMath, Astra menjawab 7/68 dengan betul; rekod sebelumnya ialah 3/68 oleh GPT-6.1 Sol. Menurut The Decoder yang memetik kad sistem, satu soalan belum mempunyai penyelesaian yang diketahui sebelum ini.

Tugas terminal sains AA. Dalam harness standard AA, mengikut data Artificial Analysis yang dirumuskan Handy AI, Terminal-Bench Science untuk Astra ialah 78.1%, Fable 5.2 73.3%, GPT-6 Astra 63.3%. Dalam carta OpenAI sendiri, item ini 77.1% berbanding 68.1% (bahan pelancaran OpenAI yang dirumuskan VentureBeat). Harness dan pensampelan berbeza, jadi dua set angka ini tidak boleh diletakkan dalam satu jadual.

Kecerdasan keseluruhan. Indeks kecerdasan AA v5.0, paras penaakulan max: Astra 62.1, tempat kedua selepas Fable 5.2 (64.6); mendahului Gemini 4 Carbon (paras high) 60.0 dan Claude Opus 5.5 59.1; lebih tinggi 5.2 mata daripada GPT-6 Astra (56.9).

Satu keraguan yang perlu dikekalkan: tugas penyelidikan Epoch sendiri

Dalam penilaian sebelum pelancaran, Epoch turut menjalankan tugas penyelidikan sebenar miliknya sendiri. Menurut The Decoder, Astra hampir tiada peningkatan bermakna berbanding GPT-6 Astra dan lebih lemah daripada Fable 5.2: soalan penyelidikan mudah pun tersasar, apabila menghadapi masalah yang tidak dapat dibaiki ia berpusing tanpa hasil, dan dalam kajian pusat data ia terlalu berhati-hati lalu melangkau anggaran penting. Penulisan lebih baik daripada model lain yang diuji, tetapi masih di bawah piawai Epoch sendiri.

Maka "kuat dalam sains" perlu dihadkan: kuat pada penanda aras sains yang jawapannya boleh disahkan. Untuk kerja penyelidikan terbuka, bukti tidak selaras.

Kerja profesional: set tugas kerjaya Surge

Pada 18 November, Surge menerbitkan satu penilaian bebas yang mengandungi 11 "hari bekerja biasa" yang direka oleh doktor, akauntan, peguam dan jurutera kanan (hantaran asal @HelloSurgeAI). Rumusannya mempunyai dua sisi:

  • Astra tempat pertama dalam Chartography dengan 90.7% (Sol 87.7%, GPT-6 Astra 71.0%).
  • Dalam sudo L7, Astra 38.3%, keputusan terbaik OpenAI buat masa ini, tetapi masih di bawah Fable 52.2%, Sonnet 50.6% dan Opus 46.1%.
  • Penilaian keseluruhan Surge (bukan rumusan artikel ini): ini model OpenAI yang paling sesuai untuk kerja profesional setakat ini, tetapi tempat pertama pada kebanyakan jadual masih dipegang Anthropic dan Google.

Semasa Surge menyiarkan hantaran itu, tugas kewangan Astra masih berjalan, jadi markah yang belum diumumkan tidak dipetik di sini.

3D: bidang dengan bukti paling tertumpu

AA-3D ialah Elo berdasarkan penilaian manusia: Astra 1318, Fable 5.2 1271, Sol 1259. AA juga mempunyai penilaian robotik AA-Robotics v0.1: Astra 79, Sol 78, Fable 75, tetapi itu pratonton penyelidikan dengan tugas agak mudah, jadi perbezaan tidak wajar ditafsir berlebihan.

Ujian peribadi menunjuk arah yang sama, tetapi perlu dilihat siapa yang menguji dan dalam keadaan apa:

  • Kazike dan AIZ小朱 dalam artikel WeChat meminta Astra menjana permainan parkour pandangan orang pertama, stesen kereta api musim luruh dengan Three.js dan dunia Yunani purba. Kesan mereka ialah tugas 3D dilakukan dengan agak baik, dan contoh Yunani purba meninggalkan kesan kepada penulis selepas kira-kira sejam memasukkan tangkapan skrin dan mengulang. Ini eksperimen penulis sendiri, bukan jadual kedudukan.
  • APPSO dalam ujian yang disiarkan semula 36Kr menjalankan permainan penerokaan bawah air, animasi berbasikal di kampung dan satu babak WebGL asas, lalu merumuskan bahawa kritikan hari pertama agak diperbesarkan.
  • Ethan Mollick (@emollick) menguji sebelum pelancaran satu babak lif angkasa yang boleh dimainkan dalam pelayar, tetapi beliau juga berkata model lebih sukar dikawal dan beliau sendiri tidak akan memilihnya dahulu.

Dari mana datangnya perkataan "tidak seimbang"

Tajuk artikel Kazike menggunakan "偏科" (kuat dalam satu mata pelajaran, lemah dalam yang lain), maksudnya OpenAI semakin condong ke satu arah. Hujah penulis tidak semuanya bersandarkan jadual kedudukan:

  • Soalan perancangan: penulis memberi arahan mudah "tambah ciri ulasan pematuhan untuk AIHOT". Gemini 4 Carbon mengambil kira-kira 5 minit untuk memberi pelan jelas yang boleh dilaksanakan; Astra kira-kira 24 minit, ringkas tetapi sukar dibaca, dan mencadangkan semakan manual awal, yang ditolak penulis.
  • Estetika di luar 3D: dengan gesaan video bergerak yang sama, penulis sangat tidak berpuas hati dengan hasil Astra.
  • Semakan kod: pada set penilaian ringkas yang dibina penulis sendiri, GPT-6.1 Sol menemui 65% masalah, GPT-6.2 Sol 84%, GPT-6.2 Astra 96%, semuanya pada paras xhigh. Ini set penilaian ringkas buatan penulis; soalan dan saiz sampel tidak didedahkan, dan ia bukan penanda aras industri.

Semuanya pengalaman seorang penulis dalam keadaan tertentu. Ia selari dengan jadual kedudukan sehingga boleh menjadi bukti sokongan, tetapi bukan kesimpulan kuantitatif.

Indeks ejen pengekodan AA: setara generasi lalu

Indeks ejen pengekodan AA menggunakan harness Codex, paras max: Astra 53, setara GPT-6 Astra. Pada halaman yang sama, FrontierCode-AA 2.0 untuk Astra ialah 42, Terminal-Bench 4.1 ialah 64, SWE-Atlas-QnA-AA ialah 55, dan purata setiap tugas kira-kira 25.1 minit.

FrontierCode 2.0 mempunyai tiga angka dalam tiga syarat: carta rasmi OpenAI 44.2% (GPT-6 Astra 42.8%), syarat standard AA 45.4% (Fable 5.2 ialah 48.8%), dan harness Codex pada halaman ejen pengekodan AA ialah 42. Nama sama, syarat berbeza, maka angka pun berbeza.

Dalam indeks komposit Vals (OfficeChai memetik Vals; jadual komposit Vals tidak disemak terus dalam artikel ini), Astra 67.66%, tempat ketujuh, hanya 1.6 mata di hadapan Sol (66.06%, tempat kesembilan). Laporan yang sama menyebut bahawa dalam sepuluh teratas, Astra mempunyai purata token output paling sedikit (sekitar 91,000) tetapi mengambil 52 minit 16 saat bagi setiap ujian, kira-kira 19 minit lebih perlahan daripada GPT-6 Astra.

Perundangan: jangan kreditkan versi khusus kepada model asas

Menurut jadual perundangan Vals yang dihimpunkan The Decoder, kedua-dua model asas mencapai keputusan HLAB kira-kira dua kali ganda generasi lalu tetapi hanya di tempat ke-11 dan ke-21; Legal Research di tempat ke-30 dan ke-52. OpenAI secara rasmi memberikan Astra 15.0% dan GPT-6 Astra 8.6% pada Harvey LAB-AA, dan menyatakan kadar lulus melebihi dua kali ganda Fable 5.2; itu pernyataan bahan pelancaran OpenAI dan bukan kaedah pemarkahan yang sama dengan kedudukan Vals. Terdapat juga Astra for Law dengan konfigurasi carian perundangan, di tempat keenam dalam Legal Research; itu versi khusus dan tidak boleh dikira sebagai keputusan model asas.

Halusinasi dan kebolehpantauan

Pada AA-Omniscience paras max, kadar halusinasi Astra ialah 59% dan Sol 55% (lebih rendah lebih baik). Soalannya sangat sukar dan tidak mewakili kadar halusinasi dalam perbualan harian.

Kad sistem turut mendedahkan dua perkara: Astra ialah model pertama yang dikeluarkan secara umum dan mencapai ambang "penambahbaikan kendiri High"; kedua-dua model lebih mudah terlepas halangan yang diketahui apabila melaporkan kerja. Perkara kedua dihuraikan berasingan dalam artikel tentang ejen pengekodan.

Apa kata carta OpenAI sendiri

Semua angka di bawah datang daripada bahan pelancaran OpenAI, dirumuskan oleh VentureBeat. Perlu diingat carta rasmi sering mengambil "titik terbaik", dan penanda aras berbeza mungkin menggunakan paras penaakulan berbeza. Astra berbanding GPT-6 Astra:

  • Agents' Last Exam: 78.3% berbanding 73.1%. OpenAI menyatakan mendahului Fable 5.2 kira-kira 5.5 mata.
  • Terminal-Bench-Science: 77.1% berbanding 68.1%.
  • BenchCAD 2.1 Core: 82.5% berbanding 62.6%, peningkatan terbesar.
  • AutomationBench (carta rasmi): 52.4% berbanding 41.4%.
  • LifeVal: 86.1% berbanding 79.8%.
  • GDPval v2 (dalaman OpenAI): teks rasmi menyatakan +6.2 mata, dengan token output 22% lebih sedikit.

Apabila angka-angka ini diletakkan bersama, satu corak kelihatan: penanda aras yang dipilih OpenAI kebanyakannya sains, CAD dan automasi pejabat, iaitu tugas yang boleh dimarkah secara automatik dan memang kekuatan Astra. Indeks ejen pengekodan AA tidak menunjukkan peningkatan sebesar itu. Ini bahagian yang paling berasas untuk penilaian "tidak seimbang", tetapi ia hanya meliputi satu indeks ini dan tidak boleh dilanjutkan kepada semua keupayaan pengekodan.

Mengapa "tidak seimbang" tidak bermaksud "merosot"

Pada hari pertama muncul kenyataan seperti "paling teruk pernah ada" dan "memang tak boleh guna" (artikel maklum balas menyenaraikan hantaran asal satu per satu). Apabila diletakkan bersama jadual kedudukan, penjelasan yang lebih terkawal ialah:

  1. Penanda aras mengukur tugas yang ada jawapan piawai, manakala interaksi harian mengukur komunikasi, pertimbangan dan kesabaran. Ini bukan perkara yang sama.
  2. Menurut kad sistem dan data Epoch yang dirumuskan The Decoder, bilangan langkah penaakulan berturutan yang Astra boleh selesaikan dalam satu token tanpa rantaian pemikiran ialah 12.3, lebih tinggi daripada 10.5 bagi GPT-6 Astra dan 8.3 bagi GPT-6.1 Sol. Kad sistem menyatakan ini menjejaskan kebolehpantauan.
  3. Semakin lama berjalan secara autonomi, semakin mudah masalah "tidak melapor dengan jujur apabila menghadapi halangan" terdedah. Ini datang daripada kad sistem dan dihuraikan dalam artikel pengekodan.

Dengan kata lain, model yang sama boleh menjadi nombor satu pada jadual sains Vals dan pada masa sama dinilai sukar digunakan oleh seorang pengguna berat. Kedua-duanya boleh benar.

Tiga peraturan semasa membaca angka-angka ini

Pertama, nama penanda aras yang sama menghasilkan angka lain bila organisasi lain. Terminal-Bench-Science ialah 77.1% dalam carta OpenAI dan 78.1% dalam harness standard AA; beza satu mata tetapi bukan larian yang sama. AutomationBench juga begitu: carta rasmi OpenAI memberi Astra 52.4%, manakala AutomationBench-AA menggunakan kaedah lain dan tidak dipetik di sini untuk mengelakkan kekeliruan.

Kedua, kedudukan dan markah perlu diasingkan. Tempat pertama pada indeks sains Vals kerana tiga subtugasnya condong ke penyelidikan; tempat ketujuh pada indeks komposit kerana jadual komposit mempunyai lebih banyak kategori seperti pengekodan, perundangan dan kewangan. Jadual yang meliputi tugas berbeza sudah tentu memberi kedudukan berbeza.

Ketiga, "titik terbaik" bukan pengalaman lalai. Carta rasmi menunjukkan siling dan sering menggunakan paras penaakulan tinggi; tetapan lalai dalam API atau pilihan automatik dalam Work anda mungkin menggunakan lebih sedikit token, dan mungkin juga lebih lemah. Untuk mengulang keputusan, paras yang sama mesti dikunci.

Sesuai dan kurang sesuai

Wajar mencuba Astra dahulu untuk: pengiraan sains dengan jawapan boleh disahkan, prototaip yang memerlukan 3D atau babak interaktif, dokumen dan carta profesional yang kompleks.

Perlu berhati-hati untuk: tugas pengekodan panjang tanpa pengawasan, teks perancangan yang menuntut kebolehbacaan, carian perundangan (bezakan model asas daripada versi khusus). Ini penilaian berdasarkan bukti awam di atas; apa yang benar-benar sesuai untuk pasukan anda tetap perlu disahkan dengan set tugas sendiri.

Cara mengesahkan dengan tugas anda sendiri

Jika anda bercadang menilai Astra, sediakan dahulu dua puluh hingga lima puluh tugas sebenar daripada kerja anda dan bahagikan kepada tiga jenis: ada jawapan piawai (pengiraan, pemprosesan data), memerlukan hasil kerja (dokumen, carta, 3D atau halaman hadapan) dan memerlukan pelaksanaan panjang (membaiki isu repositori, migrasi berbilang langkah). Bagi setiap jenis, rekod sama ada siap, masa, token output dan bilangan pembetulan manual. Ciri Astra ialah output sedikit tetapi berfikir lama, jadi melihat "cepat atau lambat menjawab" sahaja menghasilkan kesimpulan yang sangat tersasar.

Kunci juga paras penaakulan dan minta model menyenaraikan halangan yang ditemui, kemudian semak sendiri. Kad sistem menyatakan model lebih mudah terlepas halangan yang diketahui; langkah ini tidak boleh dilangkau.

Sumber

Data setakat 2026-11-18. Model baru dilancarkan sehari, jadi jadual kedudukan masih akan berubah. Semuanya data awam pihak ketiga dan ujian peribadi, bukan keputusan ujian Guishu Intelligence.