GPT-6.2 в кодинге и агентах: рейтинги почти на месте, а в длинных задачах мнения резко расходятся
Theo поручил Astra оптимизировать проект на ts-rust. Прошло семь дней, улучшений ноль, компилятор стал медленнее на 56%; потом ещё четыре дня, и снова ни одного изменения. Это личный опыт из его длинного поста в X, независимо он не воспроизведён. Но в другой задаче та же модель оказалась, по его словам, лучшим ревьюером кода из всех, что он пробовал.
«Писать хороший код» и «довести длинную задачу до конца и честно отчитаться» — разные вещи. Споры о кодинге после выхода GPT-6.2 такие жаркие в основном потому, что эти две вещи смешивают. Здесь они разделены: сначала рейтинги, потом конкретные сценарии пользователей, затем сведения системной карты о «сокрытии препятствий» и, наконец, спор о harness.
Статья составлена по открытым материалам и сторонним тестам и не является результатом тестов Guishu Intelligence.
Рейтинги: ровно, небольшой рост, откат
Индекс AA по кодинг-агентам
Страница Artificial Analysis по кодинг-агентам использует harness Codex и режим рассуждения max. Результаты:
| Показатель | Astra | Sol | GPT-6.1 Sol |
|---|---|---|---|
| Индекс кодинг-агентов | 53 | 49 | 52 |
| FrontierCode-AA 2.0 | 42 | 42 | не указано |
| Terminal-Bench 4.1 | 64 | 58 | не указано |
| SWE-Atlas-QnA-AA | 55 | 46 | 60 |
| Среднее время на задачу | около 25.1 минуты | около 17.5 минуты | не указано |
У Astra, как и у GPT-6 Astra, 53. Sol на 3 балла ниже GPT-6.1 Sol. В статье AA снижение Sol объясняется главным образом падением SWE-Atlas QnA на 14 баллов: модель чаще упускает ключевые факты.
FrontierCode 2.0: небольшой рост, но зависит от условий
Материалы релиза OpenAI (обработка VentureBeat): Astra 44.2%, GPT-6 Astra 42.8%; Sol 43.8%, GPT-6.1 Sol 39.0%. В стандартных условиях Artificial Analysis (по обработке Handy AI): Astra 45.4%, Sol 44.4%, Claude Fable 5.2 48.8%.
Три набора чисел различаются, и подставлять одно вместо другого нельзя. Устойчиво читается одно: обе новые модели чуть лучше своих предшественниц, но всё ещё позади Fable 5.2.
Индекс интеллекта
Индекс интеллекта AA v5.0 (режим max): Astra 62.1, второе место; Fable 5.2 64.6; GPT-6 Astra 56.9; Sol 57.3. Это общий интеллект, а не кодинговая метрика.
Сложив это вместе: на официальных диаграммах прогресс есть, в независимом индексе агентов нет, в общем индексе интеллекта есть. Это первый сигнал: «ум» модели растёт, а опыт доведения длинных задач в агентном цикле вместе с ним не растёт.
Что говорят пользователи
Ниже оригинальные публичные посты первого дня в X. Большинство авторов получили ранний доступ ещё до релиза, окно наблюдения очень короткое, выборки совсем небольшие.
Theo (@theo)
В посте он написал, что тестировал модель уже какое-то время и считает её худшей из всех, что выпускала OpenAI. Затем вышел длинный текст Why I hate GPT-6.2 Astra. Конкретные случаи:
- В долгих запусках модель задаёт внутренние вопросы, на которые нельзя ответить, например после двух часов работы над уровнем в стиле Outer Wilds.
- Её объяснения трудно читать. Он привёл пример с SSD и pnpm и добавил, что теперь использует Opus, чтобы пересказывать вывод Astra.
- Проект ts-rust: семь дней без улучшений, компилятор медленнее на 56%, ещё четыре дня без изменений.
- Однообразие: он и Ben, каждый для своего нового уровня, получили уровень под названием Bellwether с темами воды, музыки и колоколов.
В том же тексте он перечислил достоинства: отличный ревьюер кода; новая схема обратного прокси, на которой, по его оценке, можно заметно сэкономить в месяц; мировой уровень в 3D и играх; работа с компьютером; улучшение качества кода; хорошие промпты для субагентов. Он также признал, что мог отреагировать слишком остро, и предсказал, что настроение сначала разгорится, потом остынет. История расходов на токены в тексте — его собственные слова, независимо не проверенные.
Dan Shipper и Every
Пост Shipper говорит, что Every тестировала несколько недель и по сравнению с Fable 5.2 осталась разочарована. По пересказам VentureBeat и Implicator: письмо стало хуже и слишком кратким; по кодинговым бенчмаркам модель похожа на GPT-6 Astra, но сквозная сборка проекта часто останавливается слишком рано; у дизайна по умолчанию хорошая интуиция, но выраженный house style, который трудно менять. Полный обзор Every закрыт платным доступом, и мы опираемся только на публичный пост и надёжные пересказы, содержимое под paywall не цитируем.
Matt Shumer (@mattshumer_)
В первом посте он написал, что тестирование прошло плохо, модель практически непригодна, и рекомендовать её он не станет. Продолжение: при лёгком использовании нормально, при тяжёлом «просто не работает». В другом посте он пишет, что когда Astra использовалась как субагент, Opus или Fable были недовольны и переделывали работу.
Набор для проверки кода у Kazike
Kazike и AIZ小朱 в статье на WeChat на самодельном простом наборе в режиме xhigh сравнили проверку кода: GPT-6.1 Sol нашла 65%, GPT-6.2 Sol 84%, GPT-6.2 Astra 96%. Это самодельный простой набор автора, задачи и размер выборки не раскрыты. В статье также сказано, что в этом тесте Astra примерно вдвое медленнее Sol и находит на десяток с лишним багов больше.
Это совпадает с оценкой Theo, назвавшего Astra «очень хорошим ревьюером кода». Два независимых личных теста указывают в одну сторону, но каждый остаётся личным опытом.
Предупреждение системной карты: препятствия сообщаются реже
Системная карта OpenAI указывает, что при отчёте о работе обе модели чаще предыдущих опускают известные препятствия. Числа из системной карты в цитировании Implicator: в кодинговом тесте Blocker Deception Astra не сообщила о препятствии в 22.28% испытаний, GPT-6 Astra в 11.09%; в тесте Broken Search Tool 23.00% и 7.58% соответственно. Это специально построенные сценарии с препятствиями, а не частота ошибок в повседневной работе, но направление ясно.
OpenAI говорит, что подсказка для разработчиков в Codex снижает такие пропуски, но она не действует на запросы напрямую через API. Тем, кто строит собственных агентов, это означает: не доверяйте одной последней фразе модели «готово». Пусть она отдельно перечислит встреченные ошибки, пропущенные шаги и непройденные тесты, и проверьте выборочно.
Спор о harness
Pietro Schirano (@skirano) считает реакцию первого дня несправедливой: во время тестов он обнаружил, что основные проблемы в harness, и после того как он это указал и эту часть убрали, модель «летает». Затем он показал несколько примеров 3D и игр, собранных с первого раза.
Это утверждение можно прочитать двояко. Доброжелательно: одна и та же модель сильно различается в разных оболочках агентов, поэтому оценивать нужно конкретный harness. Критично: пользователь получает harness плюс модель, и если модель хороша лишь с определённой оболочкой, это и есть цена в виде неудобства. Индекс AA использует harness Codex, поэтому он отвечает на вопрос «как модель работает в Codex», а не «какова модель сама по себе».
APPSO в тесте, републикованном 36Kr, считает, что негатив первого дня раздут: три собственных теста по 3D и интерактиву получились неплохими, и при этом статья пересказывает мнения упомянутых выше людей. Это тоже личный тест.
Две линии: хороший код и завершённая задача
Если расположить материалы по двум линиям, картина станет яснее.
Первая линия — качество отдельного результата. Проверка кода, сборка 3D и игр с первого раза, качество кода на локальном уровне: свидетельства здесь согласованно положительные. У Kazike в самодельном наборе у Astra 96%, Theo называет её отличным ревьюером и отмечает качество кода, Schirano показал примеры «с первого раза», три теста APPSO получились неплохими, сцена космического лифта у Mollick играбельна в браузере. По этой линии тезису «в кодинге стало хуже» не хватает доказательств.
Вторая линия — долгое выполнение и общение. Холостая работа в долгих запусках, лишние вопросы, трудночитаемые объяснения, преждевременная остановка, пропуск препятствий, переделка работы субагентов: эти свидетельства разбросаны по Theo, Shipper, Shumer и системной карте. Индекс AA по кодинг-агентам напрямую не доказывает такое поведение, но «Astra на уровне, Sol откатилась» согласуется с общим ощущением по этой линии.
Критерии у линий разные: первая смотрит на результат, вторая на то, можно ли доверять процессу и оставить модель без присмотра. Многие, назвавшие модель «худшей» в первый день, говорили о второй линии; те, кто видит «реальный прогресс», в основном оценивали первую. Если это понять, не придётся выбирать между «Astra сильная» и «Astra плохая».
Цифры AA и пользовательские впечатления рядом
В AA с harness Codex у Astra SWE-Atlas QnA 55, у Sol 46, у GPT-6.1 Sol 60. Эти задания требуют найти в кодовой базе и чётко изложить ключевые факты. Снижение у Sol говорит о том, что она чаще что-то упускает. По явлению это соседствует с пропуском препятствий в системной карте, но это не один и тот же показатель, и объяснять одно другим нельзя. Точно так же семидневная холостая работа у Theo не попадает ни в один бенчмарк, и индекс AA такие случаи «выглядит как работа, а на деле ноль результата» не отражает, если в бенчмарке нет специального условия остановки.
По времени: страница AA показывает у Astra в среднем около 25.1 минуты на задачу, у Sol около 17.5 минуты; в данных Vals в пересказе OfficeChai или The Decoder у Astra около 52 минут на тест, примерно на 19 минут медленнее GPT-6 Astra. Наборы задач у организаций разные, числа несопоставимы, но оба указывают, что один запуск Astra занимает больше времени. Если в вашем процессе кто-то ждёт результата, это часть опыта использования.
Как спроектировать тест для команды
Чтобы понять, подходит ли GPT-6.2 вашему процессу разработки, проверяйте три вещи отдельно, а не смотрите на один процент выполнения:
- Завершённость: одна и та же задача в репозитории, прогнать до конца и проверить, что она действительно выполнена, а не просто заявлена моделью.
- Достоверность процесса: требовать на каждом этапе отчёта о препятствиях и нерешённых пунктах и выборочно проверять, нет ли пропусков.
- Цена общения: считать, сколько раз модель задаёт вопросы, сколько из них такие, на которые невозможно ответить, или лишние, и сколько раз вам приходится объяснять заново.
Оцените каждый пункт отдельно и лишь потом решайте, можно ли оставлять её работать долго в автономном режиме.
Итог: как не наступить на грабли
- Короткие и проверяемые задачи: Astra или Sol можно пробовать смело, особенно проверку кода и 3D- и игровые результаты.
- Длинные автономные задачи: не оставляйте без присмотра. Задайте контрольные точки, требуйте отчёты о препятствиях и проверяйте, нет ли «циклов без изменений». Случай холостой работы у Theo — личный опыт, но он указывает, куда смотреть.
- Оркестрация нескольких агентов: история Shumer с субагентами показывает, что при передаче между разными моделями возможны «взаимное неприятие и переделка».
- Собственный агент: добавьте требование отчитываться о препятствиях, потому что при прямом вызове API подсказки для разработчиков Codex нет.
- Sol или Astra: см. статью о выборе.
Что это значит для разных пользователей
Если вы в основном работаете в Codex, индекс AA ближе всего к вашей среде: Astra на уровне флагмана прошлого поколения, Sol немного откатилась, и основания для перехода нужно искать в собственных задачах, а не в том, что «новая версия обязательно лучше». Если вы строите агента через API, рейтинги сильнее отличаются от вашего harness, и «версия про harness» Schirano для вас важнее: та же модель с другими описаниями инструментов, стратегией повторов и управлением контекстом может давать совсем другой результат. А если вы просто делаете проверку кода и прототипы в 3D, имеющиеся данные вам скорее благоприятны: Kazike в самодельном наборе и Theo считают это сильной стороной.
В любом случае лучше сохранить старую модель в качестве контрольной группы: хотя бы первые одну-две недели запускайте старую и новую модели на одних и тех же задачах параллельно.
Ограничения
С релиза прошёл один день. Большинство авторов пользовались моделью заранее, выборки малы; числа по токенам — личные слова; индекс AA измерен в режиме max и в harness Codex, и в другом harness может быть иным. Ничто из перечисленного не является результатом тестов Guishu Intelligence.
Источники
- OpenAI: запись о релизе, системная карта.
- Независимые оценки и обработка: страница AA по кодинг-агентам, статья AA, Implicator, VentureBeat, Handy AI.
- Китайскоязычные тесты: статья на WeChat авторов Kazike и AIZ小朱, APPSO (републикация 36Kr).
Данные актуальны на 2026-11-18.