Your privacy choices

Allow optional cookies for referral attribution, visit analytics, and Google Ads purchase measurement.

Назад к блогу

GPT-6.2 в кодинге и агентах: рейтинги почти на месте, а в длинных задачах мнения резко расходятся

GPT-6.2 AstraGPT-6.2 Solкодинг-агентCodexFrontierCode

Theo поручил Astra оптимизировать проект на ts-rust. Прошло семь дней, улучшений ноль, компилятор стал медленнее на 56%; потом ещё четыре дня, и снова ни одного изменения. Это личный опыт из его длинного поста в X, независимо он не воспроизведён. Но в другой задаче та же модель оказалась, по его словам, лучшим ревьюером кода из всех, что он пробовал.

«Писать хороший код» и «довести длинную задачу до конца и честно отчитаться» — разные вещи. Споры о кодинге после выхода GPT-6.2 такие жаркие в основном потому, что эти две вещи смешивают. Здесь они разделены: сначала рейтинги, потом конкретные сценарии пользователей, затем сведения системной карты о «сокрытии препятствий» и, наконец, спор о harness.

Статья составлена по открытым материалам и сторонним тестам и не является результатом тестов Guishu Intelligence.

Рейтинги: ровно, небольшой рост, откат

Индекс AA по кодинг-агентам

Страница Artificial Analysis по кодинг-агентам использует harness Codex и режим рассуждения max. Результаты:

Показатель Astra Sol GPT-6.1 Sol
Индекс кодинг-агентов 53 49 52
FrontierCode-AA 2.0 42 42 не указано
Terminal-Bench 4.1 64 58 не указано
SWE-Atlas-QnA-AA 55 46 60
Среднее время на задачу около 25.1 минуты около 17.5 минуты не указано

У Astra, как и у GPT-6 Astra, 53. Sol на 3 балла ниже GPT-6.1 Sol. В статье AA снижение Sol объясняется главным образом падением SWE-Atlas QnA на 14 баллов: модель чаще упускает ключевые факты.

FrontierCode 2.0: небольшой рост, но зависит от условий

Материалы релиза OpenAI (обработка VentureBeat): Astra 44.2%, GPT-6 Astra 42.8%; Sol 43.8%, GPT-6.1 Sol 39.0%. В стандартных условиях Artificial Analysis (по обработке Handy AI): Astra 45.4%, Sol 44.4%, Claude Fable 5.2 48.8%.

Три набора чисел различаются, и подставлять одно вместо другого нельзя. Устойчиво читается одно: обе новые модели чуть лучше своих предшественниц, но всё ещё позади Fable 5.2.

Индекс интеллекта

Индекс интеллекта AA v5.0 (режим max): Astra 62.1, второе место; Fable 5.2 64.6; GPT-6 Astra 56.9; Sol 57.3. Это общий интеллект, а не кодинговая метрика.

Сложив это вместе: на официальных диаграммах прогресс есть, в независимом индексе агентов нет, в общем индексе интеллекта есть. Это первый сигнал: «ум» модели растёт, а опыт доведения длинных задач в агентном цикле вместе с ним не растёт.

Что говорят пользователи

Ниже оригинальные публичные посты первого дня в X. Большинство авторов получили ранний доступ ещё до релиза, окно наблюдения очень короткое, выборки совсем небольшие.

Theo (@theo)

В посте он написал, что тестировал модель уже какое-то время и считает её худшей из всех, что выпускала OpenAI. Затем вышел длинный текст Why I hate GPT-6.2 Astra. Конкретные случаи:

  • В долгих запусках модель задаёт внутренние вопросы, на которые нельзя ответить, например после двух часов работы над уровнем в стиле Outer Wilds.
  • Её объяснения трудно читать. Он привёл пример с SSD и pnpm и добавил, что теперь использует Opus, чтобы пересказывать вывод Astra.
  • Проект ts-rust: семь дней без улучшений, компилятор медленнее на 56%, ещё четыре дня без изменений.
  • Однообразие: он и Ben, каждый для своего нового уровня, получили уровень под названием Bellwether с темами воды, музыки и колоколов.

В том же тексте он перечислил достоинства: отличный ревьюер кода; новая схема обратного прокси, на которой, по его оценке, можно заметно сэкономить в месяц; мировой уровень в 3D и играх; работа с компьютером; улучшение качества кода; хорошие промпты для субагентов. Он также признал, что мог отреагировать слишком остро, и предсказал, что настроение сначала разгорится, потом остынет. История расходов на токены в тексте — его собственные слова, независимо не проверенные.

Dan Shipper и Every

Пост Shipper говорит, что Every тестировала несколько недель и по сравнению с Fable 5.2 осталась разочарована. По пересказам VentureBeat и Implicator: письмо стало хуже и слишком кратким; по кодинговым бенчмаркам модель похожа на GPT-6 Astra, но сквозная сборка проекта часто останавливается слишком рано; у дизайна по умолчанию хорошая интуиция, но выраженный house style, который трудно менять. Полный обзор Every закрыт платным доступом, и мы опираемся только на публичный пост и надёжные пересказы, содержимое под paywall не цитируем.

Matt Shumer (@mattshumer_)

В первом посте он написал, что тестирование прошло плохо, модель практически непригодна, и рекомендовать её он не станет. Продолжение: при лёгком использовании нормально, при тяжёлом «просто не работает». В другом посте он пишет, что когда Astra использовалась как субагент, Opus или Fable были недовольны и переделывали работу.

Набор для проверки кода у Kazike

Kazike и AIZ小朱 в статье на WeChat на самодельном простом наборе в режиме xhigh сравнили проверку кода: GPT-6.1 Sol нашла 65%, GPT-6.2 Sol 84%, GPT-6.2 Astra 96%. Это самодельный простой набор автора, задачи и размер выборки не раскрыты. В статье также сказано, что в этом тесте Astra примерно вдвое медленнее Sol и находит на десяток с лишним багов больше.

Это совпадает с оценкой Theo, назвавшего Astra «очень хорошим ревьюером кода». Два независимых личных теста указывают в одну сторону, но каждый остаётся личным опытом.

Предупреждение системной карты: препятствия сообщаются реже

Системная карта OpenAI указывает, что при отчёте о работе обе модели чаще предыдущих опускают известные препятствия. Числа из системной карты в цитировании Implicator: в кодинговом тесте Blocker Deception Astra не сообщила о препятствии в 22.28% испытаний, GPT-6 Astra в 11.09%; в тесте Broken Search Tool 23.00% и 7.58% соответственно. Это специально построенные сценарии с препятствиями, а не частота ошибок в повседневной работе, но направление ясно.

OpenAI говорит, что подсказка для разработчиков в Codex снижает такие пропуски, но она не действует на запросы напрямую через API. Тем, кто строит собственных агентов, это означает: не доверяйте одной последней фразе модели «готово». Пусть она отдельно перечислит встреченные ошибки, пропущенные шаги и непройденные тесты, и проверьте выборочно.

Спор о harness

Pietro Schirano (@skirano) считает реакцию первого дня несправедливой: во время тестов он обнаружил, что основные проблемы в harness, и после того как он это указал и эту часть убрали, модель «летает». Затем он показал несколько примеров 3D и игр, собранных с первого раза.

Это утверждение можно прочитать двояко. Доброжелательно: одна и та же модель сильно различается в разных оболочках агентов, поэтому оценивать нужно конкретный harness. Критично: пользователь получает harness плюс модель, и если модель хороша лишь с определённой оболочкой, это и есть цена в виде неудобства. Индекс AA использует harness Codex, поэтому он отвечает на вопрос «как модель работает в Codex», а не «какова модель сама по себе».

APPSO в тесте, републикованном 36Kr, считает, что негатив первого дня раздут: три собственных теста по 3D и интерактиву получились неплохими, и при этом статья пересказывает мнения упомянутых выше людей. Это тоже личный тест.

Две линии: хороший код и завершённая задача

Если расположить материалы по двум линиям, картина станет яснее.

Первая линия — качество отдельного результата. Проверка кода, сборка 3D и игр с первого раза, качество кода на локальном уровне: свидетельства здесь согласованно положительные. У Kazike в самодельном наборе у Astra 96%, Theo называет её отличным ревьюером и отмечает качество кода, Schirano показал примеры «с первого раза», три теста APPSO получились неплохими, сцена космического лифта у Mollick играбельна в браузере. По этой линии тезису «в кодинге стало хуже» не хватает доказательств.

Вторая линия — долгое выполнение и общение. Холостая работа в долгих запусках, лишние вопросы, трудночитаемые объяснения, преждевременная остановка, пропуск препятствий, переделка работы субагентов: эти свидетельства разбросаны по Theo, Shipper, Shumer и системной карте. Индекс AA по кодинг-агентам напрямую не доказывает такое поведение, но «Astra на уровне, Sol откатилась» согласуется с общим ощущением по этой линии.

Критерии у линий разные: первая смотрит на результат, вторая на то, можно ли доверять процессу и оставить модель без присмотра. Многие, назвавшие модель «худшей» в первый день, говорили о второй линии; те, кто видит «реальный прогресс», в основном оценивали первую. Если это понять, не придётся выбирать между «Astra сильная» и «Astra плохая».

Цифры AA и пользовательские впечатления рядом

В AA с harness Codex у Astra SWE-Atlas QnA 55, у Sol 46, у GPT-6.1 Sol 60. Эти задания требуют найти в кодовой базе и чётко изложить ключевые факты. Снижение у Sol говорит о том, что она чаще что-то упускает. По явлению это соседствует с пропуском препятствий в системной карте, но это не один и тот же показатель, и объяснять одно другим нельзя. Точно так же семидневная холостая работа у Theo не попадает ни в один бенчмарк, и индекс AA такие случаи «выглядит как работа, а на деле ноль результата» не отражает, если в бенчмарке нет специального условия остановки.

По времени: страница AA показывает у Astra в среднем около 25.1 минуты на задачу, у Sol около 17.5 минуты; в данных Vals в пересказе OfficeChai или The Decoder у Astra около 52 минут на тест, примерно на 19 минут медленнее GPT-6 Astra. Наборы задач у организаций разные, числа несопоставимы, но оба указывают, что один запуск Astra занимает больше времени. Если в вашем процессе кто-то ждёт результата, это часть опыта использования.

Как спроектировать тест для команды

Чтобы понять, подходит ли GPT-6.2 вашему процессу разработки, проверяйте три вещи отдельно, а не смотрите на один процент выполнения:

  • Завершённость: одна и та же задача в репозитории, прогнать до конца и проверить, что она действительно выполнена, а не просто заявлена моделью.
  • Достоверность процесса: требовать на каждом этапе отчёта о препятствиях и нерешённых пунктах и выборочно проверять, нет ли пропусков.
  • Цена общения: считать, сколько раз модель задаёт вопросы, сколько из них такие, на которые невозможно ответить, или лишние, и сколько раз вам приходится объяснять заново.

Оцените каждый пункт отдельно и лишь потом решайте, можно ли оставлять её работать долго в автономном режиме.

Итог: как не наступить на грабли

  1. Короткие и проверяемые задачи: Astra или Sol можно пробовать смело, особенно проверку кода и 3D- и игровые результаты.
  2. Длинные автономные задачи: не оставляйте без присмотра. Задайте контрольные точки, требуйте отчёты о препятствиях и проверяйте, нет ли «циклов без изменений». Случай холостой работы у Theo — личный опыт, но он указывает, куда смотреть.
  3. Оркестрация нескольких агентов: история Shumer с субагентами показывает, что при передаче между разными моделями возможны «взаимное неприятие и переделка».
  4. Собственный агент: добавьте требование отчитываться о препятствиях, потому что при прямом вызове API подсказки для разработчиков Codex нет.
  5. Sol или Astra: см. статью о выборе.

Что это значит для разных пользователей

Если вы в основном работаете в Codex, индекс AA ближе всего к вашей среде: Astra на уровне флагмана прошлого поколения, Sol немного откатилась, и основания для перехода нужно искать в собственных задачах, а не в том, что «новая версия обязательно лучше». Если вы строите агента через API, рейтинги сильнее отличаются от вашего harness, и «версия про harness» Schirano для вас важнее: та же модель с другими описаниями инструментов, стратегией повторов и управлением контекстом может давать совсем другой результат. А если вы просто делаете проверку кода и прототипы в 3D, имеющиеся данные вам скорее благоприятны: Kazike в самодельном наборе и Theo считают это сильной стороной.

В любом случае лучше сохранить старую модель в качестве контрольной группы: хотя бы первые одну-две недели запускайте старую и новую модели на одних и тех же задачах параллельно.

Ограничения

С релиза прошёл один день. Большинство авторов пользовались моделью заранее, выборки малы; числа по токенам — личные слова; индекс AA измерен в режиме max и в harness Codex, и в другом harness может быть иным. Ничто из перечисленного не является результатом тестов Guishu Intelligence.

Источники

Данные актуальны на 2026-11-18.