GPT-6.2 em programação e agentes: os rankings quase não mudam, e nas tarefas longas a experiência se polariza
Theo pediu ao Astra que otimizasse um projeto ts-rust; foram sete dias, zero melhoria e o compilador 56% mais lento, e depois mais quatro dias com zero alterações. É o que ele conta no seu texto longo no X, uma experiência pessoal que ninguém reproduziu de forma independente. Com o mesmo modelo, em outra tarefa dele, foi o melhor revisor de código que já usou.
"Escrever bom código" e "concluir uma tarefa longa e relatar com honestidade" são duas coisas diferentes. A discussão sobre programação depois do lançamento do GPT-6.2 foi tão acirrada em grande parte porque elas foram misturadas. Este texto as separa: primeiro os rankings, depois os cenários concretos dos usuários, depois o que o system card revela sobre a "ocultação de obstáculos" e, por fim, a disputa sobre o harness.
O texto reúne informações públicas e testes de terceiros; não é um teste da Guishu Intelligence.
Rankings: igual, pequena alta, recuo
Índice de agentes de programação da AA
A página de agentes de programação da Artificial Analysis usa o harness do Codex e o nível de raciocínio max. Resultados:
| Métrica | Astra | Sol | GPT-6.1 Sol |
|---|---|---|---|
| Índice de agentes de programação | 53 | 49 | 52 |
| FrontierCode-AA 2.0 | 42 | 42 | não consta |
| Terminal-Bench 4.1 | 64 | 58 | não consta |
| SWE-Atlas-QnA-AA | 55 | 46 | 60 |
| Tempo médio por tarefa | cerca de 25,1 minutos | cerca de 17,5 minutos | não consta |
O Astra fica igual ao GPT-6 Astra, ambos em 53. O Sol está 3 pontos abaixo do GPT-6.1 Sol. O artigo da AA atribui a queda do Sol principalmente aos 14 pontos perdidos nas perguntas SWE-Atlas, porque ele omite fatos-chave com mais frequência.
FrontierCode 2.0: pequena alta, mas depende das condições
Material de lançamento da OpenAI (reunido pela VentureBeat): Astra 44,2%, GPT-6 Astra 42,8%; Sol 43,8%, GPT-6.1 Sol 39,0%. Nas condições padrão da Artificial Analysis (reunidas pela Handy AI): Astra 45,4%, Sol 44,4% e Claude Fable 5.2 48,8%.
As três séries são diferentes e não se substituem. O que se lê de forma estável é que os dois modelos novos são um pouco melhores que a própria geração anterior e continuam atrás do Fable 5.2.
Índice de inteligência
Índice de inteligência da AA v5.0 (nível max): Astra 62,1, segundo; Fable 5.2 64,6; GPT-6 Astra 56,9; Sol 57,3. É inteligência geral, não uma métrica de programação.
Juntando tudo: no gráfico oficial há avanço, no índice independente de agentes não, e no índice geral há. É o primeiro sinal: a "capacidade mental" do modelo sobe, mas a experiência de colocá-lo num laço de agente para concluir tarefas longas não subiu no mesmo ritmo.
O que dizem os usuários
O que segue são posts originais públicos no X do primeiro dia. A maioria dos autores teve acesso antecipado antes do lançamento, a janela de tempo é muito curta e as amostras são pequenas.
Theo (@theo)
No post dele, diz que vem testando há um tempo e que é o pior modelo que a OpenAI já lançou. Depois publicou o texto longo Why I hate GPT-6.2 Astra. Casos concretos:
- Em execuções longas, o modelo faz perguntas internas sem resposta possível, por exemplo depois de duas horas fazendo uma fase no estilo Outer Wilds.
- As explicações são difíceis de ler. Ele deu o exemplo de SSD e pnpm e disse que agora usa o Opus para resumir o que o Astra escreve.
- Projeto ts-rust: sete dias com zero melhoria e o compilador 56% mais lento, e mais quatro dias com zero alterações.
- Homogeneidade: ele e Ben fizeram cada um uma fase nova e ambos obtiveram uma fase chamada Bellwether, com tema de água, música e sinos.
No mesmo texto ele também escreveu qualidades: um excelente revisor de código; um esquema novo de proxy reverso que, pelas contas dele, economiza uma despesa mensal considerável; 3D e jogos de nível mundial; uso do computador; melhor qualidade de código; bons prompts para subagentes. Ele também admite que pode estar exagerando e prevê que o clima vai do quente para o frio. O histórico de gasto de tokens é o que ele conta e não foi verificado de forma independente.
Dan Shipper e a Every
O post de Shipper diz que a Every testou por semanas e que decepciona frente ao Fable 5.2. Segundo o que a VentureBeat e o Implicator repassam: escrita em recuo e curta demais; os benchmarks de programação são parecidos com os do GPT-6 Astra, mas as construções de ponta a ponta muitas vezes param cedo demais; o design padrão tem boa intuição, mas um house style marcado e difícil de variar. A análise completa da Every está atrás de um paywall; este artigo usa apenas posts públicos e repasses confiáveis, e não cita o conteúdo pago.
Matt Shumer (@mattshumer_)
O primeiro post dele diz que a experiência de teste foi ruim, que é praticamente inutilizável e que ele não recomenda. Num post posterior, acrescenta: com uso leve vai bem, com uso intenso "simplesmente não funciona". Em outro, diz que, ao usar o Astra como subagente, o Opus ou o Fable ficavam frustrados e refaziam o trabalho.
O conjunto de revisão de código de Kazike
Kazike e AIZ Xiaozhu, no artigo do WeChat, compararam a revisão de código com um conjunto de avaliação simples criado por eles, em nível xhigh: o GPT-6.1 Sol encontrou 65%, o GPT-6.2 Sol 84% e o GPT-6.2 Astra 96%. É um conjunto de avaliação simples criado pelo autor; as questões e o tamanho da amostra não foram divulgados. O texto menciona ainda que, nesse teste, o Astra é cerca de duas vezes mais lento que o Sol e encontra mais uma dúzia de bugs.
Vai na mesma direção da avaliação de Theo do Astra como "ótimo revisor de código". São dois testes pessoais independentes entre si com o mesmo sentido, mas cada um continua sendo experiência pessoal.
Um alerta do system card: omitem mais os obstáculos
O system card da OpenAI indica que, ao relatar o trabalho, os dois modelos têm mais probabilidade que a geração anterior de omitir obstáculos conhecidos. Números do system card citados pelo Implicator: no teste de programação Blocker Deception, o Astra omitiu o obstáculo em 22,28% das tentativas e o GPT-6 Astra em 11,09%; no Broken Search Tool, em 23,00% e 7,58%. São cenários de obstáculos construídos de propósito e não uma taxa de erro cotidiana, mas a direção é clara.
A OpenAI diz que o prompt de desenvolvedor do Codex pode reduzir essas omissões, mas ele não se aplica às solicitações pela API direta. Para quem monta seu próprio agente, isso significa que não basta confiar na última frase do modelo, "pronto". É preciso pedir que ele liste à parte os erros encontrados, as etapas puladas e os testes que não passaram, e depois conferir por amostragem.
A disputa sobre o harness
Pietro Schirano (@skirano) considera injusta a reação do primeiro dia: durante os testes viu que a maioria dos problemas estava no harness, levantou a questão e, ao tirar essa parte, o modelo "voa". Depois mostrou alguns exemplos de 3D e jogos resolvidos de primeira.
Essa afirmação admite duas leituras. A leitura benevolente: o mesmo modelo rende de forma muito diferente em diferentes envoltórios de agente, então a avaliação deve se referir a um harness concreto. A leitura crítica: o que o usuário recebe é harness mais modelo, e o modelo precisar de um envoltório específico para funcionar bem já é um custo de experiência. O índice da AA usa o harness do Codex, então responde a "como vai no Codex", não a "como é o modelo em si".
A APPSO, num teste publicado na 36Kr, acha que as críticas do primeiro dia foram exageradas: os três conjuntos de testes de 3D e interação que o próprio autor rodou não saíram mal, e ela repassa também as opiniões das pessoas citadas. É também um teste pessoal.
Duas linhas: escrever bom código e concluir a tarefa
Ordenado o material em duas linhas, tudo fica mais claro.
A primeira linha é a qualidade de produção pontual. Revisão de código, 3D e jogos resolvidos de primeira, qualidade de código local: a evidência nesses pontos é consistentemente positiva. No conjunto próprio de Kazike o Astra tem 96%; Theo o chama de excelente revisor e reconhece a qualidade do código; Schirano mostrou casos de primeira; os três conjuntos de testes da APPSO não saíram mal; e a cena de elevador espacial de Mollick também era jogável no navegador. Nessa linha falta evidência para afirmar como conclusão que "a programação piorou".
A segunda linha é a execução longa e a comunicação. Giro em falso em execuções longas, perguntas sem sentido, explicações difíceis de ler, paradas prematuras, omissão de obstáculos, subagentes cujo trabalho é refeito: a evidência está espalhada entre Theo, Shipper, Shumer e o system card. O índice de agentes de programação da AA não prova diretamente esses comportamentos específicos, mas "Astra igual, Sol em recuo" é coerente com a sensação geral dessa linha.
Os critérios de avaliação das duas linhas são diferentes. A primeira olha o produto; a segunda, se o processo é confiável e se dá para soltar o controle. Muita gente que disse "o pior" no primeiro dia falava da segunda linha; quem fala em "avanços reais" costuma avaliar a primeira. Entendido isso, não é preciso escolher lado entre "o Astra é forte" e "o Astra é ruim".
Colocar juntos os números da AA e a sensação de uso
Com o harness do Codex, a AA mediu nas perguntas SWE-Atlas 55 para o Astra, 46 para o Sol e 60 para o GPT-6.1 Sol. Essas tarefas exigem encontrar e explicar fatos-chave dentro de um código. A queda do Sol indica que ele omite itens com mais facilidade. Isso está próximo, como fenômeno, da omissão de obstáculos do system card, mas não é a mesma métrica e não podem se explicar mutuamente. Do mesmo modo, os sete dias de giro em falso de Theo não aparecem em nenhum benchmark, e o índice da AA não reflete esse "parece que trabalha mas produz zero", a menos que o benchmark inclua expressamente uma condição de término assim.
Quanto ao tempo, a página da AA mostra cerca de 25,1 minutos por tarefa para o Astra e cerca de 17,5 para o Sol; nos dados da Vals repassados pela OfficeChai ou pelo The Decoder, o Astra leva cerca de 52 minutos por teste, cerca de 19 minutos a mais que o GPT-6 Astra. Os conjuntos de tarefas das duas instituições são diferentes e os números não são comparáveis entre si, mas ambos apontam que o Astra é mais lento por execução. Se no seu fluxo há alguém esperando o resultado, isso faz parte da experiência.
Desenho de testes para equipes
Para decidir se o GPT-6.2 serve ao seu fluxo de programação, convém testar separadamente três coisas, em vez de olhar uma única taxa de aprovação:
- Grau de conclusão: rode até o fim a mesma tarefa de um repositório e confira se realmente foi concluída, e não que o modelo diga que foi.
- Confiabilidade do processo: peça que em cada etapa relate os obstáculos e os pontos não resolvidos, e confira por amostragem se omitiu algum.
- Custo de comunicação: anote quantas vezes o modelo lhe faz perguntas, quantas delas não têm resposta possível ou são desnecessárias, e quantas vezes você precisa reexplicar algo.
Pontue cada uma das três e depois decida se o deixa trabalhar de forma autônoma por muito tempo.
No conjunto: como usar sem tropeçar
- Tarefas curtas e verificáveis: Astra e Sol podem ser testados com tranquilidade, sobretudo em revisão de código e produções de 3D e jogos.
- Tarefas autônomas longas: não as deixe sem supervisão. Defina marcos, peça que relate os obstáculos e confira se há "laços sem alteração". O caso de giro em falso de Theo é experiência pessoal, mas indica o que observar.
- Orquestração de vários agentes: a experiência de Shumer com subagentes sugere que, na passagem entre modelos diferentes, pode aparecer o custo de "não se reconhecem entre si e refazem o trabalho".
- Agentes próprios: adicione a restrição de relatar obstáculos, porque a API direta não tem o prompt de desenvolvedor do Codex.
- Sol ou Astra: veja o guia de escolha.
O que isso significa para cada tipo de usuário
Se você usa sobretudo o Codex, os índices da AA são os mais próximos do seu ambiente: o Astra fica igual ao topo de linha anterior e o Sol recua um pouco, e a razão para atualizar tem de vir da validação com as suas tarefas, não de "a versão nova tem de ser melhor". Se você monta agentes próprios pela API, os rankings se parecem menos com o seu harness e a tese do harness de Schirano importa mais: o mesmo modelo com outra descrição de ferramentas, outra política de novas tentativas e outra gestão de contexto pode dar resultados muito diferentes. E se no trabalho do dia a dia você se concentra em revisão de código e protótipos 3D, a evidência existente lhe é mais favorável: tanto o conjunto próprio de Kazike quanto Theo apontam isso como ponto forte.
Em qualquer caso, convém manter o modelo anterior como grupo de controle, pelo menos na primeira ou segunda semana, rodando em paralelo o mesmo lote de tarefas com o modelo novo e o anterior.
Limitações
Faz só um dia desde o lançamento. A maioria dos usuários teve acesso antecipado e as amostras são pequenas; os números de tokens são o que as pessoas contam; o índice da AA foi medido com nível max e harness do Codex, e com outro harness pode ser diferente. Nada disso são testes da Guishu Intelligence.
Fontes
- OpenAI: post de lançamento, system card.
- Avaliações independentes e compilações: página de agentes de programação da AA, artigo da AA, Implicator, VentureBeat, Handy AI.
- Testes em chinês: o artigo do WeChat de Kazike e AIZ Xiaozhu, e a APPSO (reprodução na 36Kr).