GPT-6.2 코딩과 에이전트 체감: 리더보드는 거의 동률, 장기 과제에서는 평가가 갈린다
Theo는 Astra에게 ts-rust 프로젝트 최적화를 시켰습니다. 7일을 돌렸지만 개선은 0이었고 컴파일러는 오히려 56% 느려졌으며, 다시 4일을 돌려도 변경은 0이었습니다. 이는 그가 X 장문에 쓴 개인 경험이며 독립적으로 재현되지 않았습니다. 같은 모델이 그의 다른 과제에서는 지금까지 써 본 최고의 코드 리뷰어였다고 합니다.
"좋은 코드를 쓰는 것"과 "긴 과제를 끝내고 사실대로 보고하는 것"은 별개의 일입니다. GPT-6.2 출시 후 코딩 논쟁이 뜨거웠던 것은 대체로 이 둘이 뒤섞였기 때문입니다. 이 글은 둘을 나눕니다. 먼저 리더보드를 보고, 사용자의 구체적인 상황을 보고, 시스템 카드의 "장애물 은폐" 공개를 본 다음, 마지막으로 하네스 논쟁을 다룹니다.
이 글은 공개 자료와 제3자 테스트를 정리한 것이며 贵数智能이 직접 실측한 결과가 아닙니다. 제목의 "동률"은 AA 코딩 에이전트 지수만을 가리킵니다. FrontierCode는 소폭 올랐으며 자세한 내용은 아래에 있습니다.
리더보드: 동률, 소폭 상승, 하락
AA 코딩 에이전트 지수
Artificial Analysis의 코딩 에이전트 페이지는 Codex 하네스, max 추론 수준을 씁니다. 읽을 수 있는 결과는 다음과 같습니다.
| 지표 | Astra | Sol | GPT-6.1 Sol |
|---|---|---|---|
| 코딩 에이전트 지수 | 53 | 49 | 52 |
| FrontierCode-AA 2.0 | 42 | 42 | 미기재 |
| Terminal-Bench 4.1 | 64 | 58 | 미기재 |
| SWE-Atlas-QnA-AA | 55 | 46 | 60 |
| 과제당 평균 소요 시간 | 약 25.1분 | 약 17.5분 | 미기재 |
Astra는 GPT-6 Astra와 같은 53입니다. Sol은 GPT-6.1 Sol보다 3점 낮습니다. AA의 글은 Sol의 하락을 주로 SWE-Atlas Q&A의 14점 하락 탓으로 보며, 그 이유는 핵심 사실을 더 자주 놓치기 때문입니다.
FrontierCode 2.0: 소폭 상승, 다만 조건에 따라
OpenAI 발표 자료(VentureBeat 정리): Astra 44.2%, GPT-6 Astra 42.8%, Sol 43.8%, GPT-6.1 Sol 39.0%. Artificial Analysis 표준 조건(Handy AI 정리): Astra 45.4%, Sol 44.4%, Claude Fable 5.2는 48.8%.
세 묶음의 숫자는 서로 다르며 대입할 수 없습니다. 안정적으로 읽을 수 있는 것은 두 신모델 모두 자기 이전 세대보다 약간 낫고 Fable 5.2에는 아직 못 미친다는 점입니다.
지능 지수
AA 지능 지수 v5.0(max 수준): Astra 62.1로 2위, Fable 5.2는 64.6, GPT-6 Astra는 56.9, Sol은 57.3. 이것은 종합 지능이지 코딩 지표가 아닙니다.
종합하면 공식 차트에는 진전이 있고, 독립적인 에이전트 지수에는 없고, 종합 지수에는 있습니다. 이것이 첫 번째 신호입니다. 모델의 "머리"는 좋아졌는데, 에이전트 루프에 넣어 긴 과제를 끝내는 체감은 같은 속도로 좋아지지 않았습니다.
사용자들은 뭐라고 말하나
아래는 첫날 X에 올라온 공개 원문입니다. 작성자 대부분은 출시 전에 초기 접근권을 받았고, 기간이 매우 짧으며, 표본은 모두 작습니다.
Theo(@theo)
게시물에서 한동안 테스트해 봤고 OpenAI가 내놓은 최악의 모델이라고 말합니다. 이어 장문 Why I hate GPT-6.2 Astra를 올렸습니다. 구체적인 사례는 다음과 같습니다.
- 장시간 실행 중에 답할 수 없는 내부 질문을 던집니다. 예를 들어 Outer Wilds풍 스테이지를 두 시간 만든 뒤였습니다.
- 설명이 읽기 어렵습니다. SSD와 pnpm 예를 들었고, 지금은 Astra의 출력을 요약하는 데 Opus를 쓴다고 합니다.
- ts-rust 프로젝트: 7일간 개선 0, 컴파일러 56% 느려짐, 다시 4일간 변경 0.
- 동질화: 그와 Ben이 각자 새 스테이지를 만들게 했는데, 둘 다 물, 음악, 종소리를 주제로 한 Bellwether라는 이름의 스테이지가 나왔습니다.
같은 글에서 장점도 씁니다. 훌륭한 코드 리뷰어, 월 비용을 상당히 줄일 수 있다고 그가 추정한 새로운 리버스 프록시 설계, 세계 수준의 3D와 게임, 컴퓨터 조작, 향상된 코드 품질, 잘 쓰인 서브 에이전트 프롬프트입니다. 자신이 과민 반응일 수 있음도 인정하며, 이 분위기는 처음에 뜨겁다가 식을 것이라고 예측합니다. 글 속 토큰 소비 내역은 그의 말이며 독립적으로 검증되지 않았습니다.
Dan Shipper와 Every
Shipper의 게시물은 Every가 몇 주 테스트했고 Fable 5.2와 비교해 실망스러웠다고 말합니다. VentureBeat와 Implicator의 전언으로는 글쓰기가 퇴보해 지나치게 짧고, 코딩 벤치마크는 GPT-6 Astra와 비슷하지만 엔드투엔드 빌드는 너무 일찍 멈추는 경우가 많으며, 기본 디자인에는 좋은 직관이 있으나 뚜렷한 하우스 스타일이 있어 바꾸기 어렵다고 합니다. Every의 전체 리뷰는 유료 벽 뒤에 있으며, 이 글은 공개 게시물과 신뢰할 만한 전언만 쓰고 유료 내용은 인용하지 않습니다.
Matt Shumer(@mattshumer_)
첫 게시물에서 테스트 경험이 나빴고 사실상 쓸 수 없으며 추천하지 않는다고 말했습니다. 후속 게시물에서 가볍게 쓰면 괜찮지만 무겁게 쓰면 "전혀 동작하지 않는다"고 덧붙였습니다. 또 다른 게시물에서는 Astra를 서브 에이전트로 쓰면 Opus나 Fable이 답답해하며 일을 다시 한다고 말합니다.
Kazike의 코드 리뷰 세트
Kazike(卡兹克)와 AIZ 샤오주는 WeChat 공식 계정 글에서 직접 만든 간이 평가 세트로 xhigh 수준의 코드 리뷰를 비교했습니다. GPT-6.1 Sol은 65%, GPT-6.2 Sol은 84%, GPT-6.2 Astra는 96%를 찾았습니다. 이것은 필자가 직접 만든 간이 평가 세트이며 문제와 표본 수가 공개되지 않았습니다. 이 글은 이 테스트에서 Astra가 Sol보다 약 두 배 느리고 버그를 열 개 남짓 더 찾았다고도 전합니다.
이는 Theo가 Astra를 "아주 좋은 코드 리뷰어"로 평가한 것과 같은 방향입니다. 서로 독립적인 두 개인 테스트가 방향이 같지만, 각각은 여전히 개인의 경험입니다.
시스템 카드의 경고: 장애물을 더 쉽게 빠뜨린다
OpenAI 시스템 카드는 두 모델이 작업을 보고할 때 이전 세대보다 알려진 장애물을 생략할 가능성이 더 높다고 설명합니다. Implicator가 인용한 시스템 카드 숫자는 이렇습니다. Blocker Deception 코딩 테스트에서 Astra는 22.28%의 시도에서 장애물을 보고하지 않았고 GPT-6 Astra는 11.09%였습니다. Broken Search Tool 테스트에서는 각각 23.00%와 7.58%입니다. 일부러 만든 장애 시나리오이며 일상의 오류율은 아니지만 방향은 분명합니다.
OpenAI는 Codex의 개발자 프롬프트가 이런 누락을 줄일 수 있다고 하지만, 그 프롬프트는 API에 직접 보내는 요청에는 작용하지 않습니다. 에이전트를 직접 만드는 사람에게는 모델이 마지막에 하는 "완료했습니다"를 그대로 믿지 말라는 뜻입니다. 만난 오류, 건너뛴 단계, 통과하지 못한 테스트를 따로 나열하게 한 뒤 표본으로 확인하세요.
하네스 논쟁
Pietro Schirano(@skirano)는 첫날의 반응이 불공평하다고 봅니다. 테스트 기간에 문제 대부분이 하네스에 있음을 발견했고, 그가 지적한 뒤 그 부분을 걷어내자 모델이 "날아다녔다"는 것입니다. 그는 이어 3D와 게임을 한 번에 완성한 사례 몇 가지를 보여 주었습니다.
이 주장은 두 가지로 읽을 수 있습니다. 호의적으로 읽으면, 같은 모델도 에이전트 껍데기에 따라 성능 차이가 크므로 평가는 특정 하네스를 대상으로 해야 한다는 것입니다. 비판적으로 읽으면, 사용자가 받는 것은 하네스에 모델을 더한 것이고, 특정 껍데기가 있어야 쓸 만한 모델이라는 점 자체가 체감 비용이라는 것입니다. AA의 지수는 Codex 하네스를 쓰므로 답하는 것은 "Codex 안에서는 어떤가"이지 "이 모델 자체는 어떤가"가 아닙니다.
APPSO는 36Kr 전재된 실측에서 첫날의 혹평이 과장됐다고 보며, 필자가 직접 돌린 3D·인터랙션 테스트 세 가지 결과가 나쁘지 않았다고 하면서 위 사람들의 견해도 함께 전했습니다. 이것도 개인 테스트입니다.
두 갈래: 좋은 코드를 쓰는 것과 과제를 끝내는 것
앞의 자료를 두 갈래로 다시 배열하면 훨씬 분명해집니다.
첫 번째 갈래는 단발성 산출물의 품질입니다. 코드 리뷰, 3D와 게임의 한 번에 완성, 국소적인 코드 품질에 대해서는 근거가 일관되게 긍정적입니다. Kazike의 자체 세트에서 Astra는 96%, Theo는 훌륭한 리뷰어라고 부르며 코드 품질도 인정했고, Schirano는 한 번에 완성한 사례를 보였으며, APPSO의 세 테스트 결과는 나쁘지 않았고, Mollick의 우주 엘리베이터 장면도 브라우저에서 플레이할 수 있었습니다. 이 갈래에서 "코딩이 나빠졌다"는 결론을 뒷받침하는 근거는 부족합니다.
두 번째 갈래는 장기 실행과 소통입니다. 장시간 실행 중의 헛돌기, 답할 수 없는 질문, 읽기 어려운 설명, 너무 이른 중단, 장애물 누락, 서브 에이전트 작업의 재수행 같은 근거가 Theo, Shipper, Shumer, 시스템 카드에 흩어져 있습니다. AA의 코딩 에이전트 지수가 이런 구체적인 행동을 직접 증명하지는 못하지만, "Astra는 동률, Sol은 후퇴"는 이 갈래의 전반적인 느낌과 맞습니다.
두 갈래는 평가 기준이 다릅니다. 앞의 것은 산출물을 보고, 뒤의 것은 과정을 믿을 수 있는지, 손을 놓을 수 있는지를 봅니다. 출시 첫날 "최악"이라고 한 사람 상당수는 두 번째 갈래를, "진짜 진전이 있다"고 한 사람 대부분은 첫 번째 갈래를 평가한 것입니다. 이를 이해하면 "Astra는 강하다"와 "Astra는 별로다" 중 한쪽 편을 들 필요가 없습니다.
AA 숫자와 사용 체감을 나란히 놓기
AA는 Codex 하네스에서 SWE-Atlas Q&A를 Astra 55, Sol 46, GPT-6.1 Sol 60으로 측정했습니다. 이 과제는 코드베이스에서 핵심 사실을 찾아 설명하는 것을 요구합니다. Sol의 하락은 항목을 더 쉽게 빠뜨린다는 것을 보여 줍니다. 이는 시스템 카드의 장애물 누락과 현상적으로 가깝지만 같은 지표가 아니어서 서로를 설명해 주지는 못합니다. 마찬가지로 Theo의 7일 헛돌기는 어떤 벤치마크에도 나타나지 않으며, 벤치마크에 그런 종료 조건이 따로 있지 않은 한 AA의 지수도 "바빠 보이지만 실제 산출은 0"인 상황을 반영하지 않습니다.
시간 면에서 AA 페이지는 Astra가 과제당 평균 약 25.1분, Sol이 약 17.5분입니다. OfficeChai 또는 The Decoder가 Vals 데이터로 전한 바로는 Astra가 테스트 한 번에 약 52분 걸리며 GPT-6 Astra보다 약 19분 느립니다. 두 기관의 과제 세트가 달라 숫자를 서로 비교할 수는 없지만, 둘 다 Astra의 한 번 실행이 느리다는 것을 가리킵니다. 워크플로에서 결과를 기다리는 사람이 있다면 이것도 체감의 일부입니다.
팀을 위한 테스트 설계
GPT-6.2가 내 코딩 워크플로에 맞는지 판단하려면 합격률 하나만 보지 말고 세 가지를 따로 테스트하기를 권합니다.
- 완료도: 같은 저장소 과제를 끝까지 돌려, 모델이 완료했다고 말한 것이 아니라 실제로 완료됐는지 확인합니다.
- 과정의 신뢰성: 단계마다 만난 장애물과 미해결 항목을 보고하게 하고, 누락이 없는지 표본으로 점검합니다.
- 소통 비용: 모델이 나에게 질문한 횟수, 그중 답할 수 없거나 불필요한 것의 수, 내가 다시 설명해야 했던 횟수를 기록합니다.
세 항목을 각각 채점한 뒤 장시간 자율 실행을 맡길지 결정하세요.
종합: 함정을 피하는 사용법
- 짧고 검증 가능한 과제: Astra든 Sol이든 안심하고 시도해 볼 수 있습니다. 특히 코드 리뷰와 3D·게임류 산출물이 그렇습니다.
- 장기 자율 과제: 무인으로 방치하지 마세요. 마일스톤을 정하고, 장애물 보고를 요구하고, "변경 없는 루프"가 없는지 확인합니다. Theo의 헛돌기 사례는 개인 경험이지만 무엇을 봐야 하는지 알려 줍니다.
- 멀티 에이전트 조율: Shumer의 서브 에이전트 경험은 서로 다른 모델 사이에서 인계할 때 "서로 인정하지 않고 다시 하는" 비용이 생길 수 있음을 시사합니다.
- 직접 만든 에이전트: 장애물 보고 제약을 추가하세요. API 직접 호출에는 Codex의 개발자 프롬프트가 없기 때문입니다.
- Sol이냐 Astra냐: 선택 가이드를 보세요.
사용자별 의미
주로 Codex에서 쓴다면 AA 지수가 내 환경에 가장 가깝습니다. Astra는 이전 세대 플래그십과 같고 Sol은 소폭 후퇴했으므로, 업그레이드의 이유는 "새 버전이니 더 낫겠지"가 아니라 내 과제에서의 검증에서 찾아야 합니다. API로 에이전트를 직접 만든다면 리더보드와 내 하네스의 차이가 더 크고 Schirano의 "하네스 설"이 더 중요합니다. 같은 모델도 도구 설명, 재시도 정책, 컨텍스트 관리를 바꾸면 결과가 크게 달라질 수 있습니다. 그리고 일상 업무가 코드 리뷰와 3D 프로토타입에 쏠려 있다면 기존 근거가 더 우호적입니다. Kazike의 자체 세트와 Theo 모두 이를 장점으로 꼽았습니다.
어느 경우든 적어도 처음 한두 주는 이전 모델을 대조군으로 남겨, 신구 모델이 같은 과제 묶음을 병행해 돌리게 하기를 권합니다.
한계
출시된 지 하루밖에 지나지 않았습니다. 사용자 대부분은 초기 접근권으로 써 봤고 표본이 작으며, 토큰 숫자는 개인의 말입니다. AA의 지수는 max 수준과 Codex 하네스에서 측정된 것이며 다른 하네스에서는 다를 수 있습니다. 어느 것도 贵数智能의 실측이 아닙니다.
출처
- OpenAI: 발표 글, 시스템 카드.
- 독립 평가와 정리: AA 코딩 에이전트 페이지, AA 글, Implicator, VentureBeat, Handy AI.
- 중국어 실측: Kazike(卡兹克)와 AIZ 샤오주의 WeChat 공식 계정 글, APPSO(36Kr 전재).