Your privacy choices

Allow optional cookies for referral attribution, visit analytics, and Google Ads purchase measurement.

블로그 목록으로 돌아가기

GPT-6.2 Astra 리뷰: 과학·전문 업무에서 격차를 벌렸지만 AA 코딩 에이전트 지수는 이전 세대와 동률

GPT-6.2 AstraOpenAI모델 리뷰과학3D

같은 날 같은 모델이 리더보드마다 순위가 다릅니다. Vals 과학 지수에서는 1위, Artificial Analysis(이하 AA) 지능 지수에서는 2위, Vals 종합 지수에서는 7위입니다. 이 가운데 Vals 과학 지수와 Vals 종합 지수는 같은 기관의 두 표입니다. 순위가 다른 이유는 테스트 조건, 과제 구성, 채점 기준이 다르기 때문일 수 있습니다. 어느 한 표나 세 개의 순위를 합쳐 하나의 종합 능력 결론으로 만드는 것은 적절하지 않습니다.

OpenAI는 2026년 11월 17일에 GPT-6.2 Astra와 GPT-6.2 Sol을 공개했습니다. 공식 설명은 Astra를 "가장 어려운 프로젝트"를 위한 프런티어 모델로, Sol을 일상 업무와 대규모 에이전트용으로 규정합니다. 이 글은 Astra만 다루며, 독립적인 근거가 뒷받침하는 분야와 따라오지 못한 부분을 정리합니다.

이 글은 공개 자료를 정리한 것이며 贵数智能이 직접 실측한 결과가 아닙니다. 모든 숫자에는 출처와 조건을 붙였고, 서로 다른 기관의 숫자는 하나의 표로 합치지 않습니다.

먼저 결론

  • 과학: Vals 과학 지수, Epoch ECI, AA의 터미널 과학 과제 모두 긍정적인 신호를 줍니다.
  • 전문 업무: Surge가 자사 직무 과제 세트에서 내린 판단은, Astra가 지금 OpenAI 모델 중 가장 쓸 만하지만 선두인 Anthropic 모델에는 아직 못 미친다는 것입니다. 이것은 Surge의 판단입니다.
  • 3D: AA-3D(사람 평가)에서 앞서고, 여러 초기 테스터의 3D·게임 시연도 강했습니다.
  • 코딩 에이전트: GPT-6 Astra와 동률인 것은 AA 코딩 에이전트 지수뿐입니다. FrontierCode 등 다른 코딩 항목은 소폭 올랐습니다.
  • 종합 표: Vals 종합 지수는 7위입니다.
  • 법률: 기본 모델의 Vals 법률 순위 성적은 두드러지지 않습니다.

공식 포지셔닝

OpenAI 모델 문서에 따르면 Astra의 API ID는 gpt-6.2-astra입니다. 텍스트와 이미지를 입력받아 텍스트를 출력하며, 오디오와 비디오는 지원하지 않습니다. 컨텍스트 창은 1,050,000토큰, 최대 입력은 922,000, 최대 출력은 128,000입니다. 지식 기준일은 2026년 5월 18일입니다. API는 reasoning effort = none을 거부합니다.

이용 가능 여부는 ChatGPT Learn을 기준으로 봅니다. 모델은 ChatGPT Work, Codex, OpenAI API에서 제공됩니다. ChatGPT에서는 먼저 Work를 켜야 하며, 일반 채팅 창에 들어왔다는 설명은 문서에 없습니다. Enterprise와 Edu는 관리자가 켜야 합니다.

과학: 세 출처의 방향이 일치

Vals 과학 지수. BioMysteryBench, MysteryMechanism, Terminal-Bench-Science 세 항목의 평균입니다. Vals 페이지(11월 16일 업데이트)에서 Astra는 68.44%로 1위, GPT-6 Astra는 65.09%, Claude Fable 5.2는 63.74%입니다.

Epoch AI. Epoch 모델 페이지에 따르면 Astra의 ECI는 174로 Fable 5.2와 공동 1위(241개 모델)이며, GPT-6 Astra는 169입니다. FrontierMath Erdős 하위 집합에서 Astra는 68문제 중 7문제를 맞혔고, 이전 기록은 GPT-6.1 Sol의 3/68이었습니다. The Decoder가 시스템 카드를 인용해 전한 바로는, 그중 한 문제는 그전까지 알려진 풀이가 없었습니다.

AA 터미널 과학 과제. AA 표준 하네스에서 Artificial Analysis 데이터를 Handy AI가 정리한 것에 따르면, Terminal-Bench Science에서 Astra는 78.1%, Fable 5.2는 73.3%, GPT-6 Astra는 63.3%입니다. OpenAI 자체 차트에서는 같은 항목이 77.1% 대 68.1%인데, 이는 OpenAI 발표 자료를 VentureBeat가 정리한 것입니다. 하네스와 샘플링이 달라서 두 묶음의 숫자를 한 표에 넣을 수 없습니다.

종합 지능. AA 지능 지수 v5.0, max 추론 수준에서 Astra는 62.1로 2위이며, 1위는 Fable 5.2의 64.6입니다. Gemini 4 Carbon(high 수준)의 60.0과 Claude Opus 5.5의 59.1보다 높고, GPT-6 Astra의 56.9보다는 5.2점 높습니다.

남겨 두어야 할 의문점: Epoch 자체 연구 과제

Epoch는 출시 전 평가에서 자체 실제 연구 과제도 돌렸습니다. The Decoder가 이 평가를 전한 바에 따르면, Astra는 GPT-6 Astra 대비 실질적인 향상이 거의 없었고 Fable 5.2보다 약했습니다. 간단한 연구 문제에서 주제를 벗어났고, 문제를 고치지 못하면 제자리에서 헛돌았으며, 데이터센터 조사에서는 지나치게 보수적이어서 핵심 추정을 건너뛰었습니다. 글쓰기는 다른 평가 대상 모델보다 상대적으로 강했지만 Epoch 자체 기준에는 못 미쳤습니다.

그래서 "과학에 강하다"에는 한정이 필요합니다. 정답이 분명하고 검증 가능한 과학 벤치마크에서 강하다는 뜻입니다. 열린 형태의 연구 작업에서는 근거가 일치하지 않습니다.

전문 업무: Surge의 직무 과제 세트

Surge는 11월 18일에 의사, 회계사, 변호사, 시니어 엔지니어가 설계한 11개의 "평범한 근무일" 과제로 구성된 독립 평가를 공개했습니다(@HelloSurgeAI 원문). 결론에는 두 면이 있습니다.

  • Astra는 Chartography에서 90.7%로 1위입니다(Sol 87.7%, GPT-6 Astra 71.0%).
  • sudo L7에서 Astra는 38.3%로 OpenAI 모델 중 현재 최고 성적이지만, Fable 52.2%, Sonnet 50.6%, Opus 46.1%에는 못 미칩니다.
  • Surge의 전체 판단(이 글의 결론이 아님)은, 직무 업무에는 현재 OpenAI에서 가장 적합한 모델이지만 각 순위의 1위는 여전히 주로 Anthropic과 Google이라는 것입니다.

글이 올라온 시점에 Astra의 금융 과제는 아직 실행 중이어서, 공개되지 않은 점수는 인용하지 않습니다.

3D: 근거가 가장 집중된 영역

AA-3D는 사람이 평가하는 Elo로, Astra 1318, Fable 5.2 1271, Sol 1259입니다. AA에는 로보틱스 평가 AA-Robotics v0.1도 있어 Astra 79, Sol 78, Fable 75이지만, 연구 프리뷰이고 과제가 비교적 단순해서 차이를 과하게 해석하면 안 됩니다.

개인 테스트도 방향은 같지만, 누가 어떤 조건에서 했는지 봐야 합니다.

  • Kazike(卡兹克)와 AIZ 샤오주는 WeChat 공식 계정 글에서 Astra에게 1인칭 파쿠르 게임, Three.js 가을 기차역, 고대 그리스 세계를 만들게 했습니다. 3D 과제를 꽤 잘한다는 인상이었고, 고대 그리스 사례는 스크린샷을 넣고 약 1시간 반복한 뒤에 필자를 감탄시켰다고 합니다. 이것은 필자 개인의 실험이며 리더보드가 아닙니다.
  • APPSO는 36Kr 허가 전재된 실측에서 수중 탐험 게임, 시골 자전거 애니메이션, 기본 WebGL 장면을 돌려 보고, 첫날의 혹평은 다소 과장됐다고 결론 내렸습니다.
  • Ethan Mollick(@emollick)은 출시 전에 우주 엘리베이터 장면을 테스트했습니다. 브라우저에서 플레이할 수 있었지만, 모델이 다루기 더 어렵고 자신은 첫 선택으로 고르지 않겠다고도 말했습니다.

"편중"이라는 말은 어디서 왔나

Kazike 글의 제목은 "편과(偏科)", 즉 과목별 편중이라는 말을 썼고, 대체로 OpenAI가 점점 한쪽으로 치우친다는 취지입니다. 그 근거가 모두 리더보드에서 나온 것은 아닙니다.

  • 기획 과제: "AIHOT"에 규정 준수 댓글 기능을 추가한다는 간단한 프롬프트에 Gemini 4 Carbon은 약 5분 만에 명확하고 실행 가능한 방안을 냈습니다. Astra는 약 24분이 걸렸고, 분량은 짧은데 읽기 어려웠으며 초기 수동 검토를 권해서 필자가 기각했습니다.
  • 3D 이외의 미감: 같은 동적 영상 프롬프트에서 필자는 Astra의 결과에 크게 불만이었습니다.
  • 코드 리뷰: 필자가 직접 만든 간이 평가 세트에서 GPT-6.1 Sol은 문제의 65%, GPT-6.2 Sol은 84%, GPT-6.2 Astra는 96%를 찾았고, 모두 xhigh 수준이었습니다. 이것은 필자가 직접 만든 간이 평가 세트이며 문제와 표본 수가 공개되지 않았고, 업계 표준 벤치마크가 아닙니다.

이것들은 한 필자가 특정 조건에서 한 경험입니다. 일부 리더보드와 방향이 같아 보강 자료는 되지만, 정량적인 결론으로 쓸 수는 없습니다.

AA 코딩 에이전트 지수: 이전 세대와 동률

AA 코딩 에이전트 지수는 Codex 하네스, max 수준을 씁니다. Astra는 53으로 GPT-6 Astra와 같습니다. 같은 페이지에서 Astra의 FrontierCode-AA 2.0은 42, Terminal-Bench 4.1은 64, SWE-Atlas-QnA-AA는 55이며, 과제당 평균 소요 시간은 약 25.1분입니다.

FrontierCode 2.0은 조건에 따라 숫자가 세 가지입니다. OpenAI 공식 차트는 44.2%(GPT-6 Astra 42.8%), AA 표준 조건은 45.4%(Fable 5.2는 48.8%), AA 코딩 에이전트 페이지의 Codex 하네스에서는 42입니다. 이름은 같아도 조건이 다르니 숫자도 다릅니다.

Vals 종합 지수(OfficeChai가 Vals를 전한 것이며, 이 글은 Vals 종합 순위를 직접 확인하지 않았습니다)에서 Astra는 67.66%로 7위이고, Sol의 66.06%(9위)와는 1.6점 차이입니다. 같은 보도는 Astra가 상위 10개 중 평균 출력 토큰이 가장 적지만(약 91,000), 테스트 한 번에 52분 16초가 걸려 GPT-6 Astra보다 약 19분 느리다고 전합니다.

법률: 전용 버전을 기본 모델의 성적으로 세지 말 것

The Decoder가 정리한 Vals 법률 순위에 따르면, 두 기본 모델은 HLAB에서 이전 세대의 약 두 배 점수를 받았지만 순위는 11위와 21위에 그치고, Legal Research는 30위와 52위입니다. OpenAI는 Harvey LAB-AA에서 Astra 15.0%, GPT-6 Astra 8.6%라고 밝히며 통과율이 Fable 5.2의 두 배를 넘는다고 합니다. 이는 OpenAI 발표 자료의 기준이며 Vals 순위와는 채점 방식이 같지 않습니다. 법률 검색 구성을 더한 Astra for Law는 Legal Research에서 6위입니다. 이는 전용 버전이므로 기본 모델의 성적으로 계산할 수 없습니다.

환각과 모니터링 가능성

AA-Omniscience의 max 수준에서 Astra의 환각률은 59%, Sol은 55%입니다(낮을수록 좋음). 문제가 매우 어려워서 일상 대화의 환각률을 대표하지 않습니다.

시스템 카드는 두 가지를 더 밝힙니다. Astra는 외부에 공개된 모델로는 처음으로 "자기 개선 High" 기준에 도달한 모델이라는 점, 그리고 두 모델이 작업을 보고할 때 알려진 장애물을 더 쉽게 빠뜨린다는 점입니다. 후자는 코딩과 에이전트 글에서 따로 다룹니다.

OpenAI 자체 차트가 말하는 것

아래 숫자는 모두 OpenAI 발표 자료이며 VentureBeat가 정리한 것입니다. 공식 차트는 "최적 표시점"을 쓰는 경우가 많아 벤치마크마다 추론 수준이 다를 수 있습니다. Astra와 GPT-6 Astra의 비교입니다.

  • Agents' Last Exam: 78.3% 대 73.1%. OpenAI는 Fable 5.2보다 약 5.5점 앞선다고 합니다.
  • Terminal-Bench-Science: 77.1% 대 68.1%.
  • BenchCAD 2.1 Core: 82.5% 대 62.6%로 가장 큰 상승 폭입니다.
  • AutomationBench(공식 차트): 52.4% 대 41.4%.
  • LifeVal: 86.1% 대 79.8%.
  • GDPval v2(OpenAI 내부): 공식 본문은 +6.2점, 출력 토큰 22% 감소라고 합니다.

이 숫자들을 나란히 놓으면 한 가지 경향이 보입니다. 공식이 고른 벤치마크 대부분은 과학, CAD, 업무 자동화처럼 자동 채점이 가능한 과제이고, 바로 Astra의 강점입니다. AA 코딩 에이전트 지수에서는 같은 폭의 상승이 나타나지 않았습니다. 이것이 "편중"이라는 판단 중 근거가 비교적 탄탄한 부분이지만, 그 지수 하나만 다룬 것이므로 모든 코딩 능력으로 확장해 읽을 수는 없습니다.

"편중"이 곧 "나빠짐"은 아니다

출시 첫날 여론에는 "역대 최악", "도저히 못 쓴다" 같은 말이 나왔습니다(피드백 글에서 원문을 하나씩 정리했습니다). 리더보드와 함께 보면 더 절제된 설명이 가능합니다.

  1. 벤치마크는 표준 답이 있는 과제를 측정하고, 일상적인 사용은 소통, 판단, 인내심을 측정합니다. 둘은 같은 것이 아닙니다.
  2. The Decoder가 전한 시스템 카드와 Epoch 데이터에 따르면, Astra가 단일 토큰에서 사고 사슬 없이 수행할 수 있는 순차 추론 단계 수는 12.3으로, GPT-6 Astra의 10.5와 GPT-6.1 Sol의 8.3보다 높습니다. 시스템 카드는 이것이 모니터링 가능성에 영향을 준다고 지적합니다.
  3. 오래 자율적으로 돌릴수록 "장애물을 만났을 때 사실대로 보고하지 않는" 문제가 드러나기 쉽습니다. 이는 시스템 카드에서 나온 내용이며 코딩 글에서 펼쳐 설명합니다.

즉 같은 모델이 Vals 과학 순위에서 1위이면서 동시에 헤비 유저에게 쓰기 어렵다는 평가를 받을 수 있습니다. 둘은 동시에 참일 수 있습니다.

이 숫자들을 읽을 때의 세 가지 규칙

첫째, 같은 벤치마크 이름이라도 기관이 다르면 다른 숫자입니다. Terminal-Bench-Science는 OpenAI 차트에서 77.1%, AA 표준 하네스에서 78.1%입니다. 차이는 1점이지만 같은 테스트가 아닙니다. AutomationBench도 비슷합니다. OpenAI 공식 차트에서 Astra는 52.4%이고 AA의 AutomationBench-AA는 다른 기준이어서, 혼동을 피하려고 이 글은 후자를 인용하지 않습니다.

둘째, 순위와 점수는 나눠서 봐야 합니다. Vals 과학 지수에서 1위인 것은 세 하위 과제가 연구 쪽에 치우쳐 있기 때문입니다. Vals 종합 지수에서 7위인 것은 종합 표에 코딩, 법률, 금융 같은 분류가 더 많이 들어 있기 때문입니다. 순위표마다 다루는 과제가 다르니 순위도 다를 수밖에 없습니다.

셋째, "최적 표시점"은 기본 사용 경험이 아닙니다. 공식 차트는 상한을 보여 주려는 것이어서 높은 추론 수준을 쓰는 경우가 많습니다. API 기본 설정이나 Work의 자동 선택은 차트보다 토큰을 아낄 수도 있고, 더 약할 수도 있습니다. 재현하려면 같은 수준으로 고정해야 합니다.

잘 맞는 경우와 조심할 경우

먼저 Astra를 써 볼 만한 경우: 검증 가능한 답이 있는 과학 계산, 3D나 인터랙티브 장면이 필요한 프로토타입, 복잡한 전문 문서와 차트입니다.

조심해야 할 경우: 장시간 무인으로 도는 코딩 과제, 가독성이 중요한 기획 문서, 법률 검색(기본 모델과 전용 버전을 구분해야 함)입니다. 이는 위의 공개 근거에 기반한 판단입니다. 우리 팀에 맞는지는 우리 과제로 검증해야 합니다.

내 과제로 검증하는 방법

Astra를 평가하려면 먼저 실제 업무에서 나온 과제를 20~50개 준비해 세 종류로 나눕니다. 표준 답이 있는 것(계산, 데이터 처리), 산출물이 필요한 것(문서, 차트, 3D나 프런트엔드 페이지), 장기 실행이 필요한 것(저장소 이슈 수정, 다단계 마이그레이션)입니다. 종류별로 완료 여부, 소요 시간, 출력 토큰, 사람이 고쳐 준 횟수를 기록합니다. Astra는 한 번의 출력이 짧고 생각하는 시간이 긴 특징이 있어서, 답이 빠른지만 보면 크게 치우친 결론이 나옵니다.

추론 수준도 고정하고, 보고할 때 모델이 만난 장애물을 나열하게 한 뒤 사람이 확인하세요. 시스템 카드는 모델이 알려진 장애물을 놓치기 쉽다고 하므로 이 단계는 건너뛸 수 없습니다.

출처

데이터는 2026년 11월 18일 기준이며 공개 후 하루밖에 지나지 않아 순위는 계속 바뀔 수 있습니다. 위 내용은 모두 제3자의 공개 데이터와 개인 테스트이며 贵数智能의 실측 결과가 아닙니다.