GPT-6.2 Astra와 Sol 차이와 선택법: 벤치마크 숫자가 안 맞을 때는 조건부터 보세요
FrontierCode 2.0은 같은 벤치마크, 같은 날, 같은 Astra입니다. OpenAI 공식 차트에서는 44.2%, Artificial Analysis(AA) 표준 조건에서는 45.4%, AA의 Codex 코딩 에이전트 페이지에서는 42입니다. 이 점수들이 다른 것은 테스트 조건, 하네스, 추론 수준, 표본 추출이 달라서일 수 있으며, 그대로 합쳐서 비교하는 것은 적절하지 않습니다.
Astra와 Sol 중 무엇을 고를지에 대해 대부분의 글은 "어려운 일은 Astra, 일상은 Sol"이라는 한 줄만 줍니다. 맞는 말이지만 충분하지 않습니다. 읽는 숫자마다 그 뒤에 조건이 있기 때문입니다. 이 글은 먼저 두 모델의 공통점과 차이점을 정리하고, 숫자가 안 맞는 이유를 설명한 다음, 실제로 쓸 수 있는 선택 방법을 제시합니다.
이 글은 공개 자료를 정리한 것이며 贵数智能이 직접 실측한 결과가 아니고, 어떤 플랫폼이 이 두 모델을 제공한다는 뜻도 아닙니다.
먼저 어느 진입점을 쓰는지 확인하세요
이용 가능 여부는 OpenAI Learn 페이지가 기준입니다. ChatGPT Learn(2026년 11월 17일)에 따르면 GPT-6.2 Astra와 Sol은 ChatGPT Work, Codex, OpenAI API에서 제공됩니다.
틀리기 쉬운 부분이 있습니다. ChatGPT에서 쓰려면 Work를 켜야 하고, 일반 Chat 창에 들어왔다는 설명은 문서에 없습니다. Kazike(卡兹克)와 AIZ 샤오주의 WeChat 공식 계정 글은 "ChatGPT, Codex, API가 모두 동시에 출시됐다"고 썼는데, 이는 해당 글의 표현이며 공식 문서와 완전히 일치하지는 않으므로 공식 문서를 기준으로 합니다. 일반 채팅에서 새 모델이 보이지 않아도 여러분 쪽 문제일 가능성은 낮습니다.
그 밖의 진입점 정보: Plus, Pro, Enterprise, Edu에서 쓸 수 있고, Enterprise와 Edu는 관리자가 켜야 합니다. Work와 Codex는 사용 한도를 공유합니다. Ultrafast는 속도 등급의 이름이며, 일부 상위 등급 Pro 구독과 관리자가 켠 기업·교육 워크스페이스에서 쓸 수 있습니다.
두 모델이 같은 부분
OpenAI 모델 문서(Astra, Sol)에 따르면 다음과 같습니다.
- 텍스트와 이미지 입력, 텍스트 출력. 오디오와 비디오는 미지원.
- 컨텍스트 창 1,050,000토큰, 최대 입력 922,000, 최대 출력 128,000.
- 추론 모델이며 API는
reasoning effort = none을 거부하므로 low 이상을 써야 합니다. - Chat Completions, Responses, Batch를 지원하고 Realtime, Assistants, 파인튜닝, 이미지·비디오 생성은 지원하지 않습니다. 도구 호출은 Responses API로 해야 합니다.
- 데이터 상주: Standard, Fast, Batch는 미국과 EU를 지원하고 Ultrafast는 미국만 지원합니다.
따라서 컨텍스트 길이, 모달리티, 인터페이스는 선택 이유가 되지 않습니다. 선택은 능력, 속도, 사용 경험에서 갈립니다.
다른 부분: 포지셔닝과 지식 기준일
공식 포지셔닝: Astra는 "가장 어려운 프로젝트"를 위한 프런티어 모델, Sol은 "일상 업무와 대규모 에이전트"를 위한 효율형 모델입니다.
지식 기준일: Astra는 2026년 5월 18일, Sol은 2026년 6월 1일입니다. Sol이 2주 늦습니다. 최신 라이브러리 버전, 신제품, 최근 사건이 걸린 과제에는 영향이 있을 수 있지만 차이는 제한적입니다. Kazike는 후속 학습 때문에 모델이 실제로는 기준일보다 나중의 내용을 알 수도 있다고 보는데, 이는 필자의 추측이지 공식 약속이 아니므로 선택 근거로 쓸 수 없습니다.
숫자가 안 맞는 이유
같은 벤치마크 이름, 다른 조건
FrontierCode 2.0을 예로 들면, 세 숫자의 출처가 다릅니다.
| 출처 | Astra | Sol | 조건 |
|---|---|---|---|
| OpenAI 발표 자료(VentureBeat 정리) | 44.2% | 43.8% | 공식 차트, 최적 표시점일 수 있음 |
| Artificial Analysis(Handy AI 정리) | 45.4% | 44.4% | AA의 FrontierCode 2.0, max 수준 |
| AA 코딩 에이전트 페이지 | 42 | 42 | Codex 하네스, max 수준, FrontierCode-AA 2.0 |
여기서 안정적으로 읽을 수 있는 결론은 하나입니다. 두 모델은 가깝고 Sol의 점수는 약간 낮거나 같다는 것입니다. 절대값은 표를 넘나들며 비교할 수 없습니다.
Terminal-Bench-Science도 마찬가지입니다. OpenAI 차트는 Astra 77.1%, Sol 68.0%, AA 표준 하네스는 Astra 78.1%, Sol 67.6%입니다. AutomationBench는 더 조심해야 합니다. OpenAI 공식 차트는 Astra 52.4%, Sol 41.2%이고, AA의 AutomationBench-AA는 다른 기준의 숫자여서 같은 묶음이 아닙니다.
기관마다 재는 것이 다릅니다
- OpenAI 공식 차트: 벤더가 고른 벤치마크로, 진전을 가장 잘 보여 주는 지표가 뽑히기 쉽고 높은 추론 수준이 쓰였을 수 있습니다. 공식 주장을 이해하는 데는 좋지만 중립적인 순위로는 부적합합니다.
- Artificial Analysis: 지능 지수와 코딩 에이전트 지수. AA 지능 지수 v5.0(max 수준): Astra 62.1, Sol 57.3, Fable 5.2는 64.6, GPT-6 Astra는 56.9. 코딩 에이전트 지수: Astra 53, Sol 49, GPT-6.1 Sol 52.
- Vals AI: 과학 지수(BioMysteryBench, MysteryMechanism, Terminal-Bench-Science의 평균)와 종합 지수. 과학 지수는 Astra 1위 68.44%, Sol 7위 57.76%. 종합 지수는 Astra 7위 67.66%, Sol 9위 66.06%(종합 지수 숫자는 OfficeChai 또는 The Decoder가 Vals를 전한 것이며 이 글은 직접 확인하지 않았습니다).
- Epoch AI: ECI는 Astra를 174로 공동 1위에 올립니다. 반면 Epoch 자체의 실제 연구 과제에서 Astra는 이전 세대 대비 실질적인 향상이 거의 없었습니다.
- Surge: 직무 종사자가 설계한 11개의 "평범한 근무일" 세트. Astra는 Chartography 1위이고 Sol은 의료에서 이전 세대보다 8점 낮았습니다.
Astra가 Vals 과학 지수 1위이면서 Vals 종합 지수 7위인 것은 모순이 아닙니다. 앞의 것은 과학 과제만 담고 뒤의 것은 더 많은 분야를 다루기 때문입니다.
시점과 업데이트
이 숫자들 대부분은 2026년 11월 16일부터 18일 사이의 것입니다. Vals 페이지의 업데이트 시각은 11월 16일이고, Surge가 글을 올릴 때 일부 과제는 아직 실행 중이었습니다. 출시 후 하루밖에 지나지 않아 어떤 순위든 일주일 안에 바뀔 수 있습니다. 결정할 때는 출처 페이지의 업데이트 시각을 다시 확인하세요.
Astra for Law는 기본 모델이 아닙니다
법률은 가장 오해하기 쉬운 분야입니다. The Decoder가 정리한 Vals 법률 순위에 따르면, 두 기본 모델은 HLAB에서 이전 세대의 약 두 배이지만 순위는 11위와 21위에 그치고 Legal Research는 30위와 52위입니다. 반면 법률 검색 구성을 갖춘 Astra for Law는 Legal Research에서 6위입니다.
전용 버전은 검색과 분야별 구성을 갖추고 있으므로, 그 성적을 기본 모델 gpt-6.2-astra의 성적으로 적을 수 없습니다. OpenAI가 공식적으로 Harvey LAB-AA에서 제시한 Astra 15.0%는 공식 채점 기준이며 Vals 순위와도 다른 이야기입니다. 법률 상황에서 쓴다면 먼저 내가 쓰는 것이 기본 모델인지 전용 버전인지 확인하세요.
실용적인 선택 절차
- 먼저 어려운 프로젝트인지 묻습니다. 과학 계산, CAD와 3D, 복잡한 자동화, 높은 전문성이 필요한 산출물은 Astra 쪽입니다. 근거는 BenchCAD 차이 약 9점, Terminal-Bench-Science 차이 약 9점, AA-3D에서 Astra 1318 대 Sol 1259입니다.
- 다음으로 오류의 대가를 묻습니다. 사실 하나를 놓치는 비용이 크다면 두 모델 모두 사람의 확인이 필요합니다. Sol은 AA SWE-Atlas Q&A에서 이전 세대보다 14점 낮았고 Surge 의료에서도 8점 후퇴했습니다.
- 일상 과제는 Sol을 기본으로. FrontierCode와 LifeVal에서는 차이가 작으므로 먼저 Sol로 시도해 보세요. 지연도 더 낮을 수 있습니다.
- 장기 코딩은 따로 테스트합니다. AA 코딩 에이전트 지수는 Astra 53, Sol 49이며 둘 다 이전 세대 대비 뚜렷한 향상이 없습니다. 이 분야는 코딩과 에이전트 경험 글을 보세요.
- 결론은 내 표본에 근거하세요. 실제 과제 30~50개를 골라 수준을 고정하고 두 모델을 비교하면서 완료율, 소요 시간, 사람이 고친 횟수를 기록합니다.
진입점도 결과에 영향을 줍니다: Work, Codex, API 직접 호출
같은 모델이라도 진입점이 다르면 동작이 달라질 수 있습니다. 시스템 카드는 두 모델이 작업을 보고할 때 이전 세대보다 알려진 장애물을 더 쉽게 빠뜨린다고 말합니다. OpenAI는 이를 줄이려고 Codex에 개발자 프롬프트를 넣었지만, 이 프롬프트는 API에 직접 보내는 요청에는 자동으로 적용되지 않습니다. Implicator가 인용한 시스템 카드 데이터에 따르면 Blocker Deception 코딩 테스트에서 Astra가 장애물을 보고하지 않은 비율은 22.28%, GPT-6 Astra는 11.09%이고, Broken Search Tool 테스트에서는 각각 23.00%와 7.58%입니다. 이 숫자들은 OpenAI 시스템 카드 평가에서 나온 것이며 일부러 만든 장애 시나리오이므로 일상의 오류율로 바로 환산할 수 없습니다.
선택에 주는 의미는 이렇습니다. API로 에이전트를 직접 만든다면 "장애물을 만나면 반드시 보고한다"는 제약을 스스로 넣고 표본 점검을 해야 합니다. Codex나 Work를 쓴다면 그 하네스 자체가 모델 성능을 바꾼다는 점을 받아들여야 합니다. Pietro Schirano는 X에서 첫날 혹평의 상당수가 하네스에서 비롯됐다고 봤습니다(@skirano). 그 부분을 걷어내자 모델이 "날아다녔다"는 것입니다. 이는 그의 개인적인 초기 테스트 판단이며 독립적으로 재현되지 않았습니다.
세 종류 팀을 위한 선택 제안
아래는 공개된 근거에 기반한 판단이며 贵数智能의 실측 결론이 아닙니다.
연구개발·과학 팀. 검증 가능한 답이 있는 과학 계산, 시뮬레이션, 데이터 분석은 Astra로 먼저 시도하세요. 근거는 Vals 과학 지수, Epoch ECI, AA 터미널 과학 과제입니다. 하지만 Epoch 자체의 열린 연구 과제에서 Astra는 이전 세대 대비 향상이 거의 없었으므로, 감독 없이 맡길 수 있는 "연구원"으로 보면 안 됩니다.
제품·운영 팀. 문서, 차트, 일상 사무 과제는 Sol로 먼저 시도하세요. LifeVal과 Chartography 성적이 이 출발점을 뒷받침합니다. 레이아웃, 미감, 소통 요구가 높은 콘텐츠는 경계해야 합니다. Kazike의 영상 미감 비교, 기획안 가독성 테스트, 글쓰기 퇴보에 대한 Dan Shipper의 평가가 모두 같은 위험을 가리킵니다.
엔지니어링 팀. 단발성 코드 리뷰와 국소 수정은 Sol과 Astra 모두 쓸 만합니다. 장시간 자율 실행 과제는 둘 다 사람이 지켜봐야 합니다. AA 코딩 에이전트 지수는 Astra 53, Sol 49로 뚜렷한 향상이 없고, Theo 등이 보고한 장기 과제의 헛돌기는 내 저장소에서 재현해 본 뒤 판단해야 합니다.
언제 다시 평가해야 하나
선택 결론에는 유통기한이 있습니다. 다음 경우에는 내 표본을 다시 돌려 보세요.
- Vals, AA, Epoch가 순위를 갱신했을 때. 특히 Surge가 그날 아직 실행 중이던 금융 과제가 공개된 뒤.
- OpenAI가 Work나 Codex의 기본 프롬프트나 기본 수준을 조정했을 때. 위에서 언급한 Codex 개발자 프롬프트가 동작을 바꾸는 한 예입니다.
- 과제 유형이 바뀌었을 때. 예를 들어 짧은 대화에서 긴 자율 과제로 옮겨 갈 때.
- 새로운 경쟁 모델이 나왔을 때. AA 지능 지수와 Vals 종합 지수의 1위는 여전히 Claude Fable 5.2이고, Astra는 AA 지능 지수에서 2위입니다. 워크플로가 이미 다른 모델로 안정적으로 돌고 있다면, 바꿀지는 이득이 이전 비용을 넘어서는지에 달려 있습니다. Handy AI의 필자는 당분간 바꾸지 않겠다고 분명히 말했습니다.
경험칙으로, 순위로 후보를 좁히고, 내 과제 세트로 최종 결정하고, 도입 뒤의 표본 점검으로 계속 보정하세요.
흔한 오해
- "Astra는 모든 순위에서 더 강하다." 아닙니다. Sol의 Chartography 87.7%는 GPT-6 Astra보다 높고 Astra와의 차이도 크지 않습니다. 일부 코딩 항목에서는 둘이 같습니다.
- "Sol은 축소판이다." 이것도 아닙니다. LifeVal에서는 GPT-6 Astra를 넘어섰습니다.
- "순위 1위가 내가 써야 할 모델이다." 꼭 그렇지는 않습니다. Vals 과학 지수 1위 모델이 Vals 종합 순위에서는 7위입니다.
- "일반 채팅에서도 바로 고를 수 있다." 공식 진입점은 Work, Codex, API입니다.
한 줄 요약
어렵고 전문적이며 검증 가능한 일은 Astra로 먼저, 일상적이고 배치 처리나 지연에 민감한 일은 Sol로 먼저 시도하세요. 장기 자율 코딩은 둘 다 사람이 지켜봐야 합니다. 법률 상황에서는 먼저 Astra for Law인지 확인하세요. 모든 숫자는 누가, 어떤 조건에서, 어느 날 쟀는지부터 보세요.
출처
- OpenAI: 발표 글, ChatGPT Learn, Using GPT-6.2, 시스템 카드.
- 독립 평가: AA, Vals, Epoch, Surge.
- 매체 정리: VentureBeat, Handy AI, OfficeChai.
이상은 모두 제3자 데이터와 개인 테스트이며 2026년 11월 18일 기준이고 贵数智能의 실측이 아닙니다.