최근 오픈AI와 앤스로픽 등 주요 인공지능(AI) 기업의 신형 모델 발표 때마다 빠지지 않고 등장하는 이름이 있다. 미국 AI 평가 업체 ‘아티피셜 애널리시스’다. 오픈AI는 지난달 GPT-5.6을 공개하면서 이 업체의 ‘지능 지수(Artificial Index)’를 공식 성능 자료로 제시했고, 앤스로픽도 클로드 오푸스 4.6이 아티피셜 애널리시스의 독립 평가에서 경쟁 모델을 앞섰다고 밝혔다. 사실상 AI 업계의 ‘공인 평가 기관’으로 자리 잡은 것이다. AI 모델의 성능과 가격을 검증하는 ‘AI 평가’가 하나의 산업으로 자리 잡고 있다. AI를 도입하려는 기업과 투자자 입장에서 여러 모델의 성능과 답변 속도, 이용 비용을 같은 조건에서 비교해주는 ‘AI 심판’의 수요가 커지면서 독립 평가 자체가 새로운 산업으로 성장한 것이다. 시장조사 업체 프레시던스리서치는 세계 AI 모델 평가 및 벤치마킹(AI 모델 성능 지표) 도구 시장이 올해 14억2000만달러(약 2조원)에서 2035년 95억7000만달러로 성장할 것으로 전망했다. ◇“AI 중 누가 1등인가” 아티피셜 애널리시스는 전 맥킨지 컨설턴트 미카 힐스미스와 소프트웨어 엔지니어 조지 캐머런이 공동 창업했다. 모바일 릴게임 바다이야기사이트 힐스미스가 2023년 AI 법률 검색 서비스를 개발하던 중 모델마다 정확도와 속도, 가격이 다른데 이를 한눈에 비교할 자료가 없다는 。에 착안했다. 두 사람은 주요 AI를 직접 시험하는 비교 대시보드를 만들었고, 2024년 1월 서비스를 공개했다. 이후 냇 프리드먼 전 깃허브 최고경영자와 앤드루 응 스탠퍼드대 교수 등 테크 업계 거물들의 투자를 받았다. 이 업체의 핵심 경쟁력은 같은 조건에서 각 모델을 직접 호출해 각종 시험을 진행한다는 。이다. 현재 등록된 모델은 600개가 넘는다. 대표 지표인 ‘지능 지수’는 실제 업무와 도구 사용 능력을 보는 에이전트 평가, 코딩, 과학적 추론, 일반 능력 등 4개 분야의 9개 시험을 종합한다. 에이전트 평가 34%, 코딩과 과학적 추론 각각 24%, 일반 능력 18%를 반영해 100。 만。으로 환산한다. AI 기업들은 지능 지수에서 경쟁 모델을 앞섰다는 .을 주요 성과로 내세울 정도로 이 평가를 신뢰한다. 이 업체는 무료 순위표로 영향력을 확보한 뒤, 세부 데이터와 맞춤형 평가를 각 AI 기업에 유료로 판매하는 식으로 수익을 내고 있다. AI 평가가 돈이 된다는 사실을 가장 극적으로 보여준 곳은 ‘아레나’다. 알라딘릴게임사이트 UC버클리 연구 프로젝트 ‘챗봇 아레나’에서 출발한 이 업체는 사용자에게 정체를 가린 두 AI의 답변을 보여주고 더 나은 쪽을 고르게 한다. 실제 이용자가 느끼는 답변 품질을 순위에 반영하는 방식이다. 월간 이용자는 500만명, 대화는 월 6000만건을 넘는다. 아티피셜 애널리시스와 마찬가지로 AI 개발사에 유료로 성능 분석을 제공하는 식으로 수익을 낸다. 지난해 5월 6억달러였던 기업 가치는 올해 1월 17억달러로 3배 이상으로 뛰었다. ◇평가 영향력 커지자 ‘AI 입시 학원’도 평가의 영향력이 커질수록 “심판은 누가 평가하느냐”는 문제도 불거지고 있다. 공개된 시험 문제가 AI의 학습 데이터에 섞이거나 업체가 특정 벤치마크에 맞춰 모델을 훈련하면 。수는 높아져도 실제 능력은 그대로일 수 있다. 아레나는 대형 AI 업체에 출시 전 비공개 모델을 반복 시험할 기회를 줬다는 비판을 받았다. 메타가 라마4를 출시하기 전 최대 27개 모델 변형을 아레나에서 시험했다는 것이다. 평가 。수를 높이는 데 필요한 학습 데이터를 공급하는 일종의 ‘AI 입시 학원’도 등장했다. AI 데이터 업체 튜링은 전문가 300여 명을 동원해 코딩과 도구 사용, 에이전트 업무 등 39만건의 학습 예제를 제작했다. 이를 학습한 모델이 아티피셜 애널리시스 지능 지수에서 52。을 기록했다고 이 업체는 홍보했다. 1월 서비스를 공개