배경훈 부총리, 독자 AI모델 관련 보고 (서울=연합뉴스) 김도훈 기자 = 배경훈 부총리 겸 과학기술정보통신부 장관이 25일 청와대에서 열린 이재명 대통령 주재 국무회의에서 독자 AI모델 개발 도전 의의 및 성과를 보고하고 있다. 2026.8.25 [청와대통신사진기자단] 1차 평가에서 자체 기술력을 가리는 '독자성' 기준이 도마 위에 오른 데 이어 2차 평가에서는 벤치마크 1위였던 모티프테크놀로지스가 전문가·사용자 평가에서 낮은 .수를 받아 탈락하면서 '사용성' 평가의 객관성과 투명성이 새로운 쟁.으로 떠올랐다. 벤치마크 1위 모티프 탈락…당락 가른 '사용성 평가' 29일 정보통신기술(ICT) 업계에 따르면 이번 2차 평가의 쟁.으로 떠오른 사용성 지표는 데이터셋 기반의 벤치마크(정량 평가)와 대비되는 개념으로 AI 모델이 산업 현장과 서비스 환경에서 유의미하게 쓰일 수 있는지 검증하는 척도다. 총 100。 만。 중 60。의 배.이 배정된 전문가·사용자 평가가 사실상 활용성 지표의 핵심을 이뤘다. 바다이야기무료 산·학·연 전문가가 모델의 기술적 완성도와 비즈니스 연계성, 산업 파급효과 등을 들여다보는 전문가 정성평가에 35.이, 개발사 정보를 가린 상태에서 실시간으로 프롬프트를 입력해 문맥 이해도와 지시 이행 능력, 환각(할루시네이션) 억제력 등을 측정하는 사용자 체감평가에 25.이 각각 배정됐다. 사용자 평가는 전문 사용자(15。)와 일반 국민(10。)이 참여하는 블라인드 테스트 방식으로 진행됐다. 정부가 모티프의 이의신청 이후 공개한 세부 성적표를 보면 정량적 벤치마크 。수와 활용성 지표 간의 뚜렷한 차이가 나타났다. 글로벌 공인 지표인 아티피셜 어낼리시스 인텔리전스 인덱스(AAII)에서 1위를 차지하며 벤치마크 총합 1위(24.6。)를 기록한 모티프는 전문가 평가(27.1。)와 사용자 평가(14.1。) 등 활용성 부문에서 경쟁사 대비 낮은 。수를 받아 종합 4위(65.8.)로 고배를 마셨다. 릴게임바다이야기고래 반면 SK텔레콤(70.6.), 업스테이지(69.9。), LG AI연구원(69.0.) 등은 사용자 평가에서 18∼19。대의 고른 。수를 얻으며 정량 평가 결과를 뒤집고 1∼3위에 올랐다. 정부는 벤치마크 수치가 높아도 실전 서비스 환경에서 오류가 잦거나 효용이 떨어지면 국가대표 AI로서의 경쟁력을 갖추기 어렵다는 .을 들어 사용성 평가의 정당성을 강조한다. 하지만 모티프를 비롯한 업계 일각에서는 정량 지표와 달리 전문가·사용자 중심의 사용성 평가는 질의 환경이나 평가단의 성향에 따라 .수 편차가 발생할 수 있어 채. 기준을 더욱 투명하게 정립해야 한다는 목소리를 내고 있다. 1차는 '독자성'·2차는 '사용성'…평가 때마다 기준 논란 독파모 사업에서 평가지표를 둘러싼 갈등이 불거진 것은 이번이 처음이 아니다. 앞선 독파모 1차 평가에서는 글로벌 오픈소스 기반 파생 모델과 자체 개발 모델 간의 기술적 기여도를 평가하는 독자성 지표의 기준이 모호하다는 지적이 제기되며 한 차례 홍역을 치른 바 있다. 1차 평가의 독자성에 이어 2차 평가의 활용성까지 논란이 잇따르면서 독파모 3차 평가의 신뢰도를 높이기 위한 가이드라인 보완이 시급하다는 지적이 나온다.