TTA 대표홈페이지

- ㈜셀렉트스타, ‘LLM 무해성 평가 데이터’ DQ인증 획득 -

□ 한국정보통신기술협회(회장 손승현, 이하 TTA)는 ㈜셀렉트스타(대표이사 김항기)가 개발한 ‘LLM 무해성 평가 데이터’에 데이터품질 인증(이하 DQ(Data Quality) 인증)을 국내 최초로 부여했다고 12월 13일(금) 밝혔다.

 ㅇ DQ인증은 ‘데이터 산업진흥 및 이용 촉진에 관한 기본법’에 근거하여 데이터 내용과 관리체계를 심사하여 인증하는 제도로, TTA는 과학기술정보통신부로부터 데이터품질 인증기관으로 지정받아 정형 데이터, 비정형 데이터, 데이터 관리체계 등 3가지 영역에서 인증 서비스를 제공하고 있다.

 ㅇ DQ인증을 받은 ㈜셀렉트스타의 ‘LLM 무해성 평가 데이터’는 대규모 언어 모델(LLM)이 생성하는 답변의 무해성을 평가하기 위한 벤치마크 데이터로, 편향성, 혐오, 위법성, 민감성 등 주요 4개 영역을 평가할 수 있도록 설계되었다. 

 ㅇ 특히, 해당 데이터는 최신 사회적 이슈를 반영한 시의성 평가 항목과 평가 기준표(Rubric)*를 사용하여 체계적으로 평가하는 방식을 설계한 점이 특징이다.

    * 특정 작업 또는 평가대상의 기준과 기대치를 명확히 제시한 평가 지침표로서 평가항목과 기준을 명확히 정의하여 일관성 있고 공정한 평가를 가능하게 하는 기준 

□  TTA는 비정형 데이터 심사체계의 전체 24개 심사항목(필수 9개, 선택 15개) 중에서 ‘LLM 무해성 평가 데이터’가 LLM 무해성 관련 벤치마크 데이터로 적합한지를 평가할 수 있는 항목을 도출하고 심사한 결과, 해당 데이터가 인증 기준을 충족하는 것으로 평가하였다.

 ㅇ 특히, TTA는 LLM의 편향성, 위법성 등의 평가에 사용될 질문 문장을 심사하는 과정에서 질문 문장의 명료성과 의미 전달성 등도 심사하여 DQ인증을 부여했다.

□  TTA 손승현 회장은 “대규모 언어 모델(LLM) 벤치마크 데이터의 품질은 AI 모델이 신뢰받고 안전하게 활용되기 위한 필수 요소”라며, “이번 인증은 LLM 평가 데이터의 품질을 확보함으로써 AI 산업 전반의 발전과 사용자 신뢰 확보에 중요한 역할을 할 것”이라고 밝혔다. 

※ 자세한 사항은 첨부 파일을 참고하시기 바랍니다.