TTA 한국 정보통신기술협회

통합검색
Home ㆍ참여마당ㆍQ&A

Q&A

Q&A
국가 R&D 지원 사업 관련 질의 드립니다.
작성자 최인석 작성일 2021-04-22 상태 답변완료
안녕하세요?

국가 R&D 지원 사업을 진행하면서 결과물로 TTA인증 관련 시험성적서를 제출하게 되어 있습니다.

과제내용은 "AI기반 V-커머스 솔루션(객체지향)"이라는 과제명으로 동영상 내 사물(상품)을 AI가 인식하여 AI에게 미리 학습 시켜놓은 상품을 자동 매칭해서 시청자가 상품을 클릭하면 바로 구매 할 수 있도록 개발한 솔루션입니다.

해당 개발 내용에 들어가는 정량적 평가 항목은 총 5개로 내용은 아래와 같습니다.
1. mAP (f1 score)
1) 평가 환경
(1) AI 모델준비
- 학습된 결과에 대한 모델을 준비
- 모델 로딩하여 평가 할 수 있는 API제작
- 평가 테스트 이미지 준비 (500장:Ground truth)
- Precision = TP/(TP+FP)
- Recall = TP/(TP+FN)
- F1(mAP) = 2 X (Precision x recall) / (Precision + recall)
2) 평가방법
- 40개 상품에 대한 AP를 추출한 후 전체 합산을 통해 mAP값을 산출.

2. 메모리 사용 감소율
1) 평가 환경
(1) GAN 모델 생성을 위한 시스템 환경을 설정 (중복 레이어 포함/제거 알고리즘 준비)
2) 평가 방법
(1) 중복 레이어가 포함되었을 때 제거 되었을 때의 모델을 생성할 경우 시스템의 메모리 사용률 차이를 비교

3. 인공지능 모델 데이터 수집
1) 평가 환경
(1) 전처리 된 DB의 전처리 개수를 조회하기 위해 서버 콘솔 계정 로그인
2) 평가 방법
(1) 데이터 전처리 테이블에 대한 단순 쿼리 조회
- 쿼리문 : select count(*) from [전처리테이블]
(2) 상품 카테고리 별 40개 상품 클래스 선정.
- 40개 상품에 대한 개별 1250개 이미지 수집.
- GAN 인공지능 모델을 통해 이미지 생성.

4. 인공지능 모델 적용으로 사물 추적 추출 정확도
1) 평가 환경
(1) 웹 서비스에 로그인하여 동영상 프레임 추출
- 추적 하고자 하는 사물이 포함된 10분짜리 동영상 추가
2) 평가 방법
(1) 동영상에 포함된 사물에 대한 객체 추적 결과를 DB에 적재함
(2) DB 쿼리를 통해 해당 사물에 대한 데이터 건수를 조회함.
(3) 실제 영상에 포함된 프레임과 쿼리 조회 결과로 정확도 환산

5. 동영상 Player에 그려지는 영역 표시 지연시간 (속도)
1) 평가 환경
(1) 동영상 사물 추적 완료된 상품 미리 보기 페이지 이동
2) 평가 방법
(1) 동영상에 포함된 사물에 대한 영역이 그려지는 시간 간격을 측정함
(2) 20번 정도 그려지는 시간에 대한 Delay 평균값을 측정하여 산출

다음은 질문 사항입니다.
1. 위 항목들을 평가하여 시험성적서를 받을 수 있나요? (GS인증서는 필요 없고 시험성적서만 있으면 됨)
2. 위 항목들을 평가 할 수 있다면 걸리는 시간 및 비용도 궁금합니다.

그럼 연락 기다리겠습니다.
감사합니다.
답변
안녕하십니까, SW시험인증연구소 V&V 시험 안내 담당자입니다.
문의하신 사항에 대하여 메일로 답변드렸습니다.
감사합니다.
목록

TTA SERVICE

top