AI 영상번역 품질 평가 – 중요한 지표

1. 전사 품질

엔진: WhisperX

• WER (단어 오류율)
• 구두점 F1 (표현력과 가독성을 위한)

2. 번역 품질

엔진: Helsinki, MarianMT

• BLEU (표준 측정 지표)
• COMET / chrF++ (의미 유사성)
• 인간 검토: 유창성 + 적절성

3. 음성합성 품질

엔진: XTTS / YourTTS

• MOS (자연성, 유사성, 표현력)
• 스피커 인증 정확도

4. 정렬 및 립싱크

• 세그먼트 지속 시간 불일치
• Wav2Lip 동기화 신뢰도
• 시간적 드리프트 분석

5. 의미 보존

우리는 LLMs(예: GPT-4)을 사용하여 번역된 음성이 원래 의미, 어조, 감정을 유지하는지 여부를 판단합니다. 예시 프롬프트:

이 중국어 대본을 영어 음성 해설과 비교해 보세요. 어조, 의도, 내용이 일치하는가? 1~5점으로 평가하고 설명하세요.

6. 사용자 피드백 및 GTM 검증

• 제품 카테고리에 적합한 음질
• 시청자 유지율 향상
• 초기 사용자로부터의 채택 의지 (예: 1688 판매자)