Оценка качества перевода видео с помощью искусственного интеллекта – Метрики, которые имеют значение
Перевод видео на разные языки — непростая задача: он включает в себя транскрипцию, перевод, синтез голоса, синхронизацию и многое другое. В Curify мы создали надежную систему оценки, чтобы гарантировать, что каждая деталь соответствует отраслевым стандартам.
1. Качество транскрипции
Двигатель: WhisperX
- WER (Word Error Rate)
- F1 по знакам препинания (для экспрессивности и читаемости)
2. Качество перевода
Двигатели: Helsinki, MarianMT
- BLEU (стандартная метрика)
- COMET / chrF++ (семантическая схожесть)
- Оценка человеком: связность + адекватность
3. Качество синтеза голоса
Двигатели: XTTS / YourTTS
- MOS (естественность, сходство, выразительность)
- точность верификации диктора
4. Выравнивание и синхронизация губ
- Несоответствие длительности сегмента
- Уверенность синхронизации Wav2Lip
- Анализ временного сдвига
5. Семантическое сохранение
Мы используем LLMs (например, GPT-4), чтобы оценить, сохраняет ли переведенная речь исходное значение, тон и эмоции. Пример приглашения:
Сравните эту транскрипцию на китайском языке с английской закадровой речью. Совпадают ли тон, намерение и содержание? Оцените 1–5 и объясните.
6. Отзывы пользователей и проверка GTM
- Качество звука соответствует категории продукта
- улучшение удержания зрителей
- готовность к принятию со стороны ранних пользователей (например, продавцов 1688)
