Оценка качества перевода видео с помощью искусственного интеллекта – Метрики, которые имеют значение

1. Качество транскрипции

Двигатель: WhisperX

• WER (Word Error Rate)
• F1 по знакам препинания (для экспрессивности и читаемости)

2. Качество перевода

Двигатели: Helsinki, MarianMT

• BLEU (стандартная метрика)
• COMET / chrF++ (семантическая схожесть)
• Оценка человеком: связность + адекватность

3. Качество синтеза голоса

Двигатели: XTTS / YourTTS

• MOS (естественность, сходство, выразительность)
• точность верификации диктора

4. Выравнивание и синхронизация губ

• Несоответствие длительности сегмента
• Уверенность синхронизации Wav2Lip
• Анализ временного сдвига

5. Семантическое сохранение

Мы используем LLMs (например, GPT-4), чтобы оценить, сохраняет ли переведенная речь исходное значение, тон и эмоции. Пример приглашения:

Сравните эту транскрипцию на китайском языке с английской закадровой речью. Совпадают ли тон, намерение и содержание? Оцените 1–5 и объясните.

6. Отзывы пользователей и проверка GTM

• Качество звука соответствует категории продукта
• улучшение удержания зрителей
• готовность к принятию со стороны ранних пользователей (например, продавцов 1688)