Évaluation de la qualité de la traduction vidéo IA – Des mesures qui comptent
Traduire des vidéos dans plusieurs langues n'est pas une mince affaire: cela implique une transcription, une traduction, une synthèse vocale, un timing, etc. Chez Curify, nous avons construit un solide pipeline d’évaluation pour garantir que chaque pièce répond aux normes de l’industrie.
1. Qualité des transcriptions
Moteur: WhisperX
- WER (taux d'erreur de mots)
- Ponctuation F1 (pour l'expressivité et la lisibilité)
2. Qualité de la traduction
Moteurs: Helsinki, MarianMT
- BLEU (métrique standard)
- COMET / chrF++ (similitude sémantique)
- Bilan humain: maîtrise + adéquation
3. Qualité de synthèse vocale
Moteurs: XTTS / YourTTS
- MOS (Naturalité, similarité, expressivité)
- Précision de la vérification du locuteur
4. Alignement et synchronisation labiale
- Inadéquation de la durée du segment
- Wav2Lip confiance de synchronisation
- Analyse de la dérive temporelle
5. Préservation sémantique
Nous utilisons LLMs (comme GPT-4) pour juger si le discours traduit préserve le sens, le ton et l'émotion d'origine. Exemple d'invite:
Comparez cette transcription en mandarin à la voix off anglaise. Le ton, l’intention et le contenu correspondent-ils? Notez 1 à 5 et expliquez.
6. Commentaires des utilisateurs et validation GTM
- Qualité vocale adaptée à la catégorie de produit
- Amélioration de la fidélisation des spectateurs
- Volonté d'adoption des premiers utilisateurs (par exemple, 1 688 vendeurs)