Evaluando la Calidad de la Traducción de Video con IA – Métricas que Importan
Traducir videos entre idiomas no es una tarea pequeña: implica transcripción, traducción, síntesis de voz, sincronización y más. En Curify, hemos construido una tubería de evaluación robusta para asegurar que cada pieza cumpla con los estándares de la industria.
1. Calidad de Transcripción
Motor: WhisperX
- WER (Tasa de Error de Palabras)
- F1 de Puntuación (para expresividad y legibilidad)
2. Calidad de Traducción
Motores: Helsinki, MarianMT
- BLEU (métrica estándar)
- COMET / chrF++ (similitud semántica)
- Revisión humana: fluidez + adecuación
3. Calidad de Síntesis de Voz
Motores: XTTS / YourTTS
- MOS (Naturalidad, similitud, expresividad)
- Precisión de verificación del hablante
4. Alineación y Sincronización Labial
- Desajuste de duración de segmento
- Confianza de sincronización Wav2Lip
- Análisis de deriva temporal
5. Preservación Semántica
Usamos LLMs (como GPT-4) para juzgar si el habla traducida preserva el significado, el tono y la emoción originales. Ejemplo de prompt:
Compara esta transcripción en mandarín con la voz en off en inglés. ¿Coinciden el tono, la intención y el contenido? Califica del 1 al 5 y explica.
6. Comentarios de Usuarios y Validación GTM
- Ajuste de calidad de voz para la categoría de producto
- Mejora de retención de espectadores
- Disposición de adopción de usuarios tempranos (ej. vendedores de 1688)