Evaluando la Calidad de la Traducción de Video con IA – Métricas que Importan

1. Calidad de Transcripción

Motor: WhisperX

• WER (Tasa de Error de Palabras)
• F1 de Puntuación (para expresividad y legibilidad)

2. Calidad de Traducción

Motores: Helsinki, MarianMT

• BLEU (métrica estándar)
• COMET / chrF++ (similitud semántica)
• Revisión humana: fluidez + adecuación

3. Calidad de Síntesis de Voz

Motores: XTTS / YourTTS

• MOS (Naturalidad, similitud, expresividad)
• precisión de verificación del hablante

4. Alineación y Sincronización Labial

• Desajuste en la duración del segmento
• Confianza de sincronización Wav2Lip
• Análisis de deriva temporal

5. Preservación Semántica

Usamos LLMs (como GPT-4) para juzgar si el habla traducida preserva el significado, el tono y la emoción originales. Ejemplo de prompt:

Compara esta transcripción en mandarín con la voz en off en inglés. ¿Coinciden el tono, la intención y el contenido? Califica del 1 al 5 y explica.

6. Comentarios de Usuarios y Validación GTM

• Calidad de voz adecuada para la categoría del producto
• mejora de la retención de espectadores
• disposición a la adopción por parte de los usuarios tempranos (por ejemplo, vendedores de 1688)