AI Video Çeviri Kalitesini Değerlendirme – Önemli Metrikler

1. Transkripsiyon Kalitesi

Motor: WhisperX

• WER (Kelime Hata Oranı)
• Noktalama F1 (ifade ve okunabilirlik için)

2. Çeviri Kalitesi

Motorlar: Helsinki, MarianMT

• BLEU (standart metrik)
• COMET / chrF++ (anlamsal benzerlik)
• İnsan incelemesi: akıcılık + yeterlilik

3. Ses Sentezi Kalitesi

Motorlar: XTTS / YourTTS

• MOS (Doğallık, benzerlik, ifade)
• Konuşmacı doğrulama doğruluğu

4. Hizalama ve Dudak Senkronizasyonu

• Segment süresi uyumsuzluğu
• Wav2Lip senkronizasyon güveni
• Zamansal kayma analizi

5. Anlamsal Koruma

Çevrilen konuşmanın orijinal anlamı, tonu ve duyguyu koruyup korumadığını değerlendirmek için LLM'leri (GPT-4 gibi) kullanıyoruz. Örnek istem:

Bu Mandarin transkriptini İngilizce seslendirme ile karşılaştırın. Ton, niyet ve içerik eşleşiyor mu? 1–5 arası puanlayın ve açıklayın.

6. Kullanıcı Geri Bildirimi ve GTM Doğrulaması

• Ürün kategorisine uygun ses kalitesi
• İzleyici tutma oranı artışı
• Erken kullanıcılardan benimseme isteği (örneğin, 1688 satıcıları)