AI ASL Video Çevirmeni

AI ASL video çevirisi nedir?

ASL video çevirisi, işaretli bir video performansını yazılı İngilizceye dönüştürür. Sesli metin veya video transkripsiyonu gibi, sesin metne çevrildiği durumların aksine, ASL çevirisi görsel modülü okumalıdır — işaretçinin el şekli, konumu, hareketi, avuç içi yönelimi ve dilbilgisel anlam taşıyan el dışı işaretler (yüz ifadeleri, baş eğmeleri, vücut kaymaları). Geri dönülecek bir ses parçası yoktur.

ASL, İngilizce ile birebir bir eşleşme de değildir. Kendi dilbilgisi, kelime sırası ve deyimsel ifadeleri vardır. Kelime için işaret ikamesi, teknik olarak kelime kelime doğru ama bozuk İngilizce olarak okunan bir çıktı üretir. Kaliteli çeviri, görsel sinyali tanımak ve sonucu doğal İngilizceye yeniden yapılandırmak zorundadır — bir dilden diğerine çeviri yapmak gibi, birini transkribe etmekten daha yakındır.

Hedef: işitme engelli veya işitme zorluğu çeken bir işaretçi bir video kaydeder; işiten bir izleyici İngilizce altyazıları veya bir transkripti okur. Çeviri köprüdür.

Curify ASL videosunu nasıl çeviriyor?

Boru hattı dört aşamada çalışır. İlk olarak, kaynak video, işaretçiyi yerelleştirmek, üst vücut izole etmek ve işaretleme alanını segmentlere ayırmak için kare kare işlenir — işaretin bir parçası olmayan arka plan hareketini atarak.

İkinci olarak, bir görsel kodlayıcı görsel akışı okur ve işaret bilincine sahip gömme dizileri üretir: el şekli, hareket vektörleri ve bir işareti bir cümleden bir soru haline getiren el dışı işaretler (yüz ifadesi, baş eğimi, göz bakışı).

Üçüncüsü, bir çeviri başlığı bu gömme verileri İngilizce metne çözümler. Çözücü, paralel ASL-İngilizce video derlemeleri üzerinde eğitildiği için, ASL dilbilgisini doğal İngilizceye yeniden yapılandırır, kelime kelime bir çeviri üretmek yerine.

Dördüncüsü, çevrilen metin kaynak zamanlamasına geri hizalanır — her İngilizce cümle, onu üreten video saniyelerine bağlıdır. Bu, doğrudan bir video düzenleyicisine yerleştirebileceğiniz altyazılar ve YouTube'a temiz bir şekilde yüklenen bir SRT dışa aktarımı sağlar.

Bu sayfadaki demo, gerçek bir konuşma ASL klibi üzerinde çalışan üretim modelidir. Erken erişim yüklemeleri aynı hattı çalıştıracaktır.

ASL video çevirisinin önemli olduğu yerler