AI ASL Video Çevirmeni

AI ASL video çevirisi nedir?

ASL video çevirisi, işaretli bir video performansını yazılı İngilizceye dönüştürür. Sesli metin veya video transkripsiyonu gibi, sesin metne çevrildiği durumların aksine, ASL çevirisi görsel modülü okumalıdır — işaretçinin el şekli, konumu, hareketi, avuç içi yönelimi ve dilbilgisel anlam taşıyan el dışı işaretler (yüz ifadeleri, baş eğmeleri, vücut kaymaları). Geri dönülecek bir ses parçası yoktur.

ASL, İngilizce ile birebir bir eşleşme de değildir. Kendi dilbilgisi, kelime sırası ve deyimsel ifadeleri vardır. Kelime için işaret ikamesi, teknik olarak kelime kelime doğru ama bozuk İngilizce olarak okunan bir çıktı üretir. Kaliteli çeviri, görsel sinyali tanımak ve sonucu doğal İngilizceye yeniden yapılandırmak zorundadır — bir dilden diğerine çeviri yapmak gibi, birini transkribe etmekten daha yakındır.

Hedef: işitme engelli veya işitme zorluğu çeken bir işaretçi bir video kaydeder; işiten bir izleyici İngilizce altyazıları veya bir transkripti okur. Çeviri köprüdür.

Curify ASL videosunu nasıl çeviriyor?

İşlem dört aşamada çalışır. Önce kaynak videodan belirli aralıklarla kareler alınır — sistem videoyu kesintisiz izlemez ve sonrasında gelen kısıtların çoğu yalnızca bu tek gerçekten doğar.

İkinci olarak, bu kareler genel amaçlı bir görsel-dil modeli tarafından okunur. Burada net olmakta fayda var: işaret diline özgü hiçbir bileşen yok — el şekli takibi yok, hareket vektörü modeli yok, ASL üzerinde eğitilmiş hiçbir parça yok. Model yalnızca durağan karelerde gördüğünü betimler.

Üçüncü olarak, bu betimleme İngilizce cümlelere dönüştürülür. Model sürekli hareketi değil örneklenmiş kareleri okuduğu için, ASL'nin hareketle ve el dışı işaretleyicilerle taşıdığı şeyleri — yön, görünüş ve bir cümleyi soruya çeviren yüz dilbilgisini — güvenilir biçimde geri getiremez. Bir kontrol testinde aynı klibi ters oynatıp verdik ve model fark etmedi. Çıktıyı bir çeviri değil, konuya dair kaba bir tahmin olarak değerlendirin.

Dördüncüsü, çevrilen metin kaynak zamanlamasına geri hizalanır — her İngilizce cümle, onu üreten video saniyelerine bağlıdır. Bu, doğrudan bir video düzenleyicisine yerleştirebileceğiniz altyazılar ve YouTube'a temiz bir şekilde yüklenen bir SRT dışa aktarımı sağlar.

Bu sayfadaki demo, gerçek işlem hattının gerçek bir ASL sohbet klibi üzerinde çalıştırılmasıdır. Kendi yüklemeleriniz de aynı hattan geçer — aynı sınırlarla birlikte.

ASL video çevirisinin önemli olduğu yerler