AI 수화 비디오 번역기

AI ASL 비디오 번역이란 무엇인가요?

ASL 비디오 번역은 서명된 비디오 공연을 영어로 작성된 형태로 변환합니다. 음성을 텍스트로 변환하는 음성-텍스트 또는 비디오 전사와는 달리, ASL 번역은 시각적 양식을 읽어야 합니다 — 서명자의 손 모양, 위치, 움직임, 손바닥 방향 및 문법적 의미를 전달하는 비수동 마커(얼굴 표정, 머리 기울임, 몸의 변화)가 포함됩니다. 의존할 수 있는 오디오 트랙이 없습니다.

ASL은 영어와 일대일 대응 관계가 아닙니다. 고유한 문법, 단어 순서 및 관용구가 있습니다. 단어-대-수화 대체는 기술적으로는 문자 그대로의 출력을 생성하지만, 깨진 영어로 읽힙니다. 품질 번역은 시각적 신호를 인식하고 결과를 자연스러운 영어로 재구성해야 합니다 — 한 언어를 전사하는 것보다 두 언어 간의 번역에 더 가깝습니다.

목표: 청각 장애인 또는 난청 서명자가 비디오를 녹화하고, 청중이 영어 자막이나 전사를 읽습니다. 번역이 다리 역할을 합니다.

Curify는 ASL 비디오를 어떻게 번역하나요?

파이프라인은 네 단계로 진행됩니다. 첫째, 소스 비디오는 프레임별로 처리되어 서명자를 지역화하고, 상체를 분리하며, 서명 공간을 세분화합니다 — 서명의 일부가 아닌 배경 움직임은 버립니다.

둘째, 비전 인코더가 시각적 스트림을 읽고 서명 인식 임베딩의 시퀀스를 생성합니다: 손 모양, 움직임 벡터 및 서명을 진술에서 질문으로 변경하는 비수동 마커(얼굴 표정, 머리 기울임, 시선)가 포함됩니다.

셋째, 번역 헤드가 이러한 임베딩을 영어 텍스트로 디코딩합니다. 디코더는 병렬 ASL-영어 비디오 코퍼스에서 훈련되므로, ASL 문법을 자연스러운 영어로 재구성하여 문자 그대로의 주석을 생성하지 않습니다.

넷째, 번역된 텍스트는 원본 타이밍에 다시 정렬됩니다. 각 영어 문장은 그것을 생성한 비디오의 초에 고정됩니다. 이는 비디오 편집기에 바로 삽입할 수 있는 자막과 YouTube에 깔끔하게 로드되는 SRT 내보내기를 제공합니다.

이 페이지의 데모는 실제 대화형 ASL 클립에서 실행되는 프로덕션 모델입니다. 초기 액세스 업로드는 동일한 파이프라인을 실행합니다.

ASL 비디오 번역이 중요한 곳