AI 수화 비디오 번역기

미국 수어 영상을 영어 텍스트나 자막으로 자동 번역합니다. 분당 8 크레딧이며 아직 실험 단계입니다. 영상을 올리고 결과를 직접 확인해 주세요 — 수어 기계 번역은 신뢰하기 어렵고 결과는 사람이 점검해야 합니다.

예시: 짧은 대화형 ASL 클립이 한 번에 영어 자막으로 번역됩니다. 통역사 없이, 수동 전사 없이.

왜 ASL 비디오 번역에 Curify를 사용해야 하나요?

자동 — 수동 통역 단계가 없습니다. 서명된 비디오를 업로드하면 영어 자막을 받습니다.
1차 훑어보기용으로는 쓸 만합니다 — 아무 정보도 없는 것보다는 영상이 대략 무슨 내용인지 알 수 있습니다. 수어 통역사를 대체하지 않으며, 수어를 아는 사람이 확인하기 전에는 공개해서는 안 됩니다.
배포를 위해 설계된 출력 형식: 내장 자막, YouTube용 SRT 또는 일반 전사 텍스트.
분당 8 크레딧이며 아직 실험 단계입니다. 수어 번역은 아직 풀리지 않은 어려운 문제입니다. 결과는 검수되지 않은 기계 번역이며 자주 틀리므로, 공개하기 전에 영상 속 수어와 대조해 확인해 주세요.

자주 묻는 질문

ASL 비디오 번역기가 오늘 사용 가능한가요?

예, 사용할 수 있습니다. 요금은 분당 8 크레딧이며 실험적인 기능입니다. 번역은 수어를 학습한 모델이 아니라 범용 영상 인식 모델이 생성하며 자주 틀립니다. 게다가 그 오류가 자연스럽고 확신에 찬 문장처럼 보일 수 있습니다. 결과물은 완성된 번역이 아니라 확인이 필요한 초안으로 다루시고, 검수 없이 접근성 자막으로 공개하지 마세요.

ASL 외의 언어에서도 작동하나요?

현재 데모는 미국 수화에 특별히 초점을 맞추고 있습니다. 수화는 서로 상호 이해할 수 없습니다 — BSL(영국), Auslan(호주), LSF(프랑스)는 서로 다른 문법과 어휘를 가지고 있습니다. 우리는 조기 액세스 가입자의 수요에 따라 추가 수화를 검토하고 있습니다.

AI ASL 비디오 번역이란 무엇인가요?

ASL 비디오 번역은 서명된 비디오 공연을 영어로 작성된 형태로 변환합니다. 음성을 텍스트로 변환하는 음성-텍스트 또는 비디오 전사와는 달리, ASL 번역은 시각적 양식을 읽어야 합니다 — 서명자의 손 모양, 위치, 움직임, 손바닥 방향 및 문법적 의미를 전달하는 비수동 마커(얼굴 표정, 머리 기울임, 몸의 변화)가 포함됩니다. 의존할 수 있는 오디오 트랙이 없습니다.

ASL은 영어와 일대일 대응 관계가 아닙니다. 고유한 문법, 단어 순서 및 관용구가 있습니다. 단어-대-수화 대체는 기술적으로는 문자 그대로의 출력을 생성하지만, 깨진 영어로 읽힙니다. 품질 번역은 시각적 신호를 인식하고 결과를 자연스러운 영어로 재구성해야 합니다 — 한 언어를 전사하는 것보다 두 언어 간의 번역에 더 가깝습니다.

목표: 청각 장애인 또는 난청 서명자가 비디오를 녹화하고, 청중이 영어 자막이나 전사를 읽습니다. 번역이 다리 역할을 합니다.

Curify는 ASL 비디오를 어떻게 번역하나요?

파이프라인은 네 단계로 동작합니다. 먼저 원본 영상에서 일정 간격으로 정지 프레임을 추출합니다 — 영상을 연속으로 보는 것이 아니며, 이후의 한계 대부분이 이 한 가지에서 비롯됩니다.

둘째, 추출한 정지 프레임을 범용 비전-언어 모델이 읽습니다. 이 부분은 정확히 적어 둡니다. 수어 전용 구성 요소는 전혀 없습니다 — 손모양 추적도, 움직임 벡터 모델도, ASL로 학습된 부분도 없습니다. 모델은 정지 화면에서 보이는 것을 설명할 뿐입니다.

셋째, 그 설명을 영어 문장으로 옮깁니다. 모델이 연속된 움직임이 아니라 추출된 정지 프레임을 읽기 때문에, ASL이 움직임과 비수지 표지로 전달하는 것 — 방향, 상(相), 평서문을 의문문으로 바꾸는 표정 문법 — 을 안정적으로 복원하지 못합니다. 대조 실험으로 같은 영상을 거꾸로 재생해 넣었을 때 모델은 알아차리지 못했습니다. 결과물은 번역이 아니라 주제에 대한 대략적인 추측으로 다루십시오.

넷째, 번역된 텍스트는 원본 타이밍에 다시 정렬됩니다. 각 영어 문장은 그것을 생성한 비디오의 초에 고정됩니다. 이는 비디오 편집기에 바로 삽입할 수 있는 자막과 YouTube에 깔끔하게 로드되는 SRT 내보내기를 제공합니다.

이 페이지의 데모는 실제 파이프라인을 실제 ASL 대화 영상 한 편에 적용한 결과입니다. 직접 올리시는 영상도 같은 파이프라인을 거치며, 같은 한계를 갖습니다.