AI Переводчик Видео на ASL

Автоматически переводите видео на американском жестовом языке в английский текст или субтитры. 8 кредитов в минуту, функция по-прежнему экспериментальная: загрузите свой ролик и проверьте результат сами — машинный перевод жестового языка ненадёжен, и его нужно проверять.

Пример: короткий разговорный клип ASL, переведенный в английские субтитры за один проход. Без переводчика, без ручной транскрипции.

Почему стоит использовать Curify для перевода видео ASL?

Автоматически — без ручного этапа переводчика. Загрузите подписанное видео, получите английские субтитры.
Полезно для первого приближения — примерно понять, о чём ролик, когда альтернатива это ничего. Это не замена переводчику, и публиковать результат без проверки человеком, владеющим жестовым языком, не следует.
Форматы вывода, предназначенные для распространения: встроенные субтитры, SRT для YouTube или обычный текст транскрипции.
8 кредитов в минуту, функция по-прежнему экспериментальная. Перевод жестового языка — сложная и нерешённая задача: результат представляет собой непроверенный машинный перевод и часто содержит ошибки, поэтому сверьте его с жестами в видео перед публикацией.

Часто задаваемые вопросы

Доступен ли переводчик видео ASL сегодня?

Да. Это стоит 8 кредитов в минуту, и функция экспериментальная: перевод создаёт универсальная модель компьютерного зрения, а не модель, обученная на жестовом языке, и она часто ошибается — порой так, что текст выглядит гладким и уверенным. Относитесь к результату как к черновику, который нужно проверить, а не как к готовому переводу, и никогда не публикуйте его как субтитры для доступности без проверки.

Работает ли он с языками, отличными от ASL?

Текущая демонстрация нацелена на американский жестовый язык. Жестовые языки не взаимопонимаемы — BSL (британский), Auslan (австралийский) и LSF (французский) имеют разные грамматики и словарный запас. Мы рассматриваем дополнительные жестовые языки в зависимости от спроса на ранний доступ.

Что такое перевод видео ASL с помощью AI?

Перевод видео ASL преобразует исполнение на жестовом языке в письменный английский. В отличие от распознавания речи или транскрипции видео, которые переводят аудио в текст, перевод ASL должен считывать визуальную модальность — форму руки, местоположение, движение, ориентацию ладони и немануальные маркеры (выражения лица, наклоны головы, движения тела), которые несут грамматическое значение. Здесь нет аудиодорожки, на которую можно было бы опираться.

ASL также не является прямой заменой английскому. У него есть своя грамматика, порядок слов и идиоматические выражения. Замена слова на жест приводит к выводу, который технически является буквальным, но читается как сломанный английский. Качественный перевод должен распознавать визуальный сигнал И перестраивать результат в естественный английский — ближе к переводу между двумя языками, чем к транскрипции одного.

Цель: глухой или слабослышащий жестовик записывает видео; слышащая аудитория читает английские субтитры или транскрипцию. Перевод — это мост.

Как Curify переводит видео ASL?

Конвейер состоит из четырёх этапов. Сначала из исходного видео с интервалами извлекаются кадры — система не смотрит видео непрерывно, и почти всё, что следует ниже, объясняется именно этим.

Во-вторых, эти кадры читает универсальная визуально-языковая модель. Здесь стоит быть точными: никакого специализированного компонента для жестового языка тут нет — ни отслеживания формы руки, ни модели векторов движения, ничего, обученного на ASL. Модель описывает то, что видит на статичных кадрах.

В-третьих, это описание превращается в английские предложения. Поскольку модель читает отдельные кадры, а не непрерывное движение, она ненадёжно восстанавливает то, что ASL передаёт движением и немануальными маркерами: направление, аспект и мимическую грамматику, превращающую утверждение в вопрос. В контрольном тесте мы подали тот же ролик, проигранный задом наперёд, и модель этого не заметила. Считайте вывод грубой догадкой о теме, а не переводом.

В-четвертых, переведенный текст синхронизируется с исходным временем — каждое английское предложение привязано к секундам видео, которые его создали. Это дает вам субтитры, которые можно сразу вставить в видеоредактор, плюс экспорт SRT, который легко загружается в YouTube.

Демонстрация на этой странице — это реальный конвейер, запущенный на одном настоящем разговорном ролике на ASL. Ваши загрузки проходят тот же конвейер — с теми же ограничениями.