AI ASL 视频翻译器

什么是 AI ASL 视频翻译？

ASL 视频翻译将签名视频表演转换为书面英文。与将音频翻译为文本的语音转文本或视频转录不同，ASL 翻译必须读取视觉模式——签名者的手形、位置、运动、手掌方向，以及携带语法意义的非手动标记（面部表情、头部倾斜、身体移动）。没有音轨可以依赖。

ASL 也不是英文的一对一映射。它有自己的语法、词序和习惯用语。逐字替换产生的输出在技术上是字面意义的，但读起来像是破碎的英语。高质量翻译必须识别视觉信号并将结果重构为自然英语——更接近于在两种语言之间翻译，而不是转录一种语言。

目标：聋人或听力受损的签名者录制视频；听众阅读英文字幕或转录。翻译是桥梁。

Curify 如何翻译 ASL 视频？

整个流程分四步。第一步，从源视频中按间隔抽取若干帧——系统并不是连续地观看视频，后面大部分局限都源于这一点。

第二步，这些抽取出来的帧由一个通用的视觉语言模型读取。这一点值得说清楚：这里没有任何手语专用组件——没有手形追踪，没有运动向量模型，也没有任何在 ASL 上训练过的部分。模型只是描述它在静止画面里看到的内容。

第三步，这些描述被组织成英文句子。由于模型读的是抽样静帧而不是连续动作，它无法可靠地还原 ASL 中依靠动作和非手动标记承载的信息——方向、体貌，以及把陈述变成疑问的面部语法。在一次对照测试中，我们把同一段视频倒放后输入，模型并没有察觉。请把输出当作对话题的粗略猜测，而不是翻译。

第四，翻译后的文本与源时间对齐——每个英语句子都与产生它的视频秒数相锚定。这为您提供了可以直接放入视频编辑器的字幕，以及可以干净加载到YouTube的SRT导出。

本页的演示就是线上流程在一段真实 ASL 对话视频上的运行结果。你自己上传的视频走的是同一套流程，也有同样的局限。

ASL视频翻译的重要性