AI ASLビデオ翻訳者

AI ASLビデオ翻訳とは何ですか？

ASLビデオ翻訳は、サインされたビデオパフォーマンスを英語の書面に変換します。音声をテキストに翻訳する音声認識やビデオ転写とは異なり、ASL翻訳は視覚的モダリティを読み取る必要があります — サインをする人の手の形、位置、動き、手のひらの向き、文法的意味を持つ非手動マーカー（顔の表情、頭の傾き、体の動き）を含みます。音声トラックはありません。

ASLは英語の一対一のマッピングではありません。独自の文法、語順、慣用句があります。単語をサインに置き換えると、技術的には文字通りですが、壊れた英語として読まれます。質の高い翻訳は視覚的信号を認識し、結果を自然な英語に再構築する必要があります — 一つの言語を転写するよりも二つの言語の間で翻訳することに近いです。

目標: 聴覚障害者または難聴者のサインをする人がビデオを録画し、聴覚のある観客が英語の字幕またはトランスクリプトを読むことです。翻訳が架け橋となります。

CurifyはどのようにASLビデオを翻訳しますか？

処理は 4 段階です。まず、元の動画から一定間隔で静止フレームを抽出します——動画を連続して見ているわけではなく、以降の制約のほとんどはこの一点から生じます。

次に、抽出した静止フレームを汎用の視覚言語モデルが読み取ります。ここは正確に書いておきます。手話専用の仕組みは一切ありません——手形のトラッキングも、動きベクトルのモデルも、ASL で学習した部分もありません。モデルは静止画に見えるものを説明しているだけです。

第三に、その説明を英文に組み立てます。モデルが読むのは連続した動きではなく抜き出した静止画なので、ASL が動きと非手指標識で伝える情報——方向、アスペクト、平叙文を疑問文に変える表情の文法——を確実には再現できません。対照実験として同じ映像を逆再生して入力したところ、モデルは気づきませんでした。出力は翻訳ではなく、話題のおおまかな推測として扱ってください。

第四に、翻訳されたテキストは元のタイミングに再調整されます — 各英語の文はそれを生成したビデオの秒数に固定されます。これにより、ビデオ編集者に直接ドロップできる字幕と、YouTubeにクリーンに読み込まれるSRTエクスポートが得られます。

このページのデモは、実際のパイプラインを一本の本物のASL会話動画に対して実行した結果です。お客様がアップロードする動画も同じパイプラインを通り、同じ制約を受けます。

ASLビデオ翻訳が重要な場所