AI ASLビデオ翻訳者

AI ASLビデオ翻訳とは何ですか？

ASLビデオ翻訳は、サインされたビデオパフォーマンスを英語の書面に変換します。音声をテキストに翻訳する音声認識やビデオ転写とは異なり、ASL翻訳は視覚的モダリティを読み取る必要があります — サインをする人の手の形、位置、動き、手のひらの向き、文法的意味を持つ非手動マーカー（顔の表情、頭の傾き、体の動き）を含みます。音声トラックはありません。

ASLは英語の一対一のマッピングではありません。独自の文法、語順、慣用句があります。単語をサインに置き換えると、技術的には文字通りですが、壊れた英語として読まれます。質の高い翻訳は視覚的信号を認識し、結果を自然な英語に再構築する必要があります — 一つの言語を転写するよりも二つの言語の間で翻訳することに近いです。

目標: 聴覚障害者または難聴者のサインをする人がビデオを録画し、聴覚のある観客が英語の字幕またはトランスクリプトを読むことです。翻訳が架け橋となります。

CurifyはどのようにASLビデオを翻訳しますか？

パイプラインは4つのステージで実行されます。まず、ソースビデオはフレームごとに処理され、サインをする人を特定し、上半身を分離し、サインスペースをセグメント化します — サインの一部でない背景の動きは除外されます。

次に、ビジョンエンコーダーが視覚ストリームを読み取り、サインに気づく埋め込みのシーケンスを生成します: 手の形、動きのベクトル、サインを文から質問に変える非手動マーカー（顔の表情、頭の傾き、目の視線）を含みます。

第三に、翻訳ヘッドがそれらの埋め込みを英語のテキストにデコードします。デコーダーは並列のASL-英語ビデオコーパスで訓練されているため、ASLの文法を自然な英語に再構築し、文字通りのグロスを生成するのではありません。

第四に、翻訳されたテキストは元のタイミングに再調整されます — 各英語の文はそれを生成したビデオの秒数に固定されます。これにより、ビデオ編集者に直接ドロップできる字幕と、YouTubeにクリーンに読み込まれるSRTエクスポートが得られます。

このページのデモは、実際の会話ASLクリップで動作しているプロダクションモデルです。早期アクセスのアップロードも同じパイプラインを実行します。

ASLビデオ翻訳が重要な場所