AIマンガ翻訳

AIマンガ翻訳とは何ですか？

マンガ翻訳は多段階のタスクです：ページ上のテキストを検出し、それが何を言っているかを認識し、ターゲット言語に翻訳し、元のバブルまたはパネルスペースに翻訳をフィットさせ、組版を壊さないようにします。ほとんどの一般的な翻訳ツールは中間ステップのみを処理し、完全な再レイアウトが必要な使えないページを生成します。

難しいのは翻訳の質ではなく — レイアウトの保持です。縦書きの日本語テキストに合わせたセリフバブルは、オーバーフローせず、読み順を失わず、アートワークを覆うことなく、はるかに長い英語の文を保持する必要があります。パネルアートに描かれたSFX（効果音）はさらに難しいです：それらはきれいに取り除かれ、ターゲット言語で再レンダリングされる必要がありますが、基礎となる描画を損なうことはできません。

このページのデモは、バブルレイアウト、フォントの選択、SFXの配置がすべて出力に保持された状態で、エンドツーエンドで翻訳されたサンプルページを示しています。

Curifyのマンガ翻訳へのアプローチ

パイプラインは4つの専門的なステージを実行し、それぞれが素朴な翻訳とオーバーレイアプローチの1つの失敗モードを処理します。

ステップ1：バブルとテキスト領域の検出。ビジョンモデルは、すべてのセリフバブル、ナレーションボックス、SFXラベル、自由浮遊テキスト領域を特定し、元のレイアウトを尊重するバウンディングポリゴンを持っています。

ステップ2：OCRとソース認識。各領域内のテキストが認識されます — 縦書きのスクリプト、手描きの文字、一般的なOCRを打破するスタイライズされたSFXフォントを処理します。

ステップ3：コンテキストを考慮した翻訳。翻訳ステップは、ページ間でキャラクターの声を保持し（同じキャラクターが一貫して話すように）、適切な場合にはSFXをターゲット言語の慣習に適応させます。

ステップ4：タイポグラフィの再レイアウト。翻訳されたテキストは、適応行間、フォントの太さの一致、必要に応じた向きの切り替え（縦→横）で元のバブル内に再レンダリングされ、出力がターゲット市場で自然に読まれるようになります。

AIマンガ翻訳を利用するのは誰ですか？