AI 吹替ツールを作ってみた 🤯 | あらゆる言語に動画を自動吹替 🔥

🎙️ 日本語 Key Notes & Transcript

最近、自分のYouTube動画を自動的に36言語へとダビングしてくれるツールを、自分で使うために開発しました。それでは、この仕組みが一体どのように動いているのか、これから詳しくご説明していきたいと思います。 簡単なデモをお見せします。バグ修正後に詳細なロング動画も公開予定です。ある動画を36言語にダビングしたところ、すべて完璧に処理してくれました。 作業量はどれほどか。これがそのツールです。画面を上にスクロールし、36言語をリフレッシュします。 画面はこのように表示されます。トークン使用量も確認できます。全て無料APIをグループで設定しているので、1円も払う必要はありません。 費用はかかりません。こちらが私の動画です。例としてこの動画を使いましょう。 処理時間が長いので1分程度の動画を選びました。もう8時で帰宅しなければなりません。リンクをコピーしました。 リンクと、そしてこちらが私が実際に使っているツールになります。例えば、この私の動画をファイルとして入力しますと、このように自動でトランスクリプトが生成されます。 タイトルや説明文も含め自動でダウンロードしてくれます。これで全て完了です！ 通常は英語字幕を拾いますが、あなたのオリジナル動画ならちゃんとヒンディー語を認識します。 具体的にどうしていくかといいますと、手元に取得したトランスクリプトがありますので、この中にある不要なワードを一つずつ丁寧にここでクリーンアップしていきます。 トランスクリプトのダウンロード時には、本来不要な言葉がどうしても混ざってしまいます。 誤った部分をAIが綺麗に修正してくれます。その結果、こんな感じに仕上がります。そしてここに。 それって何？つまりタイトルはどうする？そして説明欄は何を書けばいい？よし、これで全部OK。じゃあ、これが僕の36の 言語だよ。いいかな？これをダビングしたいんだ。36言語全部やるとちょっと時間がかかるから、まずは1つの言語でやってみるよ。よし、じゃあ1つの言語として、例えばここで Bhojpuri、Nepali。じゃあ今度はMarathiにしようかな。よし、Marathiをクリックした。Englishはいったん外しておこう。ええっと、それか 言語はEnglishを選びましょう。よし、これでクリックしました。今回はすべての項目を選択することももちろん可能なんですが、確認しながら下へスクロールしていき、準備ができたらダビングを開始します。 ダビングには細かい設定が必要だが、最初に試したMicrosoftのTTSは非常に高速で、あっという間に処理できた。 だが画面上の文字をそのまま読み上げ、自分の声の実感が持てなかった。そのため色々試してみた。 どうしても何か自然に感じられなくて、ここで思い切ってそれをやめることにしたんです。その後に試してみたのが、このFr...