Lip Sync for your AI MOVIES!

Summary

このビデオスクリプトでは、AIムービーのリップシンク作成のための2つのワークフローが紹介されています。最初に、Syntheesisという有料サービスを使った方法が説明され、次に無料のオプションとしてWave to Lipを使った手作業が多い手順が紹介されています。後半では、Comfyという無料ツールを使ってリップシンクを簡単に作成する方法が示されており、ワークフローの自動化と結果の改善に重点が置かれています。プロセス全体を効率化し、短編映画の制作期間を大幅に短縮できるようになりました。

Takeaways

• 🔗 SynLabsを使用してAIムービーのリップシンクを作成する方法が紹介されています。
• 🎥 無料バージョンに大きな透かしマークが追加されたため、SynLabsは有料版が推奨されています。
• 🆓 無料の代替ワークフローとして、Wave to Lipツールが紹介されています。
• 📉 Wave to Lipは優れたリップシンクを提供しますが、画像品質が低いという問題があります。
• 🛠️ 低品質の口元をマスキングして元の高解像度ビデオに合成する工程が解説されています。
• 🔄 PNGシーケンスを通じて顔の修復ツールにかけ、最終的なビデオ品質を向上させるプロセスが紹介されています。
• 💡 Wave to Lipと組み合わせて使用する自動化された新しいワークフローが提示されています。
• 📁 コミュニティからダウンロード可能な無料のコミワークフローが利用でき、簡単に統合できることが強調されています。
• 🖥️ 必要なモデルとカスタムノードのインストールが必要であることが説明されています。
• ⏱️ 新しいワークフローにより、リップシンクの追加にかかる時間が大幅に短縮されると強調されています。

Q & A

この映画でのリップシンク効果を作成するために使用されたツールは何ですか?

synlaabsというウェブサイトを使用しました。そのサイトにビデオと音声ファイルをアップロードして、モデルを選択すると、リップシンク動画を生成できます。

synlaabsの無料バージョンにはどのような制限がありますか?

最近、synlaabsの無料バージョンには大きなウォーターマークが追加されました。したがって、大量のリップシンク動画を生成したい場合は、有料版を使う必要があります。

前のワークフローではどのようなプロセスを経てリップシンクを作成していましたか?

以前のワークフローでは、wave to lipを使ってリップシンクを作成し、画質の悪いマウスだけを切り取って元の高解像度ビデオに重ね合わせていました。そして、PNG画像シーケンスに変換し、AUTOMATIC1111のExtrasタブを使って顔を修正していました。

新しいワークフローはどのようなプロセスを経てリップシンクを作成していますか?

新しいワークフローでも、wave to lipをベースにリップシンクを作成しています。その後、コミーのワークフローを使ってマウスを自動的に切り取り、元の高画質ビデオと合成します。

新しいワークフローの利点は何ですか?

新しいワークフローでは、リップシンク動画を作成するプロセスがシンプルで自動化されているため、時間をかけずにリップシンク動画を作成できるようになりました。

wave to lipを使用する際、どのように設定しますか?

wave to lipのリンクをクリックして、セットアップステップを実行します。その後、ビデオとオーディオファイルをアップロードして、リップシンク処理を実行します。

コミーのワークフローをインストールするにはどうすればよいですか?

私のパトロンページからコミーのワークフローをダウンロードし、コミーのUIにドラッグ＆ドロップします。また、コミーマネージャーからカスタムノードとモデルをインストールする必要があります。

このワークフローでは、どのようにマウスを切り取っていますか?

コミーのワークフローには、低解像度のwave to lip動画から顔を修復するノードと、自動でマウスを切り取り、元の高画質ビデオと合成するノードが含まれています。

コミーのワークフローではどのようにして顔を修正していますか?

最後に顔修復ノードが追加されており、目などの顔の部分を修正することができます。ただし、顔の形を変えすぎる可能性もあるため、必要に応じて無効化することもできます。

これらのワークフローとツールを使って、どのような作品を作ろうとしていますか?

人工知能シリーズの次回エピソードで、宇宙での人類の未来についての話をする登場人物を作ろうと考えています。リップシンクを使って会話する主人公を作成し、短編映画を完成させる予定です。