Lip Sync for your AI MOVIES!

Mickmumpitz

11 Feb 202404:46

Summary

TLDRこのビデオスクリプトでは、AIムービーのリップシンク作成のための2つのワークフローが紹介されています。最初に、Syntheesisという有料サービスを使った方法が説明され、次に無料のオプションとしてWave to Lipを使った手作業が多い手順が紹介されています。後半では、Comfyという無料ツールを使ってリップシンクを簡単に作成する方法が示されており、ワークフローの自動化と結果の改善に重点が置かれています。プロセス全体を効率化し、短編映画の制作期間を大幅に短縮できるようになりました。

Takeaways

🔗 SynLabsを使用してAIムービーのリップシンクを作成する方法が紹介されています。
🎥 無料バージョンに大きな透かしマークが追加されたため、SynLabsは有料版が推奨されています。
🆓 無料の代替ワークフローとして、Wave to Lipツールが紹介されています。
📉 Wave to Lipは優れたリップシンクを提供しますが、画像品質が低いという問題があります。
🛠️ 低品質の口元をマスキングして元の高解像度ビデオに合成する工程が解説されています。
🔄 PNGシーケンスを通じて顔の修復ツールにかけ、最終的なビデオ品質を向上させるプロセスが紹介されています。
💡 Wave to Lipと組み合わせて使用する自動化された新しいワークフローが提示されています。
📁 コミュニティからダウンロード可能な無料のコミワークフローが利用でき、簡単に統合できることが強調されています。
🖥️ 必要なモデルとカスタムノードのインストールが必要であることが説明されています。
⏱️ 新しいワークフローにより、リップシンクの追加にかかる時間が大幅に短縮されると強調されています。

Q & A

この映画でのリップシンク効果を作成するために使用されたツールは何ですか?
-synlaabsというウェブサイトを使用しました。そのサイトにビデオと音声ファイルをアップロードして、モデルを選択すると、リップシンク動画を生成できます。
synlaabsの無料バージョンにはどのような制限がありますか?
-最近、synlaabsの無料バージョンには大きなウォーターマークが追加されました。したがって、大量のリップシンク動画を生成したい場合は、有料版を使う必要があります。
前のワークフローではどのようなプロセスを経てリップシンクを作成していましたか?
-以前のワークフローでは、wave to lipを使ってリップシンクを作成し、画質の悪いマウスだけを切り取って元の高解像度ビデオに重ね合わせていました。そして、PNG画像シーケンスに変換し、AUTOMATIC1111のExtrasタブを使って顔を修正していました。
新しいワークフローはどのようなプロセスを経てリップシンクを作成していますか?
-新しいワークフローでも、wave to lipをベースにリップシンクを作成しています。その後、コミーのワークフローを使ってマウスを自動的に切り取り、元の高画質ビデオと合成します。
新しいワークフローの利点は何ですか?
-新しいワークフローでは、リップシンク動画を作成するプロセスがシンプルで自動化されているため、時間をかけずにリップシンク動画を作成できるようになりました。
wave to lipを使用する際、どのように設定しますか?
-wave to lipのリンクをクリックして、セットアップステップを実行します。その後、ビデオとオーディオファイルをアップロードして、リップシンク処理を実行します。
コミーのワークフローをインストールするにはどうすればよいですか?
-私のパトロンページからコミーのワークフローをダウンロードし、コミーのUIにドラッグ＆ドロップします。また、コミーマネージャーからカスタムノードとモデルをインストールする必要があります。
このワークフローでは、どのようにマウスを切り取っていますか?
-コミーのワークフローには、低解像度のwave to lip動画から顔を修復するノードと、自動でマウスを切り取り、元の高画質ビデオと合成するノードが含まれています。
コミーのワークフローではどのようにして顔を修正していますか?
-最後に顔修復ノードが追加されており、目などの顔の部分を修正することができます。ただし、顔の形を変えすぎる可能性もあるため、必要に応じて無効化することもできます。
これらのワークフローとツールを使って、どのような作品を作ろうとしていますか?
-人工知能シリーズの次回エピソードで、宇宙での人類の未来についての話をする登場人物を作ろうと考えています。リップシンクを使って会話する主人公を作成し、短編映画を完成させる予定です。

Outlines

00:00

🖥️ 2つの無料アプリを使ったリップシンク動画の作り方

この段落では、リップシンク動画を作成する2つの無料ワークフローについて説明しています。まず、Syntoaysというサービスを使って、動画とオーディオファイルをアップロードすると、数分でリップシンク動画が作成できます。しかし、無料版では大きな透かしが付くため、長時間のリップシンク動画を作る場合は高額な料金が必要になります。2番目のワークフローでは、WaveToLipというツールを使い、口元の部分だけを切り取ってオリジナル動画に合成する無料で複雑なワークフローを説明しています。最後に、この方法には多くの手順が必要だったため、簡単でよりオートメーション化された新しいワークフローを紹介しています。

Mindmap

Keywords

💡リップシンク

口の動きを音声に合わせる技術のこと。この動画では、リップシンクを使ってAIキャラクターに口を動かして話させる方法を説明している。「SynLabsを使って簡単にリップシンクが作れる」「wave to lipを使って無料でリップシンクを作る」など、多くの例を挙げて説明されている。

💡AIキャラクター

人工知能によって生成された映像キャラクターのこと。動画では、「プレゼンターやプロタゴニスト役のAIキャラクターを作りたい」と述べ、リップシンク技術を使ってAIキャラクターに口を動かす方法を紹介している。

💡AIフィルムメーカー

人工知能を使って映像作品を作る人のこと。動画の作者は自分を「AI フィルムメーカー」と呼び、AIのツールを使って短編映画を作成する過程を説明している。「私のように、AIフィルムメーカーにとっては便利なワークフローになるはずです」といった例がある。

💡ワークフロー

特定の作業を効率的に行うための一連の手順のこと。動画では、リップシンクを適用する2つのワークフロー(SynLab、wave to lipとComify)の説明が中心となっている。「この新しいワークフローなら、とても簡単にリップシンク映像を作れます」など、ワークフローの手順を詳しく説明している。

💡SynLab

リップシンクを自動生成するWeb製品の名前。動画では「SynLabsを使うと、動画とオーディオファイルをアップロードするだけでリップシンクが作れる」と説明し、この製品の使い方を紹介している。無料版では大きな透かし入りになる点も指摘されている。

💡wave to lip

リップシンクを自動生成するオープンソースのツールの名前。動画の後半では、wave to lipとComifyを組み合わせて使う新しいワークフローが紹介されている。「wave to lipを基盤に使い、Comifyでマスクをかけて高解像度の映像と合成する」という手順が説明されている。

💡Comify

動画編集・画像処理用のAIツールの名前。動画では、Comifyを使って、wave to lipの低解像度の口元のみをマスクして、元の高解像度映像と合成するワークフローが紹介されている。「Comifyの無料ワークフローをダウンロードして使えば簡単にリップシンク映像ができる」と説明されている。

💡フェイスリストア

人工知能を使った顔修復の技術のこと。映像内の人物の顔を綺麗に修復し、違和感なく自然に見えるようにする処理のこと。動画のComifyのワークフローでは、フェイスリストアを使って、生成されたキャラクターの顔の品質を上げる手順が紹介されている。

💡パトロン

クリエイターの活動を金銭的に支援するファンの呼び名。動画の最後で、この動画がパトロンからの支援によって制作されたことに感謝の言葉が述べられている。「素晴らしいパトロンのおかげで、このような動画を作ることができます」という具合に、クリエイターとファンのつながりが示されている。

💡短編映画

映画の中でも短い尺の作品のこと。動画の作者は「次のAIシリーズの短編映画で実際にプレゼンターのAIキャラクターを作ろうと思っています」と述べており、リップシンク技術を使ってAIキャラクターを登場させる短編映画の制作を目指していることがわかる。

Highlights

Two workflows for creating lip sync for AI movies are discussed.

The first workflow utilizes Synlabs, a tool that allows users to upload a video and an audio file to generate lip-synced videos, with the recommendation to use their 1.5 model for the best results.

Synlabs offers a free version that allows users to generate minutes of audio per month, but with a large watermark.

For users who want to generate a lot of AI-generated lip sync videos and have the budget, Synlabs is a suitable tool, but it can become expensive for casual AI filmmakers.

The second workflow utilizes Wave to Lip, a free tool that produces good lip sync but with poor image quality.

To improve the image quality, the author manually masked out the mouth and placed it over the original video, then exported it as a PNG sequence.

The author then ran the PNG sequence through Automatic1111's extras tab, using a combination of GFPGAN and CodeFormer to fix the broken AI faces.

The final result was a high-resolution video with a poor-quality mouth that was fixed using this workflow.

The author simplified and automated the workflow to use Wave to Lip as the foundation, with a link provided in the video description.

The author's simplified workflow involves connecting to Google Drive, running the setup, and uploading the original video and audio files to generate the lip-synced video.

To improve the appearance, the author recommends downloading a free comi workflow from their Patreon page, which automatically cleans up the mouth, masks it out, and combines it with the original video.

The comi workflow includes face restoration nodes to fix low-resolution faces and mask out the mouth, combining it with the original high-resolution image.

The workflow also includes an optional face restoration node at the end to fix any issues with the face, like weird-looking eyes.

The author's simplified workflow takes no more than 2 minutes to add lip sync to any type of shot, allowing for faster completion of their new short film.

The author encourages viewers to subscribe to their channel to stay updated on the final film and full workflow video.

The author thanks their lovely Patreon subscribers, who make these videos possible.