Lip Sync for your AI MOVIES!
Summary
TLDRこのビデオスクリプトでは、AIムービーのリップシンク作成のための2つのワークフローが紹介されています。最初に、Syntheesisという有料サービスを使った方法が説明され、次に無料のオプションとしてWave to Lipを使った手作業が多い手順が紹介されています。後半では、Comfyという無料ツールを使ってリップシンクを簡単に作成する方法が示されており、ワークフローの自動化と結果の改善に重点が置かれています。プロセス全体を効率化し、短編映画の制作期間を大幅に短縮できるようになりました。
Takeaways
- 🔗 SynLabsを使用してAIムービーのリップシンクを作成する方法が紹介されています。
- 🎥 無料バージョンに大きな透かしマークが追加されたため、SynLabsは有料版が推奨されています。
- 🆓 無料の代替ワークフローとして、Wave to Lipツールが紹介されています。
- 📉 Wave to Lipは優れたリップシンクを提供しますが、画像品質が低いという問題があります。
- 🛠️ 低品質の口元をマスキングして元の高解像度ビデオに合成する工程が解説されています。
- 🔄 PNGシーケンスを通じて顔の修復ツールにかけ、最終的なビデオ品質を向上させるプロセスが紹介されています。
- 💡 Wave to Lipと組み合わせて使用する自動化された新しいワークフローが提示されています。
- 📁 コミュニティからダウンロード可能な無料のコミワークフローが利用でき、簡単に統合できることが強調されています。
- 🖥️ 必要なモデルとカスタムノードのインストールが必要であることが説明されています。
- ⏱️ 新しいワークフローにより、リップシンクの追加にかかる時間が大幅に短縮されると強調されています。
Q & A
この映画でのリップシンク効果を作成するために使用されたツールは何ですか?
-synlaabsというウェブサイトを使用しました。そのサイトにビデオと音声ファイルをアップロードして、モデルを選択すると、リップシンク動画を生成できます。
synlaabsの無料バージョンにはどのような制限がありますか?
-最近、synlaabsの無料バージョンには大きなウォーターマークが追加されました。したがって、大量のリップシンク動画を生成したい場合は、有料版を使う必要があります。
前のワークフローではどのようなプロセスを経てリップシンクを作成していましたか?
-以前のワークフローでは、wave to lipを使ってリップシンクを作成し、画質の悪いマウスだけを切り取って元の高解像度ビデオに重ね合わせていました。そして、PNG画像シーケンスに変換し、AUTOMATIC1111のExtrasタブを使って顔を修正していました。
新しいワークフローはどのようなプロセスを経てリップシンクを作成していますか?
-新しいワークフローでも、wave to lipをベースにリップシンクを作成しています。その後、コミーのワークフローを使ってマウスを自動的に切り取り、元の高画質ビデオと合成します。
新しいワークフローの利点は何ですか?
-新しいワークフローでは、リップシンク動画を作成するプロセスがシンプルで自動化されているため、時間をかけずにリップシンク動画を作成できるようになりました。
wave to lipを使用する際、どのように設定しますか?
-wave to lipのリンクをクリックして、セットアップステップを実行します。その後、ビデオとオーディオファイルをアップロードして、リップシンク処理を実行します。
コミーのワークフローをインストールするにはどうすればよいですか?
-私のパトロンページからコミーのワークフローをダウンロードし、コミーのUIにドラッグ&ドロップします。また、コミーマネージャーからカスタムノードとモデルをインストールする必要があります。
このワークフローでは、どのようにマウスを切り取っていますか?
-コミーのワークフローには、低解像度のwave to lip動画から顔を修復するノードと、自動でマウスを切り取り、元の高画質ビデオと合成するノードが含まれています。
コミーのワークフローではどのようにして顔を修正していますか?
-最後に顔修復ノードが追加されており、目などの顔の部分を修正することができます。ただし、顔の形を変えすぎる可能性もあるため、必要に応じて無効化することもできます。
これらのワークフローとツールを使って、どのような作品を作ろうとしていますか?
-人工知能シリーズの次回エピソードで、宇宙での人類の未来についての話をする登場人物を作ろうと考えています。リップシンクを使って会話する主人公を作成し、短編映画を完成させる予定です。
Outlines
🖥️ 2つの無料アプリを使ったリップシンク動画の作り方
この段落では、リップシンク動画を作成する2つの無料ワークフローについて説明しています。まず、Syntoaysというサービスを使って、動画とオーディオファイルをアップロードすると、数分でリップシンク動画が作成できます。しかし、無料版では大きな透かしが付くため、長時間のリップシンク動画を作る場合は高額な料金が必要になります。2番目のワークフローでは、WaveToLipというツールを使い、口元の部分だけを切り取ってオリジナル動画に合成する無料で複雑なワークフローを説明しています。最後に、この方法には多くの手順が必要だったため、簡単でよりオートメーション化された新しいワークフローを紹介しています。
Mindmap
Keywords
💡リップシンク
💡AIキャラクター
💡AIフィルムメーカー
💡ワークフロー
💡SynLab
💡wave to lip
💡Comify
💡フェイス リストア
💡パトロン
💡短編映画
Highlights
Two workflows for creating lip sync for AI movies are discussed.
The first workflow utilizes Synlabs, a tool that allows users to upload a video and an audio file to generate lip-synced videos, with the recommendation to use their 1.5 model for the best results.
Synlabs offers a free version that allows users to generate minutes of audio per month, but with a large watermark.
For users who want to generate a lot of AI-generated lip sync videos and have the budget, Synlabs is a suitable tool, but it can become expensive for casual AI filmmakers.
The second workflow utilizes Wave to Lip, a free tool that produces good lip sync but with poor image quality.
To improve the image quality, the author manually masked out the mouth and placed it over the original video, then exported it as a PNG sequence.
The author then ran the PNG sequence through Automatic1111's extras tab, using a combination of GFPGAN and CodeFormer to fix the broken AI faces.
The final result was a high-resolution video with a poor-quality mouth that was fixed using this workflow.
The author simplified and automated the workflow to use Wave to Lip as the foundation, with a link provided in the video description.
The author's simplified workflow involves connecting to Google Drive, running the setup, and uploading the original video and audio files to generate the lip-synced video.
To improve the appearance, the author recommends downloading a free comi workflow from their Patreon page, which automatically cleans up the mouth, masks it out, and combines it with the original video.
The comi workflow includes face restoration nodes to fix low-resolution faces and mask out the mouth, combining it with the original high-resolution image.
The workflow also includes an optional face restoration node at the end to fix any issues with the face, like weird-looking eyes.
The author's simplified workflow takes no more than 2 minutes to add lip sync to any type of shot, allowing for faster completion of their new short film.
The author encourages viewers to subscribe to their channel to stay updated on the final film and full workflow video.
The author thanks their lovely Patreon subscribers, who make these videos possible.
Transcripts
here are two workflows for creating lip
sync for your AI movies I'm currently
working on the next episode of my AI
series about Humanities future in the
cosmos and this time I actually wanted
to have a talking character a presenter
who becomes the protagonist of the film
for this I used a new tool called syn
laabs and all you have to do is go to
their website upload a video and an
audio file and select a model and I
recommend their 1.5 model for the best
results wait a few seconds and you will
have your lip synced video you can
generate minutes of audio per month for
free but unfortunately they recently
added a huge Watermark to the free
version welcome to Titan city of
Tranquility Humanity's gateway to the
Stars so if you have the money and want
to generate lots and lots of AI
generated lip sying videos this tool is
for you but for casual uses in AI
filmmakers this can become quite
expensive so let me show you my free
alternative workflow you may remember
that in one of my older videos I created
a pretty complex workflow for this I
used wave to lip which produces really
good lip Sy for free but unfortunately
with a very poor image quality to fix
this I manually masked out just the
mouth and placed it over the original
video now I had a high resolution video
with a poor quality mouth I then
exported it as a PNG sequence which I
ran through automatic 1111s extras tab
with a mix of gfp Gan and code forer on
top of it and both are tools to fix
these broken AI faces then I had to
convert the images back into video
sequences and this was my final result
the center of the earth that's
impossible not if we follow his Clues
come on Axel we have to go to
Iceland H belela he is the toughest
Hunter on the island he will be your
guide what does he
hunt
Ducks excellent let's
go I was quite happy with the results
but creating these shots took a lot of
time because of all these steps and
that's why I simplified and automated
the the whole workflow we're still going
to use wave to lip as the foundation for
our effect just use the link in the
video description and click on copy to
drive
connect and run the first step the setup
after about a minute it should be done
and you can scroll all the way down to
lip sync on your video
file click on the small play button and
then you will be asked for permission to
access your files which you must Grant
now you can click the browse button go
to your folder with your clips and and
upload the original video in my case the
video was created in
Runway scroll down to step three and do
the same thing for your audio file you
can use either MP3 or wave files once
it's uploaded start the last step and
after a few seconds you will have your
lip synced
video Welcome to Titan city of
Tranquility Humanity's gateway to the
stars and now let's actually make it
look nice for that you can download my
free comi workflow from my patreon page
drag it into the user interface and
simply upload your original video and
your lip sync video from wave to lip and
run it this workflow then automatically
cleans up the mouth masks it out and
combines it with your original video in
a matter of seconds Humanity's gateway
to the Stars welcome to Titan city of
Tranquility Humanity's gateway to the
Stars when you first import the workflow
make sure to go to the comi manager and
click on install missing custom notes
also go to install models and make sure
that you have code forer gfp Gan and one
of the face detector models installed
restart comu ey and upload your original
video up
here and your low resolution wave to lip
video down
here so here comes the first phase
restore node which will fix the low
resolution phase from wave to lip and it
does a pretty good job but the area
around the face is still low resolution
and also the rest of the face looks a
bit different now and you might want
this because it looks better but I would
like to control it separately so this
next step will automatically mask out
the mouth and combine it with the
original high resolution image finally I
added another face restoration note at
the end and this can help you to tie
everything together and fix other parts
of the face like if the eyes look weird
in the generated video but it can also
change your face a little bit so if you
don't want that just disable it with
this workflow now takes me no more than
2 minutes to add lip sync to any type of
shot so I should be able to finish that
new short film in no time make sure to
subscribe so you don't miss out on the
final film and full workflow video for
it and thank you to my lovely patreon
subscribers who make these videos
possible
Voir Plus de Vidéos Connexes
5.0 / 5 (0 votes)