【AIで画像が喋る】リップシンクが可能なサービス3つを比較【EMOっての凄い】
Summary
TLDRこのビデオでは、最新のAI技術を用いたリップシンク技術について紹介しています。特に、音のない動画に後から声を入れて口元とリンクさせる「リップシンク」の技術を使った、PICA、didid、そしてthinkという3つの動画生成AIサービスを比較しています。これらのサービスを利用することで、TikTokやYouTubeなどで面白いコンテンツを作成することが可能になります。また、中国のアリババグループによる研究レポートで紹介されている「emo」という高品質のRPSN系サービスも取り上げられており、将来的にリップシンク技術がどれだけ進化するかの可能性を示唆しています。
Takeaways
- 😃 リップシンクを使った3つのサービス(PICA、didid、think)を紹介
- 😮 PICAは月額1万円だが画像・動画両方対応、最大3秒まで
- 👍 dididは1番画質が高いが静止画のみ対応
- 🎥 thinkは動画のみ対応だが制限秒数なし、値段も手ごろ
- 🤔 おしゃれな画像をリップシンクで歌わせると面白いコンテンツに
- 😅 動画作成で2万円以上かかっていることが判明
- 😢 ピカの1万円の料金設定が想定以上に高かった
- 🙇♂️ 今までの動画作成で月額7万円払っていたことが判明
- ❗️ 不要なサブスクリプションは解約することを忘れずに
- 👍 YouTubeのメンバーシップに入ると特典がある
Q & A
この動画で紹介されているリップシンクサービスはどのようなものですか?
-PICA、didid、thinkの3つのサービスが紹介されています。PICAは動画と画像からリップシンクが可能、dididは画像のみ、thinkは動画のみからリップシンクができます。
PICAのリップシンク機能を使うにはどのプランに入る必要がありますか?
-現在は1番高いプロプラン(月額約1万円)に入る必要があります。将来的にはより低いプランでも利用できる可能性があります。
dididのリップシンク機能の特徴は何ですか?
-画像からリップシンクを生成できる点です。紹介された3つのサービスの中で最もクオリティが高いとされています。
thinkのリップシンク機能にはどのような制限がありますか?
-動画からのみリップシンクが可能で、画像からは生成できません。制限として、リップシンクできる秒数に上限がない点が特徴です。
これらのサービスを使って面白いコンテンツを作るアイデアとして何が紹介されていましたか?
-おしゃれな画像を生成してリップシンクで歌わせる、というアイデアが紹介されていました。動画編集の技術と組み合わせることで面白いコンテンツが作れるとしています。
emoという技術とはどのようなものですか?
-アリババグループの研究レポートで紹介されたリップシンク技術。紹介されたサービスより高いクオリティでしたが、現時点ではサービスとして利用できないようです。
PICAのリップシンク機能の制限は何ですか?
-入れられる音声の長さが最大3秒までという制限がある点です。動画を接続することである程度回避は可能ですが、制限として痛い点だと述べられています。
月額7万円ものAIサービスのサブスクリプションを契約していたことが判明したとありますが、どのようにしたら良いでしょうか?
-不要となったサブスクリプションは解約することが大切です。支払いを続ける必要がなくなったサービスは積極的に解約しましょう。
動画内で音声生成に使われたサービスは何ですか?
-ElevenLabsというテキストから音声を生成するサービスが使用されていました。サービスの比較において音声データとして利用されていました。
月額料金を比較した場合、最もコストパフォーマンスが良いサービスはどれですか?
-dididが月額約2000円と最も低く、しかもクオリティが高いとされていたため、コストパフォーマンスが最も良いサービスだと思われます。
Outlines
リップシンクAIサービス3種類の比較と違い
3つのリップシンクAIサービスPICA、didid、Synthesiaの料金、特徴、メリットデメリットなどを比較している。PICAは1万円かかるが最大3秒のリップシンクしか対応していない。dididは画像のみ対応だが品質が高い。Synthesiaは動画のみ対応でPICAより品質が高く制限もない。
PICAのリップシンク機能と実際のデモ
PICAの有料プランである月額1万円のプロプランでリップシンク機能を実際に試している。テキストから音声生成できないバグがあるようだが、音声ファイルをアップロードすれば動画とリップシンクできることをデモしている。最大3秒の制限がある点と動画時間を延長する方法について説明。
安価なdididでリップシンク機能を試す
PICAと比較して安価な月額2000円程度のdididでもリップシンク機能が使えることをデモ。画像からのみリップシンクが可能で、PICAより高い品質だが動画には未対応。
Synthesiaのリップシンク機能を評価
動画からのみリップシンク可能なSynthesiaも試す。品質が高く制限もなく扱いやすい印象。3つのサービス比較とリップシンクを使った面白いコンテンツ作成の提案で締めくくる。
Mindmap
Keywords
💡リップシンク
💡動画生成AI
💡PICA
💡didid
💡商用利用
💡サブスクリプション
💡クオリティ
💡音声生成
💡コンテンツ制作
💡プラン
Highlights
リップシンク技術を紹介、音のない動画に後から声を入れて口元をリンクさせるAI技術
リップシンクに関する3つのサービスを紹介:PICA、didid、シンク
中国アリババグループによるリップシンク技術に関する研究レポート「emo」の紹介
PICAはテキスト、画像、動画から動画を生成するサービス
リップシンク機能を使うにはPICAのプロプラン加入が必要
PICAでのリップシンクは最大3秒まで、しかし動画拡張で最大18秒のリップシンクが可能
dididはクオリティが高く、画像からリップシンクするサービス
シンクは動画からのみリップシンク可能で、PICAよりもクオリティが高い
リップシンク技術を使用してTikTokやYouTubeで面白いコンテンツを作る可能性
リップシンク機能を使って動画や画像を表情豊かに喋らせることができる
動画生成AIとしてのPICAの紹介とそのリップシンク機能の解説
リップシンクサービスの比較:PICA、didid、シンクのメリットとデメリット
動画編集技術を使用してリップシンクを活用するアイデアの提案
サブスクリプションサービスの管理と不必要なサービスの解約の重要性の言及
YouTubeのメンバーシップとdisordコミュニティの紹介
Transcripts
はいこんにちはケトです突然なんですが
こちらの映像をご覧くださいWhere
isMagicdoes
workはいえこちらの映像は元動画は
ですね口元は一切動いてない音のない動画
だったんですが今回紹介するですねリップ
シンクっていう技術を使ってえ後から
入れ込んだ声とえ口元をリンクさせた動画
をですね新たにAIが生成してい
るっていうものになりますえとで今回は
こちらのリッシンクに関するサービスを
紹介していきたいと思いますえそして今回
紹介するサービスはですね全部で3つあり
ますえそしてですね面白いレポートをです
ね1つ紹介していきたいと思いますえで
このリッシンのサービスを使えばですね
なんか適当な動画に色々喋らせたり歌わせ
てみたりっていうことができるかもしれ
ないのでまtiktokとか
YouTubeとかで面白いコンテンツを
作れるんじゃないかなって思いますえ是非
参考にしていただければと思いますえ
ちなみに私のチャンネルはAIやWEBに
関する便利なツールや情報を共有している
チャンネルですチャンネル登録が休みで
ない方はチャンネル登録のどお願いいたし
ますそれでは本題に入っていきますという
ことで今回紹介するリップシンクが使える
サービスはですねこちらのピカっていう
動画生成AIとはいえこちらんですね
dididっていうサービスそしてですね
こちらのシンクっていうサービスになり
ますはいこの3つがまリッシンで今1番
目立ってるサービスかなと思いますので
それぞれですね使ってみてメリットと
デメリットそして違いみたいなところです
ね比較していきたいと思いますえという
ことでま本題のですねえ先ほどのツールの
比較に入る前に1つだけすごく面白いです
ねレポートが出てきてますのでこちらだけ
共有させていただきますえこれもですね
リッシンクに関わるレポートになるんです
けど中国のアリババグループが出している
研究レポートになりますえこれですね結構
すごかったですえなんか名前はemoって
いう名前らしいんですけどえどのRPSN
系のサービスよりもクオリティは高いです
えただ現状研究レポートになってるだけ
ですのでサービスとしては一切使えない
ですえ実際のクオリティはですねねまこの
動画を見てもらえれば分かると思うんです
が本当にすごいんで1回見てみてください
えでは再生しますIthinkThis
isRightNowan
inflectionPOINTWe
sortofyouknow
redefininghowwe
interactwithwith
Digital
informationていう感じですね
はいこれですね以前紹介させていただいた
OpenAIの空で出てきた謎の女性の
スクリーンショットかなんかだと思うん
ですけどえこの画像をですねこのLPSN
のemoっていう技術を使えばこだけです
ね表情豊かにえ本当に喋ってるみたいな
感じになるっていうこれがですねリッシン
の技術になるみたいですはいま難しいこと
も色々と書いてあったりもしますがえ主に
こんな感じですはいでこの研究レポートの
ページはですねえ概要欄に掲載しておき
ますので皆さんもですねよく見てみて
くださいはいYouTubeじゃ流せない
ようなえ歌をですね歌ってるやつとかも
ありますのですごく面白いと思いますはい
ま将来的にはこのクオリティまでですね
リップシンクの技術も上がるんだよって
いうのをま見越してですねねえ次で紹介
するサービス3つをですね見ていただけれ
ばいいと思いますえていうことでま本題に
なってくんですけど今回はPICAと
didとthinkっていうえ3つのです
ねえRPSNを扱うことができるサービス
を紹介して比較していきたいと思いますえ
ということでまず始めにですねPICAの
方を紹介していきますでこのサービスは
ですねご存知の方も多いと思うんですけど
テキストもしくはえ画像もしくは動画から
動画を生成してくれる動画生成AIの
サービスになってますまどんな動画が
できるかと言うとまこんな感じで結構です
ね本格的なですね動画が簡単にですね生成
することができますまただオAIの空が出
てきたことによってですねその辺全部
そっちが持ってったっていう感じですえ空
が出てくるまではこのピカっていう
サービスが1番ですね動画生成系では
クオリティ高かったと思います他にはです
ねランウェイていうサービスもあったん
ですけどそことまあえため半ぐらいだった
かなと思いますまそんな感じのサービスに
なってるんですけどこのピカのえ一部機能
としてリップシンクの機能もついてき
たっていう感じですえそしてですねこの
ピカでリップシンクを使うにはですね有料
プランに加入する必要がありますこの
リッシン以外もですね動画を十分に生成
するためには有料プランにえ加入してか
ないといけないんですけどリッシンの場合
はですねなんとですね1番高いこのプロ
プランプロプランに入る必要が現状はあり
ますえただですねこれは今だけだと思い
ますおそらくえていうのもこのリップ
シンクの機能のがまだアーリーアクセスて
いうものになってるからですはいいわゆる
まベータ版とかアルファ版とか早期体験版
みたいな扱いでえ現状ピカでは使え
るっていう感じですはいなのでこのR
アクセスを体験できるのはプロプランのみ
になってるからえプロでしか現状は使えな
いっていうことだとは思ってますえ今後
RPSNの機能が正式にえ追加されるって
なったらもしかしたら他のですねもう
ちょっと安いプランでも使えるようになる
のかもしれないですえただ2024年2月
28日1え今日時点ではえアリーアクセス
版であるためえ1番高い70$日本円で
言うと約1万円のプランでしか使えない
いっていうところだけ覚えといてください
はいそして冒頭でお見せしたですねこちら
のえ女性のキャラクターが喋って
るってやつこれもですねピカで生成した
やつですはいあとこのおっちゃんのやつも
そうですねまあんな感じのクオリティの
ものができるっていう感じですではですね
実際にリップシンクを試していきたいと
思いますということで事前にですねま
こんな感じの動画をですねピカで出してみ
ましたえこれにですねリップシンクの機能
を付け加えて喋らせてみたいと思います
はいということで実際に喋らせるんです
けど音声もですねせっかくなんでAIを
使っていきたいと思いますえということで
以前にですねこちらん動画で解説させて
いただいたイブンラブズを使ってえ音声は
生成しますえこのイブンラブズが気にな
るって方はですね是非先ほどの動画を見て
みてくださいえ外用欄に入れておきますと
いうことで適当にはいブライアンっていう
声にしてですね声を生成しますこれで
オーディオファイルをですねダウンロード
していきますオーディオファイルが
ダウンロードできましたのでPICAの
ですねこちらの動画はいこれをエディット
としてもらってえするとですねえ
インプットしてるものは動画になりますえ
そしてですねはいこちらRPSNっていう
のがありますのでこちらをクリックするえ
するとですねテキストtoオーディオ
もしくはMP3かMP4のファイルを
アップロードしてくれっていうのが出てき
ますでここで注意点なんですけどえこの
テキストtoオーディオてやはですねどう
もですね試してもうまくいきませんこんな
感じでテキストを入力して音声もですね
適当に決めてジェネレートボイスと押せば
ですねいけるのかと思いきらですねはい
こんな感じで一向にですね進みませんうん
なんかまバグなのか何なのかベータ版だ
からえ仕方がないのか分かりませんが進み
ませんっていうところですえなので現状は
この下のですねアップロードファイルって
いうところから先ほどんですねイレブン
ラブズみたいなものを使って音を入れ込む
方がま確実かなと思いますはいこんな感じ
でアップロードしてもらってえ次に進むと
音声の確認をすることができますここで
ですねもう1個注意点があるんですけど
ピカの場合はですね音を入れ込む音に関し
ては最大3秒までしか入れ込むことができ
ないみたいですこれがですね結構ま痛いっ
ていうか最大3秒までかとはいなかなか
痛いポイントにはなってますま今後ですね
これが伸びるかもしれないんでまそこは
期待したいなっていうところですでここ
まで準備ができましたらジェネレちょっと
押せば動画の生成が開始されますっていう
ところですではしばらく待っていきます
はいということで出来上がりました
なかなかいい感じにですねリップシンクし
てくれましたねえということで再生して
いき
ますfintouえていう感じです
なかなかいい感じですよねうまくいった
なっって感じですはいただま最大3秒って
ところがですね結構痛いなと思いますえま
このピカを使ってですねもうちょっと長い
感じのえ動画をリップシンクを使って作っ
ていきたいって場合はですねピカにはです
ねですねこの動画を作成した後にこうAD
4Sって書いてある部分これを押すことに
よってその動画を拡張してくれますえなの
で結論ですね最高ですね18秒までいけん
のかなえこれは15秒の動画になってます
がえ動画の秒数をですね伸ばすことができ
ますえこれを使いつつえ元素材の動画を3
秒区切りで動画編集ソフトでカットして
いくでその3秒ごとにリップシンクのえ
入れたい声っていうのを入れてけばえ最終
的には数十秒の動画も完成すると思います
えまそもそも動画生成AIを使わずに
オリジナルの動画素材があればそれをです
ねえ3秒ごとリップシンクさせてくていう
風にやればですねまうまくいくんじゃない
かなと思いますま手間はかかりますが
そんな感じのやり方でいけるんじゃないか
なと思いますはいでちなみになんですけど
先ほどは動画をインプットしてリップ
シンクさせましたけど画像をですね
インプットしてでもリップシンクさせる
ことはできますそれをやったやつがですね
こちらになりますのでこれも再生していき
たいと思い
ますえという感じですねま最後の方全然口
パクパクしてませんでしたけどまこの
ぐらいのクオリティですはい他にもですね
色々と試してみたんですけどインプット
するえ素材でですねうまくいくかいかない
かっていうのは差が出るなという印象です
えその辺はまどんな生成AIを使っても
一緒だと思うんですけどえこのリップ
シンクの機能もインプットする素材でえ
クオリティは変わってきますよっていう
ところですということで1つ目のリップ
シンクを使えるサービスはPICAになり
ますでは続いてのサービスはですねこちら
のdididになりますねはいこちらも
ですね紹介していきたいと思いますはいで
こちらのdididに関してもま何かしら
の有料プランには入らないと商用利用でき
ないのでえ注意してください一応試す分に
は無料でも試せると思いますえただ
クレジットを使ってくっていう類いの
サービスですので無料で使使えるのは何回
か数回だけだと思いますえま僕もですね
とりあえずYouTube動画にも出すっ
ていうことで商用ライセンスもついている
えプロプランに加入してみましたえプロ
プランだと最低ですね月額16$ってこと
で2000円弱ぐらいで使えるみたいです
のでまこちらに加入してえ検証してみまし
たえそしてこのdididの使い方はえ
右上にクリエイトビデオっていうのがあり
ましてえここでスクリプトとオーディオっ
ていうのを選択することができますので
右側のオーディオの方からえさっきのです
ね音楽とか音声とか入れ込んで喋らせ
るっていう感じですということで先ほどと
同じこの男性キャラクターこれを使って
ですね何かしら喋らせてみたいと思います
じゃ入れ込むものもさっきと同じ言葉で
いきたいと思いますえMP3のファイルを
こちらのオーディオの方で入れ込んでいき
ますで右上のジェネレートビデオって
ところをクリックすれば生成が開始され
ますで1回生成するのに1クレジット使う
みたいですそしてそしてですねあもう完成
しましたねそしてですねこのdididに
関してはインプットできるものが画像しか
ないっぽいですねえビデオからえビデオを
作るっていうことは現状はこの機能では
できないっぽいですなので画像をですね
リッピシンクさせて喋らせるっていう
サービスになると思いますはいということ
で完成しましたのでこちら再生していき
たいと思います
NEXTっていうことでなかなか
クオリティ高いですねさっきのPICA
よりも圧倒的にクオリティ高いです比べて
みます
かこっちがえ先ほど紹介したピカになり
ますこっちがですねDDになります明らか
にdidのがクオリティ高いですね
なるほどなるほどPICAの方は1万円も
かけて検証したんですけどね全然didの
方が安いしクオリティ高いすねなるほどね
これはですね動画見てくださった方
めちゃくちゃ参考になるんじゃないかなと
思います1万円と3000円も使ってます
からねこれでまただですねえdidは静止
画をリップスインクさせるってことしか
できませんのでえ動画をリップシンクさ
せることはできないっていうところはです
ねえdididのデメリットになってくの
かなと思いますですか次で紹介するこちら
のSNこれはですねもう結論が言って
しまうと1番クオリティ高かったですただ
ですねこのthinkクってサービスは
画像をインプットしてリップシンクさせ
るってことはできないみたいですえさっき
のDIは像のみだったんですけど逆にです
ねこのSNは動画でしかできないみたい
ですえていうことで動画をインプットして
いきたいので先ほどピカで作ったこの動画
はいえ何もまだリップシンクされてない
状態の動画をダウンロードしてこれで同じ
ようにやっていきたいと思いますピカで
やったやつはこちらですねGoing
finishtouはいえこれとですね
比べていきたいと思いますえていうことで
ンクの方で先ほどのピカと同じ動画をです
ねねアップロードしてオーディオファイル
も同じ声同じ言葉を使っていきたいと思い
ますはいこれで
サブミッシブ
てみたらですねまどうなんすかねえそんな
に大差はないかもしれないですえただです
ねこの動画をですね撮影する前に検証で
色々と使ってみてたんですけどこの黒人の
やつはですねえ結構違いが出ましたえそれ
もちょっとお見せしますねえまずですね
こちらがピカで作ったやつになります
nexttimegoingtoput
thefinishingtouch
nexttimegoingputthe
finishingtouchはいえ
こんな感じで後半あたりが口がですね
もぐもぐしてるだけなんですよねえこれは
ですね割とピカでは失敗してしまったん
ですがえこちらのシンクっていうサービス
だといい感じに行きましたえということで
ですねこちらも見ていきましょうでは再生
していきますnexttimegoing
toputthefinishing
TouchesOnYouYou
Betterwatchyourback
えこんな感じですはいそしてですねこちら
のシンクってサービスはえピカと比べても
え長い秒数リップシンクに対応してます
ピカー3秒までだったんですけどこっちの
シンクはですねその制限はないですよって
いう感じですなのでアップロードする動画
とリップシンクさせる声の秒数はですね
一致させないとさっきの黒人のやつみたい
に変な感じでループしちゃうかもしれない
ですまこんな感じの違いがあって若干
こっちのシンクの方がクオリティ高いのか
なって思いましたということでまとめます
とピカはですね月額1万円ほどかかってき
て動画からリップシンクをすることが
できるそして画像からもリップシンクを
することができるであとですねま通常の
動画生成の機能も色々と使えるっていう
ものになってますでクオリティはまかも
なく不可もなくっていうところなんですが
最大3秒までのリップシンクにか現状
2024年2月28日では対応してなくて
ちょっとそこがデメリットかなと思って
ますえそしてdiidの方はクオリティは
ですねめちゃくちゃ高いですねえ今回紹介
してる3つの中では1番クオリティ高い
ように思えましたえただ画像をリップ
シンクするっていうところしかできなくて
そこはですね今後にも期待かなと思います
はいえ動画をリップシンクするような機能
もついてきてくれたらかなりいいんじゃ
ないかなと思ってますえそして3つ目の
シンクに関してはま動画からしかリップ
シンクはすることできないんですけど
クオリティはPICAよりも高いですし
そのリップシンクする秒数の制限もないっ
ていうところで扱いやすいんじゃないか
なって思いますそしてですね料金も割と
良心的でまそこまで高くはないですまピカ
と比べたらそんなに高くはないと思います
えそしてですねフリープランでも試すこと
はできるのでま一旦このシンクで試してみ
て何かねえtiktokとか
YouTubeとかを使ったコンテンツ
作成のアイデアとかがあればが行けそう
だったら有料課金してくっていう流れで
いいんじゃないかなって思いますという
ことで今回はですねPICAとdidid
とSNていうサービスをですね3つ紹介さ
せてもらってリッシンの機能の差を見て
いきましたま最後にちょっとしたアイデア
なんですけどリッシン系の機能を使って
ですね例えばこんな感じのおしゃれな画像
をミッジャニーなどで出してこういうのを
ですねリッシンを使って歌わせてみたり
すれば結構面白いコンテンツが作れるん
じゃないかなって思いましたまそこには
ですね動画編集の技術を使っておしゃれに
見せるっていう工夫は必要になってくん
ですけどまアイデアとしてねすごくいいな
と思いましたえシンプルな人間を歌わせる
のでもいいんですけどまこういうちょっと
えおしゃれにした感じのやつをリップ
シンクの技術を使って歌わせるみたいな
ことをすればですねなかなか面白い
コンテンツができるんじゃないかなって
思いますえ是非ですね今回紹介した
PICAdididthinkのいずれか
のサービスを使ってみてえまた新しい
コンテンツを作ってみるといいかもしれ
ないですはいえということで以上になり
ますえ今回はリッシン系のサービスを紹介
させていただきましたでなんとですねこの
動画を撮るためにミッジャーニーとイブン
ラブズとピカとdididのえ4つの
サービスに課金してですね2万円ぐらい
かかってますかねまさかのまさかていう
ピカが想像以上に高くてなんかリップ
シンクの話題が出てきてこれは僕も1回
試さなきゃなと思ってプランを見てみたら
なんと1万円っていうなかなか高いっすね
でそん時に色々とサブスクリプションを
整理してたらなんか今までの
YouTube動画で使ってきたいろんな
AI系のサービスのサブスクリプションの
契約が残っててな毎月7万円も払って
たっていうのが判明してやばいっすね皆
さんも何かしらのサービスの有料プランに
入ってる方はですね不必要になったやつは
ね解約するっていうの忘れないようにし
ましょうはいえということでま今回の動画
は以上になりますまこの動画がいいと思い
ましたらグッドボタンとチャンネル登録
是非お願いいたしますまたYouTube
のメンバーシップもやってます
メンバーシップに入っていただけると無料
で公開してるdisordコミュニティの
有料部分が解放されたりYouTube
ライブ配信のアーカイブを見ることができ
ますえ興味がある方は是非参加してみて
くださいえでは以上になります最後まで
ありがとうございまし
[音楽]
た
浏览更多相关视频
【徹底検証】Gemini1.5 Proの使い方と解説!性能が良過ぎて現状No.1のマルチモーダルAIだった
【EMO】!動画音声生成AI「Emote Portrait Alive」が凄すぎる!アリババ渾身のAIがついに登場
Google検索一部有料化検討?動画作成アプリは良い感じ!【AI・ITニュースまとめ】
【超有料級】AI画像×ショート動画で最強バズ動画を作って月100万円達成する方法【ChatGPT】【AI副業】
【無料で使える動画生成AI】Stable Video Diffusionってどうなの?PikaやGen-2と比較してみた
Mixture of AgentsでGPT4oを超えられるらしいので解説してみた
5.0 / 5 (0 votes)