Motion Mastery: 4D Facial Performance Capture, KineFX & PDG-Powered MoCap Pipeline | 3SISTERS | ...

Summary

このビデオスクリプトは、3Dキャラクターのアニメーションとパフォーマンスキャプチャ技術の概要を提供しています。Danielle ChabotaがCEOを務めるThree Sistersは、ビジュアルエフェクト、アニメーション、モーションキャプチャを含む多岐にわたる創造活動に従事しています。彼らは、顔、体、指のモーションキャプチャの異なるシステムと技術を紹介し、特に顔のスキャンと4Dパフォーマンスキャプチャのハイエンドなプロセスに焦点を当てています。彼らはさらに、Houdiniのkinfxを使用してアニメーション編集を行い、Sharon Stoneのデジタルダブルを作成するプロジェクトの詳細について説明しています。このプロジェクトでは、高精度のスキャンとモーションデータから、リアルなデジタルキャラクターを作り出し、そのプロセスと技術の難しさと創造性を強調しています。

Takeaways

• 🎬 このプレゼンテーションでは、Three Sistersというクリエイティブ・アライアンスが紹介され、彼らの多様なプロジェクトと技術に焦点が当てられています。
• 🌟 Three Sistersは、ビジュアルエフェクト、アニメーション、モーションキャプチャー、ライブショー、体験デザイン、音楽制作を含む多岐にわたる分野で活躍しています。
• 👥 創業者であるDanielleとPeterによって10年前に設立され、現在は約5人のインハウスチームとアウトソーシングを組み合わせた大きなスタジオとなっています。
• 📹 彼らのプロジェクトでは、特に3Dキャラクターのモーションキャプチャーが重要で、顔、体、指の異なるキャプチャー技術が使用されています。
• 🎭 モーションキャプチャーにおいては、俳優のパフォーマンスが不可欠で、キャラクターとのエネルギー的なつながりが求められます。
• 🤖 モーションキャプチャーと手動アニメーションの比較では、前者は自然な動きを捉えやすく、後者は創造性に富んでいることが強調されています。
• 🛠️ Three SistersはHoudiniという3Dソフトウェアを活用し、キャラクターアニメーションのフレームワークを構築しています。
• 🎥 彼らのプロジェクトの一つであるSharon Stoneのデジタルダブルの制作では、高精度の写真スキャンと体積的な顔のパフォーマンスキャプチャーが使用されました。
• 🔍 高精度のスキャンと4Dパフォーマンスキャプチャーは、大量のデータ（80TB以上）を生成し、その後の処理と最適化が重要視されています。
• 🎨 キャラクターの外見の再現において、スキャンデータをもとに手動での調整とブレンディングが行われ、個々の表情や目、歯の詳細までこだわりました。
• 📚 Three Sistersは、Houdiniを活用して自動化と手続き型のアプローチでプロジェクトを進め、効率的かつスケーラブルなパイプラインを構築しています。

Q & A

「Three Sisters」はどのような企業ですか？

「Three Sisters」はビジュアルエフェクト、アニメーション、バーチャルプロダクション、モーションキャプチャー、ライブショー、体験デザイン、音楽プロダクションを行っているクリエイティブ・アライアンスです。3Dキャラクターを中心に活動しており、10年前に2人で設立されました。

「Three Sisters」はどのようにして社員を増やす予定ですか？

「Three Sisters」は現在、5人のインハウススタッフといくつかのアウトソーシングを行っているとのことであり、今後もスタッフを増やす予定です。

モーションキャプチャー技術にはどのような種類がありますか？

モーションキャプチャー技術には、顔、ボディ、フィンガーのモーションキャプチャーがあります。それぞれに対応するシステムがあり、例えば顔にはiPhoneで行うシンプルなモーションキャプチャーや、より高精度なシステムがあります。

モーションキャプチャーと手作業アニメーションのどちらが優れていると言えますか？

モーションキャプチャーと手作業アニメーションはそれぞれに長所があります。モーションキャプチャーはより自然な動きを再現できますが、手作業アニメーションでは創造性に富んだ表現が可能で、カートゥーンスタイルなどにも対応できます。

「Three Sisters」はどのようにしてキャラクターのアニメーションを制作していますか？

「Three Sisters」はHoudiniを使用してキャラクターのアニメーションを制作しています。KinefXを使用してアニメーション編集を行い、オブジェクトレベルのリークスを改善しています。

シェリー・スローンのデジタルダブルを作成するプロジェクトではどのような技術が使用されましたか？

シェリー・スローンのデジタルダブルを作成するプロジェクトでは、高精度の写真スキャンと体積的な顔のパフォーマンスキャプチャーが使用されました。また、4Dパフォーマンスキャプチャーを使用し、60スキャン毎秒行いました。

シェリー・スローンのデジタルダブルのプロジェクトでどのような課題がありましたか？

シェリー・スローンのデジタルダブルのプロジェクトでは、彼女自身が3Dでの姿を初めて見るため、彼女の承認を得る必要があり、そのプロセスは非常に興味深く且つ挑戦的でした。

「Three Sisters」はどのようにして顔のスキャンデータを処理していますか？

「Three Sisters」は専用ソフトウェア「wrap」を使用して4Dシーケンスをwrapアップし、UVの不一致やトポロジーの不一致を解消しています。

「Three Sisters」はどのようにしてアニメーションをエクスポートしていますか？

「Three Sisters」はPythonで作成されたカスタムツールを使用してアニメーションをインポートし、HoudiniのKinefXを使用してアニメーションをエクスポートしています。

「Three Sisters」は今後どのような技術に取り組む予定ですか？

「Three Sisters」は将来的にはUSDからFBXへのアニメーションの移行を計画しており、ツールセットを刷り込み、公開する予定です。

シェリー・スローンのプロジェクトで使用されたモーションキャプチャー技術はどのようにして実装されましたか？

シェリー・スローンのプロジェクトでは、ロサンゼルスのスタジオで撮影を行い、多くのドームライトで囲まれたケージ内で彼女のエネルギー的なパフォーマンスをキャプチャーしました。

「Three Sisters」はどのようにしてキャラクターの髪の毛を作成していますか？

「Three Sisters」はHoudiniのGroomingツールを使用してシェリー・スローンの髪の毛を作成し、クライアントからの要望に応じてスタイルを変更しています。

「Three Sisters」はどのようにしてキャラクターの表情を再現していますか？

「Three Sisters」はモーションキャプチャーデータを使用し、表情のブレンドシェイプを作成することで、キャラクターの表情を細かく再現しています。

「Three Sisters」はエフェクトやアニメーションをUnreal Engineにインポートするプロセスはどのように行われますか？

「Three Sisters」はカスタムツールを使用してHoudiniで作成されたアニメーションをUnreal Engineにインポートし、レベルシーケンスを作成してタイムライン上に配置します。

「Three Sisters」はどのようにしてキャラクターの衣装のシミュレーションを行いますか？

「Three Sisters」はMarvelous Designerを使用して衣装を作成し、VellumとPDGでシミュレーションを行い、Houdiniで準備したデータをUnreal Engineにインポートして最終的なアニメーションを作成しています。