Virtual Production Series 01 | Using Composure tool live compositing camera feed | Unreal Engine 5.1

Summary

このビデオでは、Unreal Engineで使用される「Composure」ツールを紹介します。グリーンスクリーンをキーアウトし、仮想セットと合成する方法を学びます。ビデオ制作の基本を説明し、コンピューターセットアップを確認し、Composureプラグインを有効にする方法、カメラフィードを追加し、グリーンスクリーンをキーアウトする方法、マテリアルを作成して前景と背景を合成する方法を説明します。さらに、カメラの位置調整と仮想カメラを使用したシーンの組み立て方を紹介します。このビデオは仮想プロダクションの基礎を学ぶ人々に役立ち、今後のセッションではより高度な概念をさらに探求します。

Takeaways

• 🖥️ スクリプトでは、Unreal Engineを使用してグリーンスクリーンを合成する方法を紹介しています。
• 🔍 コンピュータ設定には、汎用のキャプチャカード、DSLRカメラ、蛍光灯、グリーンスクリーンが使用されています。
• 🌟 Unreal Engine 5.1を使用して、地下鉄のマップを例にデモンストレーションを行います。
• 🔌 Composureプラグインが有効になっているか確認し、必要であれば有効に設定してエンジンを再起動します。
• 🎨 Composure合成ウィンドウを開くことで、After Effectsなどのレイヤーベースのワークに慣れている人でも扱いやすいです。
• 📹 メディアプレートとCGレイヤーを使ってカメラフィードと背景を合成します。
• 🎞️ メディアプレーヤーを使用してカメラを接続し、グリーンスクリーンをキーアウトします。
• 🖼️ マテリアルを作成して、合成された前景と背景を組み合わせます。
• 🛠️ マテリアルエディタを使用して、2Dノードとオーバーノードを組み合わせて合成を行います。
• 👨‍🎨 カメラの位置と焦点を調整して、実際の椅子に座っているかのような印象を与えます。
• 🎨 最後に、3D要素やエフェクトを背景に追加して、より豊かなシーンを作成することができます。

Q & A

ビデオで紹介されているツールの名前は何ですか？

ビデオで紹介されているツールの名前はComposureです。

このビデオの目的は何ですか？

このビデオの目的は、Unreal Engineでグリーンスクリーンをキーアウトし、仮想セットに対して合成する方法を学ぶことです。

ビデオ制作に使用されたカメラの種類は何ですか？

ビデオ制作に使用されたカメラは、DSLRカメラであり、HDMIケーブルで接続されています。

ビデオの中で使用されている照明とはどのような種類ですか？

ビデオの中で使用されている照明は、前面と背面の両方に設置された蛍光灯です。

Unreal Engineのバージョンは何を使用していますか？

ビデオではUnreal Engine 5.1を使用しています。

Composureプラグインが有効化されているか確認する方法は何ですか？

Composureプラグインが有効化されているか確認するためには、編集>プラグインを開き、Composureにチェックマークがあるか確認します。なければチェックマークをつけ、エンジンを再起動します。

ビデオで説明されている仮想プロダクションの基本的なステップは何ですか？

ビデオで説明されている仮想プロダクションの基本的なステップは、Composure合成ウィンドウを開くこと、フォアグラウンドとバックグラウンド要素を作成すること、カメラを接続すること、グリーンスクリーンをキーアウトすること、マテリアルを作成して両要素を合成することです。

メディアプレーヤーを作成する際に必要な設定は何ですか？

メディアプレーヤーを作成する際には、ビデオ出力メディアテクスチャアセットにチェックマークをつけて、名前を付けてOKを押す必要があります。

グリーンスクリーンをキーアウトする際の重要なステップは何ですか？

グリーンスクリーンをキーアウトする際の重要なステップは、メディアプレートからビデオをドラッグ＆ドロップし、色キー設定でキーカラーを選択し、余分なグリーン部分を修正することです。

マテリアルを作成する際の注意点は何ですか？

マテリアルを作成する際の注意点は、マテリアルドメインをサーフェスからポストプロセスに変更し、テクスチャーサンプルパラメーター2Dを作成し、オーバーノードを使用してフォアグラウンドとバックグラウンドを合成することです。

カメラの位置と焦点の長さを調整することで何ができますか？

カメラの位置と焦点の長さを調整することで、自分がスクリーンに座っているかのような印象を与えることができます。

ビデオの最後に述べられている、今後のセッションで学ぶこととは何ですか？

ビデオの最後に述べられている今後のセッションで学ぶことは、より高度な仮想プロダクションの概念です。

Outlines

00:00

🎥 グリーンスクリーンのキーアウトと仮想セットの合成

この段落では、Unreal Engineで使用されるツール「Composure」を使ってグリーンスクリーンをキーアウトし、仮想セットと合成する方法について説明しています。まず、カメラセットアップとUnreal Engine 5.1の準備が確認され、Composureプラグインが有効になっているかチェックされます。次に、合成ウィンドウを開いてforegroundとbackground要素を作成し、カメラフィードをメディアプレートとして追加します。カメラは仮想カメラにアタッチされ、合成に必要な設定が行われます。最後に、グリーンスクリーンのキーアウトが行われ、余分なグリーン部分を修正する方法が紹介されています。

05:00

🛠 仮想プロダクションのためのマテリアル作成

この段落では、合成されたforeground要素とbackgroundプレートを組み合わせるためにマテリアルを作成する方法が説明されています。マテリアルエディタを開き、マテリアルドメインを「post process」に変更して、2Dテクスチャサンプリングと「over」ノードを使って両要素を合成します。しかし、最初の試みで問題が発生し、マテリアルを再作成する必要があることが指摘されています。再作成後には問題が解決され、compositeが正しく表示されるようになります。

10:02

🪑 カメラの配置と仮想セットへのオブジェクトの追加

最後の段落では、カメラを適切に配置して、自分がスクリーンに座っているような印象を与える方法が紹介されています。グリーンスクリーンのキーアウトの調整と、カメラの焦点の調整が行われ、椅子に座るようなシーンを作り出します。さらに、3D要素やエフェクトを背景に追加して、より豊かな仮想セットを作成する方法も説明されています。最後に、今後のビデオでもっと高度な仮想プロダクションの概念を探索する旨が伝えられ、チャンネルへの登録と共有を呼びかけています。

Keywords

💡Composure

「Composure」とは、Unreal Engine内で使用されるプラグインの一つで、グリーンスクリーンをキーアウトし、バーチャルセットに合成することができるツールです。このビデオでは、その使い方を紹介しており、バーチャルプロダクションの基本を学ぶために重要なツールとして位置づけられています。

💡Unreal Engine

「Unreal Engine」とは、3Dゲームエンジンであり、ビデオ制作においても高度なグラフィックとアニメーションを作成するのに利用されています。ビデオではバージョン5.1を使ってグリーンスクリーンの合成を行っています。

💡Green Screen

「Green Screen」とは、背景を後から別の画像や動画に置き換えるための技術で使用される緑色のスクリーンです。ビデオでは、このグリーンスクリーンをキーアウトしてバーチャルセットに合成することが主なテーマです。

💡Chroma Keying

「Chroma Keying」とは、特定の色（この場合は緑色）を透明にし、背景として別の画像や動画を表示する技術です。ビデオでは、Unreal Engine内のメディアプレートから取り込んだカメラフィードをキーアウトするプロセスを説明しています。

💡Media Plate

「Media Plate」とは、Unreal Engine内でカメラフィードを含んだレイヤーを指します。ビデオでは、メディアプレートを使用してカメラから取り込んだ映像をバーチャルセットに合成するプロセスを紹介しています。

💡CG Layer

「CG Layer」とは、コンピューターグラフィックスを表す言葉で、ビデオではカメラと背景を結びつけるために使われます。CGレイヤーを通じてバーチャルカメラに背景がアタッチされ、合成が実現されます。

💡Material

「Material」とは、Unreal Engine内でオブジェクトの外観を定義するもので、ビデオではフォアグラウンドとバックグラウンドの要素を合成するために使用されます。マテリアルを作成し、設定することで、カメラから取得した映像とバーチャルセットを効果的に合成できます。

💡Post Process

「Post Process」とは、映像編集の後処理を意味し、ビデオではマテリアルドメインを「Surface」から「Post Process」に変更することで、合成された映像をより高度に操作することができるようになります。

💡Emissive Color

「Emissive Color」とは、オブジェクトが発する光の色を指定するパラメータです。ビデオでは、合成された映像のエミッシブカラーを設定することで、バーチャルセットとカメラフィードを効果的に合成しています。

💡Virtual Production

「Virtual Production」とは、実際のセットやロケ地を使わずに、コンピューターグラフィックスを用いて映像制作を行う手法です。ビデオでは、Unreal EngineとComposureツールを使ってバーチャルプロダクションの基本を学ぶ方法が紹介されています。

Highlights

Introduction to Composure tool for keying out green screen in Unreal Engine.

Setting up a computer with a capture card, DSLR camera, fluorescent lights, and green screen for virtual production.

Enabling the Composure plugin in Unreal Engine 5.1 for virtual production.

Accessing the Composure compositing window for layer-based work similar to After Effects.

Creating a foreground and background element by adding a comp and media plate.

Adding a camera feed to the Unreal Engine using a media player from the content browser.

Keying out the green screen using Chroma keying and selecting key colors.

Fixing green screen issues like spill on hands and face by refining key colors.

Creating a material to combine foreground and background elements in the composition.

Changing the material domain to post process and setting up nodes for compositing.

Using the 'over' node to merge foreground and background elements in the material editor.

Troubleshooting initial material creation issues and the need to recreate the material.

Positioning the virtual camera to match the foreground and background elements.

Adjusting the camera settings such as focal length for a better composite.

Adding 3D elements and effects to enhance the virtual production.

Future sessions will explore advanced concepts of virtual production in Unreal Engine.

Encouragement to subscribe for more virtual production and DMX lighting basics.

Transcripts

foreign

in this video we'll be exploring a tool

called composure using which you will be

able to key out your green screen and

composite it against any virtual set in

Unreal Engine welcome to the basic

series of virtual production let's get

started before we dive in let's take a

quick look at my computer setup so this

is my computer I have a generic capture

card which is running to my DSLR through

HDMI cable and I have two lights one in

the front and the rear both are

fluorescent lights and a green screen

behind me I'm using Unreal Engine 5.1

albeit demonstrating using this subway

train map before we begin we need to

make sure whether composure plugin is

enabled to do that go to edit plugins in

this type

composure and make sure it's having a

tick mark If there is no tick mark put a

tick mark and then restart your engine

once your Unreal Engine is restarted and

ready click on window virtual production

composure compositing

so the composure composting window is up

this is similar to an after effects or

premium or any layer based work which

you might have done before so we're

going to create a foreground and a

background element here we'll Begin by

creating a comp right click and create

new comp

choose empty comms short

you can either give a name or leave it

as it is right click and click on ADD

layer element

click on media plate

expand the menu so media plate is going

to be layer which will contain your

camera feed and before we add the second

layer at this point of time I would

recommend you to add the camera so go to

place actor

cine camera actor

drag and drop it

and to see the camera press G

reposition the camera as required so

I'll just keep it here for now

we'll modify it later in the comp right

click

and click on ADD layer element

and choose CG layer so when you add a CG

element it encloses the camera which

means the camera the background is

attached to the virtual camera which we

just added

as you can see the CG layer is attached

to the virtual camera which we created

just now

with the foreground and background

element in place let's connect our

camera to the Unreal Engine to do that

open content browser

and on any folder right click

go to media and choose media player

put a tick mark on video output media

texture asset and give okay

give a name for your media player in my

case I'm going to choose Nikon feed

double click on the player the first

time when you open the player it'll be

blank

because we haven't connected anything

yet

and at this point of time make sure your

camera is turned on and connected to the

computer

to select your camera click on this drop

down go to video choose your camera in

my case the camera name is USB video the

moment you select your camera if you see

a color bar on the screen it means

either camera is not ready or it's in

standby mode so let me check what could

be the reason in my case

so in that case the camera was in

standby mode and it's fine now so with

this hit the save button do not close

this window this will be the source for

your media plate so always have this

window minimized for your composite to

work let's proceed to key out the green

screen to do that click on media plate

click on details tab open your content

browser drag and drop your video from

the content browser into the media

source

so now the moment you do that the

preview of your camera feed is active in

the

bottom right corner you're telling

Unreal Engine that this is your camera

source to key out the green screen look

below and look for Chroma keying under

transform processes below chroma keying

you would notice a word called key

colors and to the right of it click on

that plus symbol

it adds an index click on plus again

and now choose the green color which you

want to key out

hit accept

majority of the green screen has been

keyed out but you can notice a small

patch of green on my right corner to fix

that next to the key colors press on the

plus one more time you have one more

index click on Plus

and choose the green

click accept now you can notice the

screen

is keyed out completely you can also

maximize this window you can have a look

at the alpha channel of your key that's

about the tool you can still refine the

edges and still we have some spill on

the hands and on the sides of the face

still there are a lot a lot more to fix

this keying but we'll stop with this for

now we'll focus more on the composite we

have a foreground element keyed out and

ready and we also have the background

plate

but when you click on the overall

composition it's empty because we need a

material which will combine both these

elements so to create that material with

that com selected go to details

all the way at the top

look for transform passes

click on the plus symbol next to it

expand this transform pass

next to material click on this drop down

arrow

create new asset material

we're going to create a new material so

we'll give the name as Matt Neo any name

of your choice

double click on the spear to open the

material editor the material editor is

up

now in this window the very first action

would be to change your material domain

from surface to

post process

so we will be creating two nodes one for

the foreground one for the background

to create any node right click anywhere

on the grid and type 2D we are going to

create a node called texture sample

parameter 2D you can either pick this

one or other one which is below

parameter both will work so let's pick

on this one

and the moment you pick

your node if you happen to see your own

preview here camera preview this might

not work in my experience I've tried

this let's proceed with the flow and

I'll tell you why this this won't work

with that selected we'll make one more

copy of it

we'll create one more note right click

and search for over choose

over under composure

so this over tool is going to combine

both these

so here's my first input rgba goes to a

and this goes to B

and my output from this over node goes

to msf color so that's about the

connection

and we also need to make sure this has

the same naming Convention as an

outliner keep this aside

and copy this name of the foreground

layer

paste it here

copy the background name

you can either paste it here or here

either way is fine so we have merged

both these elements using over and let's

go into emissive color so let's save the

progress and let's close this out

do not close this window this should be

minimized

now to check whether it worked we need

to click on comp

but you can see it's a white image

instead of our composite

this happens uh to me for the first time

so to fix that we'll have to recreate

the materials so one more time go to

content browser delete the material

which you created now

first delete

and go to details tab of this comp

and remove the material pass let's

create from the scratch so next to

transform passes click on the plus

symbol material

pull down menu choose material

and give a name we'll call it matte V2

save

double click on the sphere

and now we're back on the same metal

editor window change the material domain

from surface to post process

now right click look for 2D

and let's pick the same texture sample

parameter 2D and now if you see you have

a green Blobby like texture

only when you have this it works

I don't know why it happens possibly you

know I'll get the answer later and I'll

keep you all posted only when you see a

Blobby like texture on this texture

sample node your compost will work so

let's make one more copy of it

and let's bring in an over node search

for over

bring it here

now let's make sure both these share the

same name as in

outliner so this is your foreground

element

and this is your background

okay that's done

let's connect rgba a to a

and RGB A to B

and this RGB goes to emissive color

okay so that's done hit on the save

button

the material is created let's close out

this window and let's have this

minimized

now if you can see background plate

foreground and if you want to see the

composite click on the comp

there you go it's done now to see a

bigger version of this right click and

choose preview so remember this material

uh workaround for now for the first time

when you create it won't work so delete

it off and then recreate it it works

let's keep this window aside now our

composite is done but we need to

position our camera so that you know it

gives an impression as if I'm sitting on

the screen we can still find there are

green Jitters on the corner let's take

care of that let's get inside media

plate

uh I'll fix that by dropping the alpha

bias a bit

so that took care of the left and right

Green Line let's close it out

let's right click on this comp and

choose preview for a bigger image let's

keep this aside

so this is a virtual camera you might

notice there might be one more camera

like this when the moment you create

composure but when you move this nothing

will happen

so you need to move only this one the

one which you created

to select a camera click on the

viewfinder

and then adjust the camera

now I'm going to

place in such a way

I see a bit of foreground element

and

I'm sitting on a chair

the chair is too big for me so let's

adjust the focal length of the camera

you can go to camera setting

and uh let's change the focal length to

20.

I think they should be fine that looks

somewhat better it gives an impression

as if I'm sitting on the chair

okay now you can add any 3D element

behind you you can add a 3D character an

effect anything of your choice

so let me try to show you I'll try to

add um

stria element

so you can notice I have a sphere

element behind me

and you can move around and place it

and also FX for that matter so because

of my room limitation I am choosing to

shoot by sitting on a chair and trying

to compost something like this you can

try to shoot a wide shot pick any

virtual set of your choice and plan your

shot accordingly so that's about this

video everyone a small demonstration on

how to use this composure tool and how

to key out the green screen and use it

against any virtual set in Unreal Engine

we'll keep exploring more advanced

concepts of virtual production in the

future sessions do subscribe to the

channel do share it to your friends and

family who would be interested to learn

basics of DMX lighting and a bit of

virtual production which I've started

see you all soon on another video I'm

Raj shekhar bye take care

foreign