Feed-forward method | Neural Style Transfer #5

Summary

Dieses Video bietet eine kurze und übersichtliche Einführung in das schnelle neuronale Stilübertragungsverfahren von Johnson. Der Uploader hat das Originalpapier neu erstellt und zeigt die Ergebnisse mithilfe von vorgefertigten Modellen. Es wird erläutert, wie man seine Umgebung einrichtet, die vorausgetrainierten Modelle lädt und das Stylisierungsskript ausführt. Der Fokus liegt auf der Verwendung von PyTorch-Modellen und der Bedeutung des Einstellungsmodus für die Inferenz. Ein Blick auf die Funktionsweise des Skripts zeigt, wie das Modell die Stilisierung durchführt und das Ergebnis speichert. Das nächste Video wird sich mit dem Training befassen, einschließlich der Verwendung von TensorBoard für Debugging und die Visualisierung von Trainingsmetriken.

Takeaways

• 🖌️ Der Videoinhalt behandelt das schnelle neuronale Stilübertragungsverfahren von Johnson, welches auf einer CMM-basierten Methode beruht im Gegensatz zur optimierungsbasierten Gatos-Methode.
• 📈 Der Videoersteller hat das Originalpapier von Johnson rekonstruiert und zeigt Ergebnisse mithilfe von vorgefertigten Modellen, die er zuvor trainiert hat.
• 🔍 Im Video werden vier verschiedene Modelle vorgestellt, wobei das obere Modell vollständig trainiert wurde und das untere Modell auf der gesamten ms-coco-Datenbank trainiert wurde, was etwa 83.000 Bilder umfasst.
• 💾 Es wird ein Download-Skript für vorgefertigte Modelle vorgestellt, das diese aus einem Dropbox-Ordner herunterlädt, entpackt und in einen lokalen Ordner speichert.
• 🛠️ Die zweite Schritt ist das Ausführen eines Sterilisationsskripts, das mit Standardparametern Ergebnisse liefert und wie das Skript funktioniert wird kurz erklärt.
• 📁 Das Skript speichert die Ergebnisse in einem bestimmten Ordner, sodass sie später leicht gefunden werden können.
• 🔧 Die Funktionsweise des Sterilisationsskripts wird detailliert erklärt, einschließlich der Überprüfung der Modelldateien, Erstellung des Ausgabeverzeichnisses und der Argumente, die für das Styling verwendet werden.
• 🖥️ Das Skript prüft, ob die Hardware GPU-Unterstützung hat, und lädt dann das Modell, das die Stilisierung durchführt, und setzt es in den Evaluierungsmodus für die Inferenz.
• 🎨 Die 'prepare_image'-Funktion wird besprochen, die Bilder lädt, normalisiert und auf GPU lädt, falls verfügbar, und fügt eine Patch-Dimension hinzu, um die Modellebene einzuhalten.
• 🔄 Im nächsten Video wird der Fokus auf das Trainieren von Modellen liegen, einschließlich der Verwendung von Tensorboard zur Visualisierung von Trainingsmetriken.

Q & A

Was ist das Hauptthema des Videos?

Das Hauptthema des Videos ist die schnelle neuronale Stilübertragung basierend auf der Arbeit von Johnson, insbesondere im Vergleich zur Gatos-Methode, die auf Optimierung basiert.

Was ist der Unterschied zwischen der CMM-basierten und der Gatos-basierten Ansätze?

Die CMM-basierte Methode, die im Video behandelt wird, ist eine andere Art der neuronalen Stilübertragung als die Gatos-Methode, die auf einer Optimierungsbasis beruht. Die CMM-basierte Methode scheint schneller zu sein und verwendet eine andere Technik.

Wie viele Modelle wurden im Video erwähnt und wie viele davon wurden vollständig trainiert?

Im Video wurden vier Modelle erwähnt, aber nur das obere Modell wurde vollständig trainiert, indem es eine Box des gesamten ms-coco-Datensatzes von etwa 83.000 Bildern durchgegangen ist.

Was ist der Zweck des Resource-Download-Skripts, das im Video erwähnt wird?

Das Resource-Download-Skript dient dazu, vorkalkulierte Modelle herunterzuladen, die der Uploader auf Dropbox hochgeladen hat, und sie in den Ordner 'Marvel's binaries' zu entpacken und zu speichern.

Wie funktioniert der 'sterilization'-Skript, das im Video verwendet wird?

Das 'sterilization'-Skript ist dafür verantwortlich, die vorkalkulierten Modelle mit einem Inhaltsbild zu verwenden, um ein gestyltes Bild zu erzeugen. Es wird mit Standardparametern ausgeführt und verwendet das Standardinhaltsbild, das im Datenordner 'cannon images' zu finden ist.

Wie kann man die Ergebnisse des 'sterilization'-Skripts finden?

Die Ergebnisse des 'sterilization'-Skripts werden im Ordner 'output images' gespeichert, wo sie später abgerufen werden können.

Was passiert, wenn man die Breite des Ausgabebildes im 'sterilization'-Skript ändert?

Ändert man die Breite des Ausgabebildes, so wird dies die Größe des gestylten Bildes beeinflussen. Im Video wird gezeigt, dass eine höhere Breite zu einer angenehmeneren Stilisierung führt.

Was ist die Bedeutung von 'torch.no_grad()' im Kontext des Videos?

In dem Video wird 'torch.no_grad()' verwendet, um PyTorch zu verhindern, Gradienten zu berechnen, was Speicherplatz sparen würde, da für die Inferenz keine Gradienten benötigt werden.

Was wird im nächsten Video behandelt?

Im nächsten Video wird es um das Trainieren von Modelle gehen, wobei TensorBoard verwendet wird, um die Trainingsmetriken zu debuggen und zu visualisieren.

Wie kann man das Repo aus dem Video ausprobieren und lernen?

Man kann das Repo aus dem Video ausprobieren, indem man die Schritte im Video befolgt, die Modelle herunterlädt und das 'sterilization'-Skript ausführt. Dies bietet eine gute Lern Erfahrung und ermöglicht es, das Funktionsweise der neuronalen Stilübertragung zu verstehen.

Outlines

00:00

🎨 'Fast Neural Style Transfer'-Videovorstellung

In diesem Video wird ein kurzer Überblick über das Rekonstruieren der ursprünglichen Johnson-Papers zur schnellen neuronalen Stilübertragung gegeben. Der Fokus liegt auf dem CMM-basierten Ansatz im Gegensatz zum optimierungsbasierten Gatos-Ansatz. Es werden die Ergebnisse mithilfe von vorgefertigten Modellen präsentiert, die bereits trainiert wurden. Es wird gezeigt, wie die Stilbilder in der linken Spalte und die Ausgabe der trainierten Modelle in der rechten Spalte dargestellt werden. Es wird betont, dass das obere Modell vollständig trainiert wurde und auf ca. 83.000 Bildern des MSCOCO-Datensatzes trainiert wurde, während die drei unteren Modelle noch zusätzlich trainiert werden müssen. Der Prozess der Einrichtung wird in einer Zeitlupe gezeigt, und es wird erklärt, wie man die Umgebung konfiguriert, die vortrainierten Modelle herunterlädt und die Ergebnisse erhält. Der Fokus liegt auf der Verwendung des Sterilisationsskripts mit Standardparametern, um Ergebnisse zu erhalten.

05:01

🛠️ Detaillierte Erklärung des Sterilisationsskripts

Der zweite Absatz konzentriert sich auf die Funktionsweise des Sterilisationsskripts. Es wird erklärt, wie das Skript die Standardpositionen für die Ein- und Ausgabe von Bildern, die Modelle und die Fehlerprüfung verwendet. Es wird gezeigt, wie die Argumente wie das Content-Bild, die Bildbreite und das Standardmodell 'Mosaic' verarbeitet werden. Der Prozess der Bildverarbeitung, einschließlich der Überprüfung der GPU-Unterstützung, der Erstellung des Bildpfades, der Normalisierung und der Verwendung des Transfertransformatormodells zur Stilisierung, wird detailliert beschrieben. Es wird auch die Verwendung von Torch.no_grad() zur Verringerung der Speicherauslastung und die Speicherung des gestylisierten Bildes in das Ausgabeverzeichnis erläutert. Schließlich wird die Funktion 'prepare image' aus der Utils-Bibliothek erklärt, die das Bild lädt, normalisiert und auf die GPU überträgt, um die Modellerwartungen zu erfüllen.

Keywords

💡Neural Style Transfer

Neural Style Transfer ist eine Technik aus der künstlichen Intelligenz, die es ermöglicht, die visuelle Struktur eines Inhaltsbildes mit dem Stil eines Stilbildes zu kombinieren. Im Video wird dies durch die Rekonstruktion des ursprünglichen Johnson-Papers demonstriert, das auf schnelle neuronale Stilübertragung abzielt. Das Ziel ist es, ein Bild so zu transformieren, dass es die visuellen Merkmale eines anderen Bildes annehmen kann, während es seine eigene Struktur beibehält.

💡CMM-basierte Ansätze

CMM steht für Content-Mode-Mapping und bezieht sich auf eine Klasse von Algorithmen, die in der Bildverarbeitung verwendet werden. Im Kontext des Videos ist der CMM-basierte Ansatz im Gegensatz zum Gatos-Ansatz, der auf einer optimierungsbasierten Methode beruht. Der CMM-Ansatz wird verwendet, um die Effizienz der neuronalen Stilübertragung zu erhöhen, indem er die Verarbeitung beschleunigt und weniger Ressourcen benötigt.

💡Vortrainierte Modelle

Vortrainierte Modelle sind künstliche neuronale Netzwerke, die auf großen Datenmengen trainiert wurden und dann für neue, ähnliche Aufgaben verwendet werden können. Im Video werden vortrainierte Modelle verwendet, um die Leistung der neuronalen Stilübertragung zu demonstrieren. Der Sprecher erwähnt, dass einige Modelle zusätzlich trainiert werden müssen, um optimale Ergebnisse zu erzielen.

💡Dataset

Ein Dataset ist eine Sammlung von Daten, die für die Ausbildung von künstlichen neuronalen Netzwerken verwendet wird. Im Video wird auf das MSCOCO-Dataset verwiesen, das eine große Anzahl von Bildern enthält und für die vollständige Schulung eines der Modelle verwendet wurde, um die Effizienz der neuronalen Stilübertragung zu demonstrieren.

💡Stilbild

Ein Stilbild ist ein Bild, das verwendet wird, um den Stil zu definieren, der auf ein Inhaltsbild übertragen werden soll. Im Video werden verschiedene Stilbilder verwendet, um die Fähigkeiten der Modelle zu testen und zu zeigen, wie sie verschiedene Stile auf ein Inhaltsbild anwenden können.

💡Inhaltsbild

Ein Inhaltsbild ist das Bild, das die visuellen Informationen behält, während es den Stil eines anderen Bildes annimmt. Im Video wird das Inhaltsbild verwendet, um die Auswirkungen der neuronalen Stilübertragung zu demonstrieren und zu zeigen, wie das Modell die gewünschten visuellen Merkmale beibehält.

💡PyTorch

PyTorch ist ein beliebtes Open-Source-Maschinelle-Lern-Framework, das von der Community entwickelt und verwendet wird. Im Video wird PyTorch verwendet, um die neuronalen Netzwerke zu implementieren, die für die Stilübertragung verantwortlich sind. Es wird erwähnt, dass die Modelle in PyTorch gespeichert und geladen werden, um die Inferenz durchzuführen.

💡TensorBoard

TensorBoard ist ein Tool, das entwickelt wurde, um die Trainingsprozesse von künstlichen neuronalen Netzwerken zu visualisieren. Im Video wird erwähnt, dass es in einem zukünftigen Video verwendet werden wird, um die Trainingsmetriken zu debuggen und zu visualisieren, was für die Verbesserung der Leistung der Modelle und das Verständnis ihrer Funktionsweise wichtig ist.

💡Stylized Static Image

Ein gestyltes statisches Bild ist das Ergebnis der neuronalen Stilübertragung, bei dem ein Inhaltsbild den Stil eines Stilbildes annimmt. Im Video wird die Funktion 'stylized_static_image' verwendet, um die Transformation des Inhaltsbildes durch das Modell zu demonstrieren und das endgültige gestylte Bild zu erzeugen.

💡GPU-Unterstützung

Die Unterstützung von GPUs (Graphics Processing Units) ist für die schnelle Verarbeitung von Daten und die effiziente Ausführung von künstlichen neuronalen Netzwerken von Bedeutung. Im Video wird erwähnt, dass das Modell überprüft, ob die GPU-Unterstützung verfügbar ist, um die Verarbeitung der Bilder zu beschleunigen und die Leistung der neuronalen Stilübertragung zu optimieren.

Highlights

Video is a concise tutorial on neural style transfer.

Reconstruction of Johnson's paper on fast neural style transfer is discussed.

Comparison between CMM-based and Gatos optimization-based approaches.

Presentation of pre-trained models and their results.

Explanation of the top row model being fully trained on 83,000 images.

Mention of the need for additional training for the bottom row models.

Demonstration of a time-lapse setup from a previous video.

Instructions for configuring the conda environment and downloading pre-trained models.

Details on running the sterilization script with default parameters.

Description of the default content image used in the sterilization script.

Explanation of the sterilization script's functionality and parameters.

Guide on how to find the saved stylized image in the output directory.

Overview of the script's error checking for PyTorch models.

Process of creating the output directory for image storage.

Description of the 'stylized static image' function and its parameters.

Discussion on checking for GPU support and image preparation.

Instantiation of the transfer transformer model for stylization.

Importance of setting the model to eval mode for inference.

Explanation of the process to convert the stylized image to a non-PI format.

Details on the 'prepare image' function and image normalization.

Mention of the next video covering training and use of tensor board.

Encouragement for viewers to experiment with the provided repo.

Call to action for subscribing, liking, and sharing the video.

Transcripts

okay so this video is gonna be really

nice and short I went ahead and

reconstructed original Johnson's paper

on fast neural style transfer since the

CMM based approach as opposed to the

Gatos approach which was optimization

based let's see if some results I got

using the for pre-trained models I

trained beforehand so in the left column

you can see the style images I used and

on the right you can see the output from

the models I trained so keep in mind

that the the model in the top row is the

only one that was fully trained so it's

all like it did to e box of the whole ms

cocoa dataset so that's around 83,000

images whereas the three bottom ones

still need to be additionally trained

now I'm just gonna do a quick time-lapse

of the setup because we already did that

in the previous coding video

[Music]

[Applause]

[Music]

once you have your con environment

configured there are only two more steps

to get some results so the first one is

go ahead and run this resource download

or script and it will just go ahead and

download the pre trained models that

I've uploaded right here to this your

URL on Dropbox it will then unzip them

and place them in this folder here

Marvel's binaries so you'll have for

pre-trained models on your disposal and

the second step is just go ahead and run

this sterilization script it's located

here just run it with the default

parameters and we'll get some results

this is the result we get using the

default content image that's located

here just go to data cannon images and

this one is used by default so I'm just

gonna go and show you a little bit about

how the sterilization script itself

brooks i'm gonna go ahead and stop this

one here mm-hmm

oops and I'm just gonna show you where

it's actually saved it saved to the

output images directory here so you can

be able you'll be able to find it later

on in this directory okay let's see how

the script works let me close this one

and zoom this in a little bit like this

so what we have here is a couple of

default locations first one is for

continum ages and we already saw that

one that's in here we have output images

where the images will get dumped

binaries where we have our models and

this is just basic error checking here

basically checking if if we only have

Pytor models inside of the of this

binaries here directory and I just

create the output directory where we'll

dump images and here the arguments those

are just the content image that you want

to use that you want to pass through the

model then we have the you wanna set the

width of the output image and it's set

to 500 by default here we have default

model that's called mosaic and we just

wrap all of those parameters

called stylized static image function

let's see what this function actually

does so we go up side here we can first

see we first want to check out if the

device has GPU or only CPU support and

then we basically just create this image

path we pass it through this function

called prepare image which will kind of

add a badge I mention and do some

normalization will check the function a

bit later and I just instantiate here

the transfer transformer model which is

the actual model that performs the

stylization we figure out the state so

we just load the state from by torch

model that's in binaries here we print

some metadata and we finally load the

weights inside of the the model and we

just put it into this eval mode which is

really important if you want to do

inference I want to do this when I call

this function here and finally we just

wrap this into this context torch no

gret which will basically forbid pi

torch to calculate radians which will

which would kind of be a huge memory

overhead so we call the model on the can

image we just paste it to CPU we convert

it to non PI here and because we had the

badge dimension that we previously added

we gotta extract the zeroth bet here and

that's the stylized image when we just

save the image that's the image we saw a

couple of minutes ago that was dumped

here into your output image folder this

one just check out that prepare image we

saw in the utils here so this is how it

looks like

you basically just loads damage from the

specified path specified by this

variable image path and that will just

basically create an umpire image

normalized to zero to one range and then

we'll pretty much add this normalization

transform that byte order provides us

with and we'll use image net mean and

standard deviation

to normalize our images after we apply

the transformation here we just push to

push the this this image onto the GPU if

you have one and we just add this patch

dimension in front because that's that's

because models are always expecting

dispatch dimensions so pretty pretty

simple stuff in the next video I'll I'll

cover training that they'll be a bit

more challenging we're gonna figure out

how to use tensor board and just debug

and visualize our our training metrics

so let me just go ahead and try one more

image here so I'm gonna use image called

figures and let me set the width here to

350 say we'll use the same model mosaic

and if I start the one if I run it this

is what we get so how good the output

image will be actually depends also on

the sides that you put here in the width

so if I put 550 say here and I run that

one it will have different stylization

and it's much nicer if you ask me the

next video will cover training until

that time just go ahead and play with

this repo try and figure out how the

things work and I'll be a really nice

here learning experience if you like the

content go ahead and subscribe like and

share the videos if you think they can

bring value to somebody else see you

next time

[Music]