機械学習環境「Vertex AI」の機能を解説 #devio2022 #googlecloud

Summary

この動画では、Google Cloudの機械学習サービスであるVertexAIの概要と機能について詳しく説明されています。データセットの準備、モデルの学習、デプロイまでの一連の流れが解説されており、簡単な画像やテーブルデータから始めて、徐々にビデオデータや自然言語処理など高度な機能も紹介されています。また、機械学習モデルの実験環境の構築や特徴量の抽出、ベクトル化の処理なども触れられ、VertexAIを使った機械学習システム構築の全体像が分かりやすく説明されています。

Takeaways

• 🌐 Google Cloud の Vertex AI サービスは、機械学習ワークフローの様々な側面をカバーしている包括的なプラットフォームである。
• 📂 データセットの準備、前処理、ラベリングなどのデータ管理機能が用意されている。
• 📊 AutoML を使えば、コーディングなしで簡単に機械学習モデルを作成できる。
• 🧪 Vertex AI Experiments を使って、ハイパーパラメータチューニングなど、モデルの実験を管理できる。
• 📐 Cloud Dataproc や Dataprep などのツールで、データの前処理やフィーチャエンジニアリングができる。
• 🧮 TensorFlow、PyTorch、Scikit-learnなどの人気ライブラリを使ってカスタムモデルを構築できる。
• 🖥️ Vertex AI Workbench で開発環境をセットアップし、ノートブックを実行できる。
• ⚙️ Vertex AI Pipelines を使えば、End-to-Endの機械学習ワークフローを自動化できる。
• 📡 Cloud Endpoints を使ってモデルをデプロイし、リアルタイムの推論リクエストに対応できる。
• 📈 モデルのモニタリングとメンテナンス機能で、モデルの信頼性と品質を維持できる。

Q & A

この転載は垂直 AIサービスについて説明しているものですか?

はい、この転載ではGoogle Cloud Vertex AIサービスの概要と機能について詳しく説明しています。

Vertex AIの主な機能は何ですか?

主な機能は、データセットの準備、モデルの学習とデプロイ、機械学習パイプラインの作成、特徴量エンジニアリングなどです。

データセットの準備はどのように行われますか?

画像、テキスト、ビデオなどのデータをクラウドストレージにアップロードし、ラベル付けしてデータセットとして登録できます。

モデルの学習はどのように行われますか?

準備したデータセットを使って、自動でモデルの学習を行うことができます。学習済みモデルは後でデプロイできます。

機械学習パイプラインとは何ですか?

データの前処理、モデルの学習、評価などの一連の流れをパイプラインとして定義し、自動化できる機能です。

特徴量エンジニアリングが可能な理由は?

ベクトル化エンジンを使って、様々なデータをベクトル表現に変換できるためです。

自前の機械学習モデルを使うことはできますか?

はい、自分で作成した機械学習モデルをデプロイして利用することができます。

Vertex AIの利点は何ですか?

機械学習のフルサイクルをクラウド上で一元的に行えるため、開発が効率化できる点が大きな利点です。

Vertex AIで実験管理ができるのはなぜですか?

実験トラッカーという機能があり、実験の設定や結果を一元的に管理できるためです。

対象者はVertex AIをどのように活用すればよいでしょうか?

まずはシンプルな使い方から試し、徐々に高度な機能を活用していくことが推奨されています。

Outlines

00:00

🗣️ Vertex AI の機能紹介と概要説明

この段落では、Google Cloud の Vertex AI サービスを紹介しています。Vertex AI は機械学習のワークフローを一元的に管理できるツールで、データの準備、モデルの構築、デプロイ、運用までの一連のプロセスをサポートします。講師は過去の経験から、Vertex AI の機能を理解するまでに苦労したことを述べ、本講義ではざっくりとした概要を説明することを目的としています。

05:02

🔍 Vertex AI の主要機能詳細

この段落では、Vertex AI の主要な機能について詳しく説明しています。データセットの準備、アノテーション、学習モデルの構築、評価、デプロイまでの一連の機能が紹介されています。特に、データセットの登録方法や、学習済みモデルを Web エンドポイントとしてデプロイする方法が具体的に説明されています。さらに、単純な使い方から始めて徐々に高度な機能を活用できることが強調されています。

10:04

🧪 Vertex AI の機能拡張

この段落では、Vertex AI の機能をさらに拡張する方法について説明しています。カスタムモデルの登録、自動機械学習、パイプラインの構築など、より高度な機能が紹介されています。特に、パイプラインを使ってワークフローを自動化する方法が詳しく解説されています。また、機能拡張のためのその他のツールとして、フィーチャストア、メタデータの管理、ベクトル化エンジンなども紹介されています。

15:06

⚙️ Vertex AI の高度な機能

この段落では、Vertex AI のさらに高度な機能について説明しています。特に、機械学習モデルの埋め込みベクトル化に関する機能が重点的に解説されています。有名な手法である BERT などの言語モデルを用いて、テキストデータをベクトル表現に変換する方法が紹介されています。このようなベクトル化された表現を活用することで、様々なタスクに適用できる可能性が示唆されています。

20:11

🎬 Vertex AI の総括と講義終了

この最終段落では、講義全体のまとめと締めくくりが行われています。Vertex AI を使ったエンドツーエンドの機械学習ワークフローが改めて強調されており、自動化された環境の提供、周辺ツールの活用可能性などがおさらいされています。また、自身の実装したモデルやコードを Vertex AI 上で実行できることにも言及されています。最後に、講義の終了が告げられています。

Keywords

💡Google Cloud Vertex AI

Google Cloud Vertex AIは、機械学習モデルの構築、デプロイ、運用を行うためのフルマネージドサービスです。この動画では、Vertex AIの様々な機能と利用方法について説明しています。例えば、データセットの作成、モデルの学習とデプロイ、パイプラインの作成、実験の管理などの機能が紹介されています。

💡データセット

データセットとは、機械学習モデルを学習させるための入力データのことです。この動画では、Vertex AIでデータセットを作成する方法が説明されています。画像、テキスト、ビデオなどさまざまなデータ形式に対応しており、ラベリングもできます。データセットの準備が機械学習の第一歩となります。

💡モデル学習

モデル学習とは、データセットを使って機械学習モデルを訓練することです。この動画では、Vertex AIでモデルを作成しデプロイする一連の流れが説明されています。モデルのタイプ選択や、ハイパーパラメータの設定、リソース設定などの方法が紹介されています。学習後はモデルの評価や改善が可能です。

💡パイプライン

パイプラインとは、機械学習のワークフローを自動化するためのツールです。この動画では、Vertex AIでパイプラインを作成し実行する方法が説明されています。データの前処理、モデル学習、評価など、一連の処理をステップとして定義でき、順次実行できます。再現性や効率化を実現します。

💡フィーチャーストア

フィーチャーストアとは、機械学習のための特徴量を一元管理するための機能です。この動画では、Vertex AIのフィーチャーストアの利用が言及されています。複数のモデルやシステムで特徴量を共有・再利用できるため、開発の効率化が期待できます。

💡実験の管理

機械学習モデルの開発では、さまざまなパラメータ設定やデータ前処理方法を試す必要があります。この動画では、Vertex AIで実験を管理する方法が紹介されています。各実験の設定や結果をトラッキングできるため、最適なモデルを効率的に見つけられます。

💡ベクトル化

ベクトル化とは、テキストやその他のデータを数値ベクトルに変換する処理のことです。この動画では、Vertex AIでベクトル化エンジンを利用してデータをベクトル表現に変換する方法が説明されています。これにより、機械学習モデルへの入力データとして扱えるようになります。

💡エンドポイント

エンドポイントとは、学習済みの機械学習モデルをデプロイし、クエリに応答できるようにしたWebサービスのことです。この動画では、Vertex AIでモデルをエンドポイントとしてデプロイする方法が示されています。実際のシステムでモデルを利用する際には、このエンドポイントを介して推論を行います。

💡カスタムコンテナ

カスタムコンテナとは、独自に作成した機械学習モデルやコードをVertex AIで実行するための環境のことです。この動画では、自分で開発したモデルをカスタムコンテナとしてデプロイする方法が言及されています。開発の自由度が高まる一方で、運用管理の責任も増えます。

💡マネージドサービス

マネージドサービスとは、クラウドベンダーが提供するフルマネージド型の各種サービスのことです。この動画では、Vertex AIがマネージドサービスとして提供されており、ユーザーはインフラの管理などを気にせずに機械学習のワークロードに集中できることが説明されています。

Highlights

Google Cloud の 機械学習サービスである Vertex AI について紹介する

Vertex AI は機械学習のフルライフサイクルをカバーするサービス群である

データの準備から学習、デプロイまでの一連の流れを提供している

データセットの作成と管理が簡単にできる

画像、テキスト、ビデオなど様々なデータ形式に対応

自動でモデルの学習と作成ができる AutoML の機能がある

独自モデルの学習のためのカスタマイズ可能な Pipelines が用意されている

学習済みモデルの管理とデプロイが簡単にできる

機能の拡張のための Vertex AI Matching Engine などの機能がある

自社の独自実装を Vertex AI 環境で実行できる

実験の管理のための Vertex AI Experiments の機能がある

機械学習モデルの継続的な改善が可能

スケーラブルでマネージドなサービスを提供

ユーザー体験の変化に応じてモデルを更新できる

機械学習の専門知識がなくても利用可能なサービス

Transcripts

vertex 試合でできること惣菜と

いうタイトルで発表させていただきます別

な内容ですけど

本日はですね google cloud

の木が4周サービスあるあのバティックせ

範囲というものです紹介させていただけれ

ばと思います

こちらですねパーティー xai

google クラブ画面開いていただき

ますメニューなんかに舞ったりするんです

が

こうですね実際に見てみるとメインの項目

にいろんなものがあって a

ええっ

使い中のか調べてみての桜

こういうことができます大問メールができ

ますよとかそういう情報がいろいろ出てき

たりするんですけどこのにある項目どう

いうふうにをそれぞれ活用していくん

だっていう at 3であのすぐに把握し

づらいフライをいろんな機能があるんです

ね

ことでですね

シムで戦闘書を伝え始めた頃は結局候補

どこまでできて何ができないんだっていう

を調べるまでかなり苦労したということも

あるんですね

お腹にどういうことができるだろうという

ところですね紹介させていただければと

思いますまあですね個別の位のに対してつ

の具体的にこういう風に使えますよいつと

こういうことを上げていきますよっていう

ところよりはざっと絶対を見てですこう

いうことでいそうですねってお話できれば

なと思っております

まず最初に全体像メイドすって言うところ

のアンチ

8こちらですね逆襲何やられている方が

結構

をもう見飽きたからよく見てる頭じゃない

かなと思います

ポレ基準って

グディス t you

do 文の中にい経済されている図ですが

カヌーんですねエレールあああっってる

ううううう

どちらどぅん

これし結構プロさというかこれ段階に行っ

てもかなり高負荷りお話ではあるんですよ

じゃあ俺をシステムとして使ってことを

目的にそれ以上にこんなにも周辺に考える

ことはいっぱいありますよって言う

ところですねこちらよく紹介されるままに

が容易 pえっとこれに対してですね

じゃあそういった分4品によっていき

ましょうペティ

色々考えちゃって

実際後かなりシンプルに考えても大

いろいろあります

どうその中で行くとまぁその様 a 機械

学習

に食わせるデータっていうのをどうやって

用意しますがというふうにつ

今ええ年の日足で出会っって初めて使える

ようなものになりますのでそのじゃあどこ

にどんなデータなあってそれをどうやって

機械学習

の処理が使えるところも持っていくんだと

いう話ですとか

マーケット光悪臭に

使える場所に持ってった悪にですねその

データもちろん日は医学歯学会の形日て

やる s とか

あるいはですね足長中立というところベル

より精度が入れるような形っていうのに

どんどん

もできるようなシュリーの雨のあの

プログラムというところも実になってき

たりします

でえぇっ

それがですねそちら機械学習数くさいして

じゃあ ml パーの部分っていうところ

を考えたところ持ってるんですね

アルゴリズムとなるボーイズの使い

ましょうっていうところもありますし

ジャガーへ

これどこで開発するのかっていう話もあっ

たりします

ねここまでの一連の流れっていうところも

いいですねシステム化して運用していく

ってなると努力な形でジローがしていき

ましょうとかいろいろな話が出てきます

最後実際にじゃあそこでリリースできる

ところにたどり着きましたよってなったと

したのですねその後 osho 機械学習

データに依存していきますっていうところ

で実際にあえぐ中で利用されるラバーの

例えばユーザーの効能ですかっていう変化

あ文字って村図書学習消費アン結構変わっ

てきまー必要ですそれからで推論するあの

a のポイントっていう形で pcdp

などのリクエストあのーがもの作っており

ますの芸そのイースタン祖母を管理して国

とようなあの子も出てきたりします

そうですねこれら実現をするためにマー

テック試合中にいろんなサービスが

いろいろ用意されてますよいう形になって

います

でそれにこの中でこういった部分っていう

ところが先ほどお話ししたようにねえ時が

医学書一番コアになるっていうところは

難しい数式を考える強そうな方が多く

リーグに作っている論文等してとかって

いう話もありますが関根スト決行

じゃあはそれをろくに読みと言って好位置

は数式から全部自分で実装しないとダメ

だろうっていう話でもなく結構その

ライブラリーとしてそのインドアウトの

形式は決まっています波の実装は live

より俺していますよママというのもだいぶ

充実してきています

それに関して者 now それをは願って

梁井メールボックスっていうところですね

こちらをどのように両立させていくかって

いうところがですねこういった a

vertex ウェイ

レントあのいっぺんになってくるところと

なっております

ねこれ

ざっくり砂なんかこんな感じで使うかなっ

ていうところで書いたお腹ながらなっき

ますがまずデータソースっていうところが

あります

ブーブーを

パティ殺さティ号パーレバー何かあっおっ

ちらクロス

patti

patti 所からおおっていくという形

になります

でも仲いいですね

はティック勢力さを持った時に直接データ

を使うということもできますがマティス

ano データセットいう形でこんな

データがありますかっていうのを感知して

おきますしその中でラペリング+くって

いう形ですまあ例えば元画像に対して

あのーアノテーションながらべリングし

たりとかっていうか脳にも対応しています

ねそれからですねそれを元にして学習する

部分というところまでですねパテック性愛

のナンパでその学習するための湯から基板

ですねというところを用意してくれてい

たりの上でをこそを止める機能なんかも

用意してくれたりします

その学習したものっていうのが最後は

エンドポンッ

デプロイされたりですとか

あとは a patch でつい増したり

とかっていうところです

8こういった形でいろんな金を使えるんだ

なーっていうところなんですけど

おっ

ブーブーんだけどオーナーいっぱい are

you

do 気持ちがれた方もいるかと思います

けっこうこれじゃあ全部サイドアーマー

ンっていうところなんですけど別にあの

そんなことはありません

ヘッドこちらですね一番高

簡単に大とりあえずバー x よいつか

ってみんなこうだっていうところからね

鳥原もうちょっと+あるふぁりーなー勝ち

ゲームでいければなと思います

まずですね一番シンプルメールですね

ぱセット用意してその綺麗なセットに

決して臆病で学習します

ベーカー親父っていうところなんですけど

play 37人するか age 今小

画像での美瑛で表示させていただいており

ますが apex ai 使う価値ですね

このデータセットいうがありましてないん

ですねっまあクラウドストレージストパ

てぃっく luv letter さあ

あああああいますよと言う

に対してどうすれば購入芸たセットです

よっていうのをここに登録しておくことが

可能になっています

日大のペーパーシェのなんですけど

イメージ手ぶらテキストビデオは中な塗り

ますが例えば画像にあれば忙しいし

ケーションベストカーオブジェクト3れく

しょん

us 7テーションみたいなプチ

で実際の村活動でラップをそのそれに

対するラベル付っていうのセットで管理し

ておきますよとか言うそういった僕が可能

になっています

今日もシンプルに使ってみる分には運

セット new 愛情で csv ファイル

の顔例えば

直接アップローズクラウドストレージに

あっをしてそれを言った接吻手登録します

みかんっできたりしますのでそれ形です

それで使ってみるって言うところ費やし

行くよなっております

いつもしていこうして a の積極あの

つづったデータセットいうことですね

こちらですねとデータセットジヌンとその

んちゃどういう問題解きたいですか言う

ところですねこちら選曲していただくだけ

でも tml っていうとすぐに処理が

走ります形になります

実際にどういった形なのか寒波が出来まし

たこちら

ていた窃盗

というところでまず

新しく弱新規データセットを作りますよ

データセットの名前とか切符切るんです

けど画像ですとか

テーブルデータですのうん

ですとか

自然減を

それからビデオを受けてこれ動画に関する

情報っていうのを色々者に書くべき道に

なっています

動きが得意は永作心身を

メーカーショップが作成されてこっちはに

住めむぺたセットの中に実際のデータ群

こういった形

あの csv ファイルをアップロードし

ますよとかクラウドストレージですとか

big クエリーここにありますよいう

情報に館言えるはカロンん

がニュースに一緒に刺しに作成しておいた

pupa ショップがありますので

こちらですねこちらの web 設定って

いうのがですよ水いければなと思います

こちら atm 下段なプリーツ鈍いから

もありますよ友情か見えたりします

変化がですねニューモデルという形で直接

選択肢をもらうこともできますし

トレーニングの棒から実際にくりぃ形で

学習所を作成することも可能です

日本昼飯ですねんまんで出せっていう形で

作成しかできませんっていうの尖閣して

オート mn という風にするだけで作成

管理馬よりもしてこちらも美味できる肋骨

は作成するモデルの名前を付けており

ベストかを調べるならレッツ4のを指摘し

たりという形になっています

あと a オプションなんかの私邸着

ですがこちらの各支部に寄せる列を選択し

たりしたあっいい

最後にもちろんこれぐらいまでお金かけ

ますかみたいな話はたりするんですけど

そういった形ですリロ名情報を選択できる

っていう形をなっ

じゃあペットを自社に動かしとこの後時間

がかかりますのでお金動かすことはしませ

んが実際ニュースモデル作成したらですよ

形でモデルに関する情報

ユーノ尾根確認できるようになった

今英語と微妙なモデルですが評価指標

リストあるいはギロチンん

エプロン4のテストという形のものもあり

ますけどエンドポイントとしてプロ入りし

てその上でモデルにのペペされたインド

ポンティでしてため新リクエストなるこれ

ですとかあるいは別途がっちりやすいもし

いったことも可能に乗っています

2ですねお俺寝るべその思えるとその

データセットになる8節句の基になる

データさん用意しておけば後はもうをまあ

いう愛情カード s をクリックで実現

できてしまいますよというは apr に

使える方程度の日のような

銀こちら

学習した後はその

札幌見せしたの見るレジストリっていう形

で無限登録されておりますのでレースと

なるから辺野古に作成ですして se

non すっ

うわぁ可能 n

84

ここからですん

ちょっとですね

大手れるわかりましたでもオペラで出来る

機能じゃないんです私はやりたいまあこう

おー言うまで6ですね今二枚で使う中5校

友好度があるんですよってやっぱです

そういった方の鍵ですねもちろんもっと

言えないもし君

作自分で実装したものっていうのを

動かせるしくってのはもちろん用意されて

います

単純に言ってしまうとエーオンてな

を用意してその本当の実行環境をしてこの

バーテック製を使いますよねがはたちに

なってきます

なので遠方

本当にアレンジしていいけどあ字幕プレイ

リスト1分登録されて不安定なイメージ

をその方が卵するっていうようなことも

可能になった

ブーブー h 邸村検査プロジェクト

are you

doing で自分が実行した一方学習

処理の行動ですね

こちらも用意することで環境がエースでに

あるもの

本店な音でブローし疲れます一方鳥栖行動

を受け取る部分だけを自分ではたしますよ

というのはチキンも可能

こちら具体で林道するかっていうところに

関してはこちらですね一番シンプルな6

こちらは確か

点数アップ簿使って

[音楽]

1000形の会社泣かすようなもので試し

にやってみるもんですけど公式でこういっ

た3分ジャン用意しか

ねこちら先ほどのと mou を作成した

モデルっていうのを利用してその言語ポイ

ンクンってプロ入りしますよです uses

ピュア

ジョンアンみんなっ

ねっ彼からですね反

エプロンし食べたあのにタイミングって

いうところでエンドポイントと施設運をし

ている

っていうところに入力されるデータいうの

がそのモデル爆主事

とかあるいはその入ってくれればそのもの

も消え本を変化っていうところで新監視し

てそれで何か問題だったらな言葉しますよ

ようなことも可能

はいここのではですねね学習の水温って

いう一番シンプルなところですね

その場合んですね左学習

じゃあいざ実際にあろうとなったばいいん

ですよねかなりですねあの黒する部分をし

てはです

契約周するキー

ラッシュ

系じゃなくてお祈りの処理石って学習

モデリングはセルゲイを頑張って作ってる

んですよ

踊るですねよくあるわけです

lo

機械学習の中ならこういう愛プラインとし

て一連の流れを定義しましょうっていうの

が紅葉受けてくる話ではあるんですけど

まぁそれで事例の流れを d してその

順番に実行したいですよねというところで

この ip アイっていう愚かで両雨に

なっ

ねこちらですね実際にパイプライン作って

動かしたがこういった形で処理の流れ

グラフコードでこういった形で動き

ましょうっていうのが確認できるんですね

これ裏っかわねぇどうマネージャーの環境

ばに説教をされてましてその中でまぁ

クーペプロスペックスという形で大

打った危ない

インフローの例えば

設定ファイル無茶のゴンッ阿部ちゃって

本当のはええほんとが電池展が登録されて

いますっていう形でその後動かすだけ強

みたいな価値でヘイ

やっぱり愛撫ライン化したものを動かす

関係という形でサブ使えるものが用意され

ています

ブーブーにメディアデーピュアいうものも

あるんですけど

英智らです

にょ ir

圧迫が

ましたよとロスよか人できるようむしゅ

ぎっの病気されてい

データが経ち a 4判パイプラインカー

するというところまで増えて種類や新

メニュープラーの部分かなり樹立してよ

りっせと言っていますが a あまあです

ねこの中で振れていなかった金っていう

まだ桜をしいくつかありまして

ねっっ

まずはですね上から順番に見ていくと

feature ストアーっていうところ

こちら

hereレズみたいなもんだ実はいければ

いいと思います

でこちらで済むたとえがいい今動いている

ものの他にもよく新しい oomn モデル

使ったシステムを作りたいんです

湯布院簿なって一時にいろんなあシステム

科の特徴ように共有して連休したりすると

かいう時に使いましたりとかもするんで

ありペリア趣味

hereするし君になっ

それからですねスペ裏面地ですねこちらは

ですね影響力集

結局900集

残っていう風の話になってくるんですが

機械学習をする

ジョニデスッ結構

これだもんばんげ使えそうもん制度になっ

ているというところ討伐いろいろなぽぉ

ぱパラメーター帰ってみたりチョップいう

特徴量の抽出の仕方変えてみたりとか

いろいろ試しながら oo するという

誘う色や実験をしている訳ですけどその中

であの適当にやってるの桜

どういうこと衝撃一番8日よくなやっぱり

なってみたのかあとは食べてうん思い出せ

ないがなることがよくあります

ブーその中で即刻はおけないにこういう

社名なで実験しましたいう情報を管理して

おきたいですね

ふぇふぇふぇふぇふぇふぇふぇふぇふぇ

ふぇふぇふぇふぇつを使う言葉1

最後著

ポチラグジンマッチングエンジンという

ところでいる

ここまでの位置でも鍋れると思う10貫方

星色が異なる部分になってくるんですが

ちゅらですよね

いろんなデータです

を埋め込み表日よりベクトルかっていう風

に言っていますが例えば有名なところです

とは骨べく唇

4 pin ファン

[音楽]

表現できますっていうか

形もできる

こういった形ですねリベッティング仁表現

って呼ばれておりましてどういったものが

使って

上羽 a 村

さんができますのでへと近いものがこれ

だろあって

お宮さんしたりという処理が実現可能に

なります

説明した内容としましたまず

ば適正使うとともにカンカンに本当に

見える動かしますよというところですね

ねそれかオートマについていたず自分で

実装した協力種の県環境

それをバスターのメールボックスの環境し

て使えました

それから利益それに付随する色が周辺を

固めるための様々な菌提供されていますよ

というところでお話すっていただきました

はい以上で私もお話は以上となります最後

までご静聴ありがとうございました

[音楽]

ブーブー

[音楽]