機械学習環境「Vertex AI」の機能を解説 #devio2022 #googlecloud
Summary
TLDRこの動画では、Google Cloudの機械学習サービスであるVertexAIの概要と機能について詳しく説明されています。データセットの準備、モデルの学習、デプロイまでの一連の流れが解説されており、簡単な画像やテーブルデータから始めて、徐々にビデオデータや自然言語処理など高度な機能も紹介されています。また、機械学習モデルの実験環境の構築や特徴量の抽出、ベクトル化の処理なども触れられ、VertexAIを使った機械学習システム構築の全体像が分かりやすく説明されています。
Takeaways
- 🌐 Google Cloud の Vertex AI サービスは、機械学習ワークフローの様々な側面をカバーしている包括的なプラットフォームである。
- 📂 データセットの準備、前処理、ラベリングなどのデータ管理機能が用意されている。
- 📊 AutoML を使えば、コーディングなしで簡単に機械学習モデルを作成できる。
- 🧪 Vertex AI Experiments を使って、ハイパーパラメータチューニングなど、モデルの実験を管理できる。
- 📐 Cloud Dataproc や Dataprep などのツールで、データの前処理やフィーチャエンジニアリングができる。
- 🧮 TensorFlow、PyTorch、Scikit-learnなどの人気ライブラリを使ってカスタムモデルを構築できる。
- 🖥️ Vertex AI Workbench で開発環境をセットアップし、ノートブックを実行できる。
- ⚙️ Vertex AI Pipelines を使えば、End-to-Endの機械学習ワークフローを自動化できる。
- 📡 Cloud Endpoints を使ってモデルをデプロイし、リアルタイムの推論リクエストに対応できる。
- 📈 モデルのモニタリングとメンテナンス機能で、モデルの信頼性と品質を維持できる。
Q & A
この転載は垂直 AIサービスについて説明しているものですか?
-はい、この転載ではGoogle Cloud Vertex AIサービスの概要と機能について詳しく説明しています。
Vertex AIの主な機能は何ですか?
-主な機能は、データセットの準備、モデルの学習とデプロイ、機械学習パイプラインの作成、特徴量エンジニアリングなどです。
データセットの準備はどのように行われますか?
-画像、テキスト、ビデオなどのデータをクラウドストレージにアップロードし、ラベル付けしてデータセットとして登録できます。
モデルの学習はどのように行われますか?
-準備したデータセットを使って、自動でモデルの学習を行うことができます。学習済みモデルは後でデプロイできます。
機械学習パイプラインとは何ですか?
-データの前処理、モデルの学習、評価などの一連の流れをパイプラインとして定義し、自動化できる機能です。
特徴量エンジニアリングが可能な理由は?
-ベクトル化エンジンを使って、様々なデータをベクトル表現に変換できるためです。
自前の機械学習モデルを使うことはできますか?
-はい、自分で作成した機械学習モデルをデプロイして利用することができます。
Vertex AIの利点は何ですか?
-機械学習のフルサイクルをクラウド上で一元的に行えるため、開発が効率化できる点が大きな利点です。
Vertex AIで実験管理ができるのはなぜですか?
-実験トラッカーという機能があり、実験の設定や結果を一元的に管理できるためです。
対象者はVertex AIをどのように活用すればよいでしょうか?
-まずはシンプルな使い方から試し、徐々に高度な機能を活用していくことが推奨されています。
Outlines
🗣️ Vertex AI の機能紹介と概要説明
この段落では、Google Cloud の Vertex AI サービスを紹介しています。Vertex AI は機械学習のワークフローを一元的に管理できるツールで、データの準備、モデルの構築、デプロイ、運用までの一連のプロセスをサポートします。講師は過去の経験から、Vertex AI の機能を理解するまでに苦労したことを述べ、本講義ではざっくりとした概要を説明することを目的としています。
🔍 Vertex AI の主要機能詳細
この段落では、Vertex AI の主要な機能について詳しく説明しています。データセットの準備、アノテーション、学習モデルの構築、評価、デプロイまでの一連の機能が紹介されています。特に、データセットの登録方法や、学習済みモデルを Web エンドポイントとしてデプロイする方法が具体的に説明されています。さらに、単純な使い方から始めて徐々に高度な機能を活用できることが強調されています。
🧪 Vertex AI の機能拡張
この段落では、Vertex AI の機能をさらに拡張する方法について説明しています。カスタムモデルの登録、自動機械学習、パイプラインの構築など、より高度な機能が紹介されています。特に、パイプラインを使ってワークフローを自動化する方法が詳しく解説されています。また、機能拡張のためのその他のツールとして、フィーチャストア、メタデータの管理、ベクトル化エンジンなども紹介されています。
⚙️ Vertex AI の高度な機能
この段落では、Vertex AI のさらに高度な機能について説明しています。特に、機械学習モデルの埋め込みベクトル化に関する機能が重点的に解説されています。有名な手法である BERT などの言語モデルを用いて、テキストデータをベクトル表現に変換する方法が紹介されています。このようなベクトル化された表現を活用することで、様々なタスクに適用できる可能性が示唆されています。
🎬 Vertex AI の総括と講義終了
この最終段落では、講義全体のまとめと締めくくりが行われています。Vertex AI を使ったエンドツーエンドの機械学習ワークフローが改めて強調されており、自動化された環境の提供、周辺ツールの活用可能性などがおさらいされています。また、自身の実装したモデルやコードを Vertex AI 上で実行できることにも言及されています。最後に、講義の終了が告げられています。
Mindmap
Keywords
💡Google Cloud Vertex AI
💡データセット
💡モデル学習
💡パイプライン
💡フィーチャーストア
💡実験の管理
💡ベクトル化
💡エンドポイント
💡カスタムコンテナ
💡マネージドサービス
Highlights
Google Cloud の 機械学習サービスである Vertex AI について紹介する
Vertex AI は機械学習のフルライフサイクルをカバーするサービス群である
データの準備から学習、デプロイまでの一連の流れを提供している
データセットの作成と管理が簡単にできる
画像、テキスト、ビデオなど様々なデータ形式に対応
自動でモデルの学習と作成ができる AutoML の機能がある
独自モデルの学習のためのカスタマイズ可能な Pipelines が用意されている
学習済みモデルの管理とデプロイが簡単にできる
機能の拡張のための Vertex AI Matching Engine などの機能がある
自社の独自実装を Vertex AI 環境で実行できる
実験の管理のための Vertex AI Experiments の機能がある
機械学習モデルの継続的な改善が可能
スケーラブルでマネージドなサービスを提供
ユーザー体験の変化に応じてモデルを更新できる
機械学習の専門知識がなくても利用可能なサービス
Transcripts
vertex 試合でできること惣菜と
いうタイトルで発表させていただきます別
な内容ですけど
本日はですね google cloud
の木が4周サービスあるあのバティックせ
範囲というものです紹介させていただけれ
ばと思います
こちらですねパーティー xai
google クラブ画面開いていただき
ますメニューなんかに舞ったりするんです
が
こうですね実際に見てみるとメインの項目
にいろんなものがあって a
ええっ
使い中のか調べてみての桜
こういうことができます大問メールができ
ますよとかそういう情報がいろいろ出てき
たりするんですけどこのにある項目どう
いうふうにをそれぞれ活用していくん
だっていう at 3であのすぐに把握し
づらいフライをいろんな機能があるんです
ね
ことでですね
シムで戦闘書を伝え始めた頃は結局候補
どこまでできて何ができないんだっていう
を調べるまでかなり苦労したということも
あるんですね
お腹にどういうことができるだろうという
ところですね紹介させていただければと
思いますまあですね個別の位のに対してつ
の具体的にこういう風に使えますよいつと
こういうことを上げていきますよっていう
ところよりはざっと絶対を見てですこう
いうことでいそうですねってお話できれば
なと思っております
まず最初に全体像メイドすって言うところ
のアンチ
8こちらですね逆襲何やられている方が
結構
をもう見飽きたからよく見てる頭じゃない
かなと思います
ポレ基準って
グディス t you
do 文の中にい経済されている図ですが
カヌーんですねエレールあああっってる
ううううう
どちらどぅん
これし結構プロさというかこれ段階に行っ
てもかなり高負荷りお話ではあるんですよ
じゃあ俺をシステムとして使ってことを
目的にそれ以上にこんなにも周辺に考える
ことはいっぱいありますよって言う
ところですねこちらよく紹介されるままに
が容易 pえっとこれに対してですね
じゃあそういった分4品によっていき
ましょうペティ
色々考えちゃって
実際後かなりシンプルに考えても大
いろいろあります
どうその中で行くとまぁその様 a 機械
学習
に食わせるデータっていうのをどうやって
用意しますがというふうにつ
今ええ年の日足で出会っって初めて使える
ようなものになりますのでそのじゃあどこ
にどんなデータなあってそれをどうやって
機械学習
の処理が使えるところも持っていくんだと
いう話ですとか
マーケット光悪臭に
使える場所に持ってった悪にですねその
データもちろん日は医学歯学会の形日て
やる s とか
あるいはですね足長中立というところベル
より精度が入れるような形っていうのに
どんどん
もできるようなシュリーの雨のあの
プログラムというところも実になってき
たりします
でえぇっ
それがですねそちら機械学習数くさいして
じゃあ ml パーの部分っていうところ
を考えたところ持ってるんですね
アルゴリズムとなるボーイズの使い
ましょうっていうところもありますし
ジャガーへ
これどこで開発するのかっていう話もあっ
たりします
ねここまでの一連の流れっていうところも
いいですねシステム化して運用していく
ってなると努力な形でジローがしていき
ましょうとかいろいろな話が出てきます
最後実際にじゃあそこでリリースできる
ところにたどり着きましたよってなったと
したのですねその後 osho 機械学習
データに依存していきますっていうところ
で実際にあえぐ中で利用されるラバーの
例えばユーザーの効能ですかっていう変化
あ文字って村図書学習消費アン結構変わっ
てきまー必要ですそれからで推論するあの
a のポイントっていう形で pcdp
などのリクエストあのーがもの作っており
ますの芸そのイースタン祖母を管理して国
とようなあの子も出てきたりします
そうですねこれら実現をするためにマー
テック試合中にいろんなサービスが
いろいろ用意されてますよいう形になって
います
でそれにこの中でこういった部分っていう
ところが先ほどお話ししたようにねえ時が
医学書一番コアになるっていうところは
難しい数式を考える強そうな方が多く
リーグに作っている論文等してとかって
いう話もありますが関根スト決行
じゃあはそれをろくに読みと言って好位置
は数式から全部自分で実装しないとダメ
だろうっていう話でもなく結構その
ライブラリーとしてそのインドアウトの
形式は決まっています波の実装は live
より俺していますよママというのもだいぶ
充実してきています
それに関して者 now それをは願って
梁井メールボックスっていうところですね
こちらをどのように両立させていくかって
いうところがですねこういった a
vertex ウェイ
レントあのいっぺんになってくるところと
なっております
ねこれ
ざっくり砂なんかこんな感じで使うかなっ
ていうところで書いたお腹ながらなっき
ますがまずデータソースっていうところが
あります
ブーブーを
パティ殺さティ号パーレバー何かあっおっ
ちらクロス
patti
patti 所からおおっていくという形
になります
でも仲いいですね
はティック勢力さを持った時に直接データ
を使うということもできますがマティス
ano データセットいう形でこんな
データがありますかっていうのを感知して
おきますしその中でラペリング+くって
いう形ですまあ例えば元画像に対して
あのーアノテーションながらべリングし
たりとかっていうか脳にも対応しています
ねそれからですねそれを元にして学習する
部分というところまでですねパテック性愛
のナンパでその学習するための湯から基板
ですねというところを用意してくれてい
たりの上でをこそを止める機能なんかも
用意してくれたりします
その学習したものっていうのが最後は
エンドポンッ
デプロイされたりですとか
あとは a patch でつい増したり
とかっていうところです
8こういった形でいろんな金を使えるんだ
なーっていうところなんですけど
おっ
ブーブーんだけどオーナーいっぱい are
you
do 気持ちがれた方もいるかと思います
けっこうこれじゃあ全部サイドアーマー
ンっていうところなんですけど別にあの
そんなことはありません
ヘッドこちらですね一番高
簡単に大とりあえずバー x よいつか
ってみんなこうだっていうところからね
鳥原もうちょっと+あるふぁりーなー勝ち
ゲームでいければなと思います
まずですね一番シンプルメールですね
ぱセット用意してその綺麗なセットに
決して臆病で学習します
ベーカー親父っていうところなんですけど
play 37人するか age 今小
画像での美瑛で表示させていただいており
ますが apex ai 使う価値ですね
このデータセットいうがありましてないん
ですねっまあクラウドストレージストパ
てぃっく luv letter さあ
あああああいますよと言う
に対してどうすれば購入芸たセットです
よっていうのをここに登録しておくことが
可能になっています
日大のペーパーシェのなんですけど
イメージ手ぶらテキストビデオは中な塗り
ますが例えば画像にあれば忙しいし
ケーションベストカーオブジェクト3れく
しょん
us 7テーションみたいなプチ
で実際の村活動でラップをそのそれに
対するラベル付っていうのセットで管理し
ておきますよとか言うそういった僕が可能
になっています
今日もシンプルに使ってみる分には運
セット new 愛情で csv ファイル
の顔例えば
直接アップローズクラウドストレージに
あっをしてそれを言った接吻手登録します
みかんっできたりしますのでそれ形です
それで使ってみるって言うところ費やし
行くよなっております
いつもしていこうして a の積極あの
つづったデータセットいうことですね
こちらですねとデータセットジヌンとその
んちゃどういう問題解きたいですか言う
ところですねこちら選曲していただくだけ
でも tml っていうとすぐに処理が
走ります形になります
実際にどういった形なのか寒波が出来まし
たこちら
ていた窃盗
というところでまず
新しく弱新規データセットを作りますよ
データセットの名前とか切符切るんです
けど画像ですとか
テーブルデータですのうん
ですとか
自然減を
それからビデオを受けてこれ動画に関する
情報っていうのを色々者に書くべき道に
なっています
動きが得意は永作心身を
メーカーショップが作成されてこっちはに
住めむぺたセットの中に実際のデータ群
こういった形
あの csv ファイルをアップロードし
ますよとかクラウドストレージですとか
big クエリーここにありますよいう
情報に館言えるはカロンん
がニュースに一緒に刺しに作成しておいた
pupa ショップがありますので
こちらですねこちらの web 設定って
いうのがですよ水いければなと思います
こちら atm 下段なプリーツ鈍いから
もありますよ友情か見えたりします
変化がですねニューモデルという形で直接
選択肢をもらうこともできますし
トレーニングの棒から実際にくりぃ形で
学習所を作成することも可能です
日本昼飯ですねんまんで出せっていう形で
作成しかできませんっていうの尖閣して
オート mn という風にするだけで作成
管理馬よりもしてこちらも美味できる肋骨
は作成するモデルの名前を付けており
ベストかを調べるならレッツ4のを指摘し
たりという形になっています
あと a オプションなんかの私邸着
ですがこちらの各支部に寄せる列を選択し
たりしたあっいい
最後にもちろんこれぐらいまでお金かけ
ますかみたいな話はたりするんですけど
そういった形ですリロ名情報を選択できる
っていう形をなっ
じゃあペットを自社に動かしとこの後時間
がかかりますのでお金動かすことはしませ
んが実際ニュースモデル作成したらですよ
形でモデルに関する情報
ユーノ尾根確認できるようになった
今英語と微妙なモデルですが評価指標
リストあるいはギロチンん
エプロン4のテストという形のものもあり
ますけどエンドポイントとしてプロ入りし
てその上でモデルにのペペされたインド
ポンティでしてため新リクエストなるこれ
ですとかあるいは別途がっちりやすいもし
いったことも可能に乗っています
2ですねお俺寝るべその思えるとその
データセットになる8節句の基になる
データさん用意しておけば後はもうをまあ
いう愛情カード s をクリックで実現
できてしまいますよというは apr に
使える方程度の日のような
銀こちら
学習した後はその
札幌見せしたの見るレジストリっていう形
で無限登録されておりますのでレースと
なるから辺野古に作成ですして se
non すっ
うわぁ可能 n
84
ここからですん
ちょっとですね
大手れるわかりましたでもオペラで出来る
機能じゃないんです私はやりたいまあこう
おー言うまで6ですね今二枚で使う中5校
友好度があるんですよってやっぱです
そういった方の鍵ですねもちろんもっと
言えないもし君
作自分で実装したものっていうのを
動かせるしくってのはもちろん用意されて
います
単純に言ってしまうとエーオンてな
を用意してその本当の実行環境をしてこの
バーテック製を使いますよねがはたちに
なってきます
なので遠方
本当にアレンジしていいけどあ字幕プレイ
リスト1分登録されて不安定なイメージ
をその方が卵するっていうようなことも
可能になった
ブーブー h 邸村検査プロジェクト
are you
doing で自分が実行した一方学習
処理の行動ですね
こちらも用意することで環境がエースでに
あるもの
本店な音でブローし疲れます一方鳥栖行動
を受け取る部分だけを自分ではたしますよ
というのはチキンも可能
こちら具体で林道するかっていうところに
関してはこちらですね一番シンプルな6
こちらは確か
点数アップ簿使って
[音楽]
1000形の会社泣かすようなもので試し
にやってみるもんですけど公式でこういっ
た3分ジャン用意しか
ねこちら先ほどのと mou を作成した
モデルっていうのを利用してその言語ポイ
ンクンってプロ入りしますよです uses
ピュア
ジョンアンみんなっ
ねっ彼からですね反
エプロンし食べたあのにタイミングって
いうところでエンドポイントと施設運をし
ている
っていうところに入力されるデータいうの
がそのモデル爆主事
とかあるいはその入ってくれればそのもの
も消え本を変化っていうところで新監視し
てそれで何か問題だったらな言葉しますよ
ようなことも可能
はいここのではですねね学習の水温って
いう一番シンプルなところですね
その場合んですね左学習
じゃあいざ実際にあろうとなったばいいん
ですよねかなりですねあの黒する部分をし
てはです
契約周するキー
ラッシュ
系じゃなくてお祈りの処理石って学習
モデリングはセルゲイを頑張って作ってる
んですよ
踊るですねよくあるわけです
lo
機械学習の中ならこういう愛プラインとし
て一連の流れを定義しましょうっていうの
が紅葉受けてくる話ではあるんですけど
まぁそれで事例の流れを d してその
順番に実行したいですよねというところで
この ip アイっていう愚かで両雨に
なっ
ねこちらですね実際にパイプライン作って
動かしたがこういった形で処理の流れ
グラフコードでこういった形で動き
ましょうっていうのが確認できるんですね
これ裏っかわねぇどうマネージャーの環境
ばに説教をされてましてその中でまぁ
クーペプロスペックスという形で大
打った危ない
インフローの例えば
設定ファイル無茶のゴンッ阿部ちゃって
本当のはええほんとが電池展が登録されて
いますっていう形でその後動かすだけ強
みたいな価値でヘイ
やっぱり愛撫ライン化したものを動かす
関係という形でサブ使えるものが用意され
ています
ブーブーにメディアデーピュアいうものも
あるんですけど
英智らです
にょ ir
圧迫が
ましたよとロスよか人できるようむしゅ
ぎっの病気されてい
データが経ち a 4判パイプラインカー
するというところまで増えて種類や新
メニュープラーの部分かなり樹立してよ
りっせと言っていますが a あまあです
ねこの中で振れていなかった金っていう
まだ桜をしいくつかありまして
ねっっ
まずはですね上から順番に見ていくと
feature ストアーっていうところ
こちら
hereレズみたいなもんだ実はいければ
いいと思います
でこちらで済むたとえがいい今動いている
ものの他にもよく新しい oomn モデル
使ったシステムを作りたいんです
湯布院簿なって一時にいろんなあシステム
科の特徴ように共有して連休したりすると
かいう時に使いましたりとかもするんで
ありペリア趣味
hereするし君になっ
それからですねスペ裏面地ですねこちらは
ですね影響力集
結局900集
残っていう風の話になってくるんですが
機械学習をする
ジョニデスッ結構
これだもんばんげ使えそうもん制度になっ
ているというところ討伐いろいろなぽぉ
ぱパラメーター帰ってみたりチョップいう
特徴量の抽出の仕方変えてみたりとか
いろいろ試しながら oo するという
誘う色や実験をしている訳ですけどその中
であの適当にやってるの桜
どういうこと衝撃一番8日よくなやっぱり
なってみたのかあとは食べてうん思い出せ
ないがなることがよくあります
ブーその中で即刻はおけないにこういう
社名なで実験しましたいう情報を管理して
おきたいですね
ふぇふぇふぇふぇふぇふぇふぇふぇふぇ
ふぇふぇふぇふぇつを使う言葉1
最後著
ポチラグジンマッチングエンジンという
ところでいる
ここまでの位置でも鍋れると思う10貫方
星色が異なる部分になってくるんですが
ちゅらですよね
いろんなデータです
を埋め込み表日よりベクトルかっていう風
に言っていますが例えば有名なところです
とは骨べく唇
4 pin ファン
[音楽]
表現できますっていうか
形もできる
こういった形ですねリベッティング仁表現
って呼ばれておりましてどういったものが
使って
上羽 a 村
さんができますのでへと近いものがこれ
だろあって
お宮さんしたりという処理が実現可能に
なります
説明した内容としましたまず
ば適正使うとともにカンカンに本当に
見える動かしますよというところですね
ねそれかオートマについていたず自分で
実装した協力種の県環境
それをバスターのメールボックスの環境し
て使えました
それから利益それに付随する色が周辺を
固めるための様々な菌提供されていますよ
というところでお話すっていただきました
はい以上で私もお話は以上となります最後
までご静聴ありがとうございました
[音楽]
ブーブー
[音楽]
5.0 / 5 (0 votes)