BigQuery と PaLM で進化するデータ分析
Summary
TLDRこのスクリプトでは、GoogleCloudのビッグクエリープロダクトについて詳しく説明されています。最初にビッグクエリースタジオという新しい分析環境について、機能やコラボレーション機能などを紹介しています。次に、ビッグクエリーに統合されたllm（大規模言語モデル）の活用方法について解説しており、パルムモデルの呼び出し方法や、ラグ(Retrieval Augmented Generation)と呼ばれる機械学習による制度改善の手法などが説明されています。分析体験の向上や機械学習の活用など、ビッグクエリーの最新機能が分かりやすく紹介されています。
Takeaways
- 🌐 BigQueryスタジオは、データ分析や機械学習開発のためのコラボレーション可能な次世代ワークスペースで、コラボエンタープライズとの統合やBigframesなどの新機能が追加された。
- 💻 Bigframesパッケージでは、Pandasライクな書き心地でBigQueryの処理をオフロードできる。
- 🤖 BigQueryからPaLM(大規模言語モデル)を呼び出し、データに基づいた回答を生成できるようになった。
- ⚡ BigframesのMLモジュールでは、サイキットラーンライクなインターフェースを使ってBigQueryで機械学習モデルの開発ができる。
- 🔍 BigQueryでは、リトリーバル対話補助(RAG)の技術を使い、データに基づいたプロンプトを生成してLLMの回答の精度を高められる。
- ✍️ BigQueryでは、SQLのみでコードの生成や変換、要約などのタスクをLLMに実行させることができる。
- 🔀 ヘルパー関数にリモートファンクションのアノテーションを付けると、BigQueryからクラウド関数としてデプロイされ、並列実行できる。
- 📈 データプロファイリングやリネージの機能を活用すれば、より効率的なデータ分析が可能になる。
- 🔐 コラボエンタープライズにより、セキュリティとガバナンスを備えたエンタープライズ向けのJupyterノートブック環境が提供される。
- 💡 AIチャットコードアシスタントにより、コード生成、デバッグ、リファクタリングの補助ができる。
Q & A
ビッグクエリースタジオとはどのようなものですか?
-ビッグクエリースタジオは、データ分析や機械学習開発を行うためのコラボレーション可能なワークスペースであり、開発環境とも呼ばれます。ここではノートブックを使ってPythonでデータ分析ができ、BigQueryとLLMの機能を組み合わせることができます。
ビッグクエリースタジオの主な機能は何ですか?
-主な機能には、コラボエンタープライズとの統合、データプロファイリング機能、リネージ機能、PalmなどのLLMとの統合、コードアシスタント、BigQueryデータフレームなどがあります。
BigQueryデータフレームとは何ですか?
-BigQueryデータフレームは、BigFrames.pandasやBigFrames.mlのようなPythonパッケージで提供され、PandasやScikitLearnのようなAPIを使用できます。裏側ではBigQueryで処理が実行されるため、大規模なデータセットでも分析できます。
PalmをBigQueryから呼び出す手順を教えてください。
-手順は2つあります。1つ目は、最初に1回だけモデルを登録し、名前をつけて保存します。2つ目は、ml.generate_text関数を使い、登録したモデル名とプロンプトを渡して実行します。
LLMをより実用的に使うためのラグ(LLaMa Retrieval Augmented Generation)とは何ですか?
-ラグは、LLMと情報検索技術を組み合わせた手法です。データをベクトル化し、ユーザーの質問に近いデータを検索してLLMに渡すことで、LLMの回答の正確性を向上させることができます。BigQueryではラグの実装がサポートされています。
ラグを実装する際の主なステップは何ですか?
-主なステップは、1)エンベディングモデルを使ってデータをベクトル化し、ベクトルストアを作成する、2)ユーザーの質問をベクトル化し、ベクトル検索でプロンプトを拡張する、3)拡張したプロンプトをLLMに渡して実行する、となります。
ビッグクエリースタジオを使うメリットは何ですか?
-ビッグクエリースタジオを使うメリットは、複数のツールを組み合わせる必要がなくなり、SQLとPythonだけで機械学習モデルの開発とデータ分析が行えるようになることです。また、データ転送の手間が省け、コンプライアンスの問題も回避できます。
ビッグクエリースタジオのコラボレーション機能について教えてください。
-ビッグクエリースタジオでは、ノートブックを共有したり、バージョン管理したりできます。また、クラウドファンクションにデプロイされたヘルパー関数を呼び出して並列実行することもできます。
ビッグクエリースタジオで機械学習モデルを開発する際の利点は何ですか?
-ビッグクエリースタジオでは、SQLだけで機械学習モデルの開発ができるため、複数のプログラミング言語を使い分ける必要がありません。また、データ転送の手間もかからず、コンプライアンスの問題も発生しにくくなります。
ビッグクエリースタジオでLLMを活用する場合の具体的なユースケースは何ですか?
-具体的なユースケースとしては、コンテンツ生成、分類、クエリ生成、変換、要約などがあげられます。LLMをデータに適用して様々な処理を行うことができます。
Outlines
🙋 自己紹介と本セッションの概要
この段落では、講演者が自己紹介を行い、本セッションの内容について概説しています。講演者はGoogleのデータアナリティクススペシャリストで、通常はBigQueryやVertexAIなどのプロダクトを紹介していると述べています。今回のセッションでは、BigQueryの新機能であるBigQueryスタジオと、BigQueryにおけるPaLM(大規模言語モデル)の統合について説明する予定であると説明しています。
🖥️ BigQueryスタジオとコラボレーション環境の紹介
この段落では、BigQueryスタジオとコラボエンタープライズについて説明しています。BigQueryスタジオは、データ分析や機械学習の開発を行うためのコラボレーション可能なワークスペースで、GoogleのJupyter Notebookベースの環境であるコラボエンタープライズと統合されています。このコラボレーション環境では、SQLとPythonノートブックの両方を利用できるようになり、機械学習の開発が容易になったことが説明されています。
📊 BigQueryでのデータ分析の実演
この段落では、実際にBigQueryスタジオを使ったデータ分析の様子が動画で紹介されています。Pythonのパッケージダウンロードログから、よくダウンロードされているパッケージを集計するというユースケースが設定され、BigQueryスタジオの機能を使ってデータの可視化、リネージの確認、データプロファイリングなどを実演しています。さらに、PythonのノートブックからBigQueryにアクセスする方法も紹介されています。
🧠 PaLMの統合とSQLからの利用方法
この段落では、BigQueryへのPaLM(大規模言語モデル)の統合と、SQLからPaLMを呼び出す方法が説明されています。PaLMモデルを登録し、ml_generate_text関数を使うことで、BigQueryのデータをプロンプトとしてPaLMに投げることができます。具体例として、都市名からその国名を返すようなプロンプトをPaLMに実行させる方法が示されています。さらに、PythonのノートブックからBigQueryのPaLMモデルを呼び出す方法も紹介されています。
🔍 LLMのプロンプト拡張と実用性の向上
この段落では、大規模言語モデル(LLM)の実用性を高めるための技術であるラグ(Retrieval Augmented Generation)について説明しています。ラグはエンベディングとベクトル検索を組み合わせることで、LLMのプロンプトを実データに基づいて拡張し、より適切な回答を生成することができます。具体例として、Pythonのパッケージをビッグクエリーのデータからベクトル化し、ユーザーの質問に最適なパッケージを検索して、LLMのプロンプトに追加する方法が示されています。
🌐 ラグによるデータ駆動型のLLM実演
この段落では、前の段落で説明したラグの技術を実際に適用する様子が動画で紹介されています。Pythonのパッケージのデータをエンベディングしてベクトルストレージを作成し、ユーザーの質問をベクトル化して最適なパッケージを検索します。そして、検索結果をLLMのプロンプトに追加して、適切な回答を生成することに成功しています。このプロセス全体がSQLのみで実行できる点が強調されています。
✨ BigQueryの新機能とLLMの活用のまとめ
この段落は、本セッションのまとめとなっています。BigQueryスタジオの新機能と、LLMの統合によってBigQueryの可能性が広がったことが強調されています。BigQueryスタジオでは次世代型のデータ分析が可能になり、LLMは様々な形でデータに適用できるようになったことが述べられています。最後に、本セッションで紹介しきれなかったLLMのユースケースとして、クエリ生成や変換、要約などの活用方法が挙げられています。
🙏 終わりの挨拶と感謝の言葉
この段落は、セッションの終わりの挨拶と感謝の言葉が述べられています。講演者は、本セッションの内容が走り過ぎた部分があったことを認め、質問があればアクサスピーカーで対応することを呼びかけています。最後に、参加者に対して感謝の言葉を述べ、セッションを締めくくっています。
Mindmap
Keywords
💡ビッグクエリースタジオ
💡llm
💡コラボエンタープライズ
💡ビッグフレーズ
💡埋め込み
💡ベクトル検索
💡ラグ
💡プロンプト
💡データプロファイリング
💡リネージ
Highlights
ビッグクエリーのコンソールにビッグクエリースタジオという新たな機能が加わり、より素敵な分析体験が可能になった。
ビッグクエリーとLLMが統合され、LLMの質問に答えられるようになった。
LLMと情報検索技術を組み合わせた「ラグ」と呼ばれる技術により、LLMの実用性が大きく向上する。
ラグはエンベディングとベクトル検索の2つの要素技術から構成される。
ビッグクエリーでは埋め込みとベクトル検索をサポートし、ラグを実装できる。
ビッグクエリースタジオでは、データ分析や機械学習開発を行うコラボレーション可能なワークスペースが提供される。
コラボエンタープライズとのインテグレーションにより、Googleが提供するエンタープライズ向けのJupyterノートブック環境が使用可能。
ビッグクエリーデータフレームズを使うと、Pythonの書き心地でビッグクエリーのパワーを利用できる。
ビッグクエリースタジオではコラボエンタープライズ上でPythonのノートブックが書ける。
PALMモデルをBigframesを介して呼び出すことができる。
ビッグクエリーからPALMを呼び出して質問に答えさせることができる。
Bigframesを使えば、Pythonのパンダスのような書き心地でLLMの開発ができる。
ヘルパー関数にリモートファンクションズアノテーションをつけると、関数がクラウドファンクションにデプロイされる。
ビッグクエリーでSQLだけでラグの実装が可能。
ラグを使うことでLLMの精度を上げられる。
Transcripts
00:00[音楽]
00:08はい皆さんこんにちはそれではセッション
00:10の内容の方ですね始めさせていただければ
00:12と思い
00:14ます改めまして自己紹介させていただき
00:17ますと私GoogleCloudのデータ
00:20アナリティクススペシャリストをやって
00:21おります村上優馬と申します普段はですね
00:24ビッグクエリーですとかバーッAIといっ
00:27たプロダクトをえっとま皆様に紹介させて
00:31いただいているんですけれども今回の
00:33セッションもですね内容はこれらの
00:35プロダクトに関連したものになっており
00:37ますではですね早速えセシの実際の内容
00:41ですね入っていきたいと思い
00:43ますでこのセッションでは大きく分けて2
00:47つのことについて説明していきたいと思い
00:50ます1つ目がビッグクエリーが提供する
00:53新たな分析体験こちらなんですけれども
00:57ビッグクエリーのコンソールにですねま
00:59もうすでににお気づきの方いらっしゃるか
01:01もしれないんですけどビッグクエリー
01:03スタジオという新たな機能が加わりました
01:06こちらでですねまより素敵な分析体験が
01:09データ分析体験が可能になりましたので
01:12これどのような分析体験が可能になったの
01:14かっていうところを動画を交えながら紹介
01:17したいと思っています2つ目がllmです
01:20ねどの統合でまllmが何かということは
01:24もうなあの改めて説明するまでもないとは
01:27思うんですけれどもビより元々機械学習の
01:30ケイパビリティはあったんですけれども
01:32ビッグクエリーとそれからllmですね
01:35それがコードに統合されるようになったん
01:37ですねなのでllmの水論はもちろん
01:40できるようになったんですけれどもそれ
01:43から例えばラグと呼ばれるllmの実用性
01:47をですね大きく引き上げるようなま技術
01:50ですねそれをSQLだけで組むことも
01:52できるようになりましたのでそれでどんな
01:55ことができるのっていうところも説明して
01:58いきたいと思いますでは1つ目ですね新た
02:02な分析体験新たな分析体験ってなんやねっ
02:05ていう感じなんですけれども説明していき
02:07ましょうままずビッグクエリーに限らず
02:10もうちょっとだけ大きなスコープの話をさ
02:12せてください機械学習の機能って
02:15Googleクラウのソリューション群
02:17色々なところに統合されていますま機械
02:20学習の統合開発ソリューションであります
02:22ねえっとバーッAIはまもちろんなんです
02:25けれどもalidDBですとかスパナーと
02:28かですねちょうど隣のルームでなんか
02:30SQLの話してますけれどもまそちらで
02:33あのそちらではえっとまそのデータに対し
02:36てバテのモデル適用して水論結果を
02:38ビジネスのデータベースですねに引き回し
02:41てまアプリケーションで活用するっていう
02:43ことができるようになっておりますしそれ
02:45からえっとBIツールとしても使用可能な
02:48ルッカですねルッカでは機械学習の推論
02:52結果をビジネスアプリケーションに
02:54組み込むといった使い方ができるようにも
02:56なっておりますでビッグクエリーですねま
02:59まビッグクエリーも機械学習機能というの
03:01は先ほど言ったように統合されておりまし
03:04てえっとビッグクエリmlと言ってSQL
03:07で機械学習モデル開発できるものがあっ
03:09たりですとかvtexAIのモデルを開発
03:12できたりとかあ接続できたりとかそういう
03:15ことってあったんですけれどもえっとま
03:18このビッグクアリーを使って実際に機械
03:20学習モデル作る時のことを考えてみると
03:24SQLでなん度ま色々なことできますって
03:27言っては実際のところ複数のツールを
03:29組み合わせながら開発してい
03:31るっていうのがま正直実情じゃないかなっ
03:34て思っていますですと複数のツール
03:37使い分けるとですねあのまそれぞれの
03:40ツール熟する必要があったりとか複数の
03:43プログラミング言語まパえっと
03:46PythonとSQLですかねま
03:48使い分ける必要就職する必要があったり
03:50データ転送する必要があったりしましてま
03:53時間と手間もかかりますしデータ転送と
03:56なってくるとコンプライアンス上の問題も
03:58生じたりはしますかね
04:00でそこを解決するために生まれた新たな
04:03分析体験を提供するものこれがビッグ
04:06クエリースタジオというものになってい
04:08ますビッグクエリースタジはですねデータ
04:11に関わる皆様がデータ分析や機械学習開発
04:15を行うために作られたコラボレーション
04:18可能なワークスペースとなっていますま
04:21開発環境と言い換えてもいいかもしれない
04:23ですね
04:24こちらですねま先週よりえっとプレビュー
04:28の申し込みもなくですねね基本的に皆様
04:30もう実はすでにお使いいただけるように
04:32なっているんじゃないかなとは思ってい
04:34ますでビッグクエリースタジオとですね
04:37あの一言で言っても実は色々な機能がつい
04:40ておりましてまた1つ大きなものがコラボ
04:44エンタープライズとのインテグレーション
04:46になっておりますコラボエンタープライズ
04:48はですねGoogleが提供する
04:50エンタープライズ向けのジュピター
04:52ノートブック環境になっておりますここに
04:55いる皆様ってコラボラトリーという環境を
04:58聞いたことってあるっていう方は
05:00いらっしゃいますかね結構データまいくつ
05:03か手上がってけてくださいましたね
05:05ありがとうございますまデータ分析界隈の
05:07方々だったらご存知なんではないかと思う
05:09んですけれどもえプランにもよるんです
05:11けど無料から使えるノートブック環境で
05:14ですてねえっと確めてきたのは
05:16インスタンスの管理が必要ないことですね
05:18ま必要な時に計算回す必要がある時にラン
05:21タイムに接続してそこで計算回すっていう
05:24要するにインスタンス管理のする必要が
05:26なくてえっと計算リソースだけサクっと
05:29ランタム接続して使えるんでま管理の手間
05:32が少なくてノートブック開発に非常に便利
05:35だよっていう環境でしたこれにですね
05:38セキュリティですとかガバナンスですとか
05:40そういった機能をえっと統合して
05:43エンタープライズ向けでも使用したのが
05:45コラボエンタープライズですでこのコラボ
05:47エンタープライズがビッグクエリーから
05:49使えるようになりましたっていうところ
05:51ですねじゃこれ何ができるようになったか
05:54と言とこれまでビッグクエリーのコソー
05:56ルってあのSQL書いてあったと思うん
05:58ですよ当然だと思うんですけどそこで
06:00ノートブックも書けるようになっちゃい
06:02ましたというのがこのえコラボ
06:04エンタープライズとのインテグレーション
06:06になっております後ほど紹介したいと思い
06:09ますとそれからですねコラボえっとこれが
06:12コラボエンタープライズだったんです
06:13けれどもこれまでデータプレックスで提供
06:16されていたデータプロファイリングの機能
06:19ですとかデータ品質ですとかリネージの
06:21機能がコンソールからも参照できるように
06:24なりましたこれがどう便利なのかも後で
06:26紹介させてくださいそれからAIに
06:29チャットコードアシスタント要するに
06:31コード生成ですとかデバッグですとか
06:36リファクタリング補助してくれるような
06:38機能もこちらについていますそして最後
06:41ですねちょっと注目したいユニークな機能
06:44がありましてこれがビッグクエリーデータ
06:46フレイムズというものになっています普段
06:49のPythonですとPythonの
06:51パンダズやサイキットラーンまデータ分析
06:54されていてPythonお使いだったら
06:56使ってる方は多いんじゃないかと思うん
06:58ですけれどもその書き心地でビッグ
07:01クエリーのパワー使えるようになっちゃい
07:03ましたというものですここをもう少し
07:05詳しく説明してみ
07:07ましょうビッグクエリーデータフレーズは
07:10ですねビッグフレーズというPython
07:12のパッケージで提供されます普段のパンス
07:15ですとかサイキットランのような書き心地
07:17でコードを書けば裏側でビッグクエリー
07:20ですね処理がオフロードされて極めて巨大
07:23なデータセットであっても普通の
07:25Pythonの知識だけでデータ分析でき
07:27てしまうというものになってます
07:29パッケージはですねご覧のように2つあり
07:31ましてBIGframes.pantas
07:33っていうやつとドmlっていうやつを提供
07:36していますねドpantasが
07:38pantaslikeえっとドamlが
07:40サキRanlikeなAPIを提供する
07:42ものになってますどちらを使ってでもです
07:45ね裏側ではビッグクエリーが実行される
07:47ようになっておりますこれまでの
07:50ノートブック開発の場合ノートブックの
07:53メモりに乗らないような巨大なデータを
07:55分析したいっていう場合まそうですねあの
07:59いわゆる一般的なのえライブラリーでは
08:01ちょっと取り扱いにくくてデータサイズに
08:04合わせてローカルディスクにキャッシュと
08:06して吐き出したりとかあと分散クラスター
08:09作ったりとかやる必要があったんです
08:11けれどもま正直そうですね知識が必要です
08:15しデータサイズに合わせてそれらの実装を
08:18組み合わあの切り替えていくのって
08:20ちょっと面倒くさいんですよねていうのが
08:23実情があるんですけれどもこちらですと
08:25インポート分を書き換えていただければ
08:28普通のパンダからえBIGframes.
08:31pandasに書き換えていただければ
08:33ロジックそのまま実際の処理はビッグ
08:35クエリーにオフロードされるというような
08:38使い方ができてしまいます特別な知識必要
08:41ないですしローカルマシンのえっとメモリ
08:44とか気にする必要がまなくなるといった
08:46ものになってい
08:47ますじゃあですねといっても言葉で説明し
08:50ていても限界があるので実際の動画を交え
08:54ながら説明していきたいと思います今回な
08:57んですけどまありそうなシナリオですです
08:59かねPythonのパッケージの
09:01ダウンロードログがありますとその中から
09:03よくダウンロードされているパッケージが
09:05どれか集計しようっていうものですねで
09:08ビッグクエリスタジオの機能を最大限活用
09:10してここの分析進めていきましょうという
09:13ものになっていますではどんな感じで分析
09:16できるのか動画流しどうかお見せしながら
09:18見ていきたいと思い
09:21ますはいですねまずあとあるテーブルを
09:26突然渡されたと想定しましょうデータ分析
09:30者の方でしたらねこんなことあるんじゃ
09:32ないですかねなんか分析してくれって突然
09:34あのテーブルだけ送られてくる
09:36やつでまあしょうがないんでそうですね
09:39プレビューから見てみましょうか
09:41プレビュー見るとですねこのような形で
09:44どうもpyonパッケージのダウンロード
09:46ログが行ごとに残ってるデータセットっ
09:48ぽいなっていうことまでは分かりますかね
09:51まここまではこれまでもできていたことな
09:53んですけどじゃあ次どういう分析をし
09:56ましょうかそうですね例えばなんですけど
09:59ここに出てきたリネージっていうものを見
10:02てみましょうこれ何かと言うとテーブルの
10:04依存関係が分かりますねここから分かる
10:07ことは例えばこのテーブルが色々なえ他の
10:11テーブルから参照されていることていう
10:14ことですかねそれからもう1つ分かること
10:16がありましてこの対象のテーブルっていう
10:19のはどうも2つのテーブルから生成されて
10:21いるようだっていうこととえっと具体的に
10:25どのようなSQLを持ってして変換え生成
10:28されたのかっていうことが分かりますこう
10:30するとですねテーブルのえっと由来って
10:33いうのが分かりますのでまガバナンス的に
10:36も有利ですし純粋に分析ですねがあの分析
10:40始める時に有利になるんじゃないかなと
10:42便利になるんじゃないかなと思っています
10:45でちなみにこのビデオの場合なんですけど
10:48まおこれ見ると大元のデータ違うテーブル
10:52の名前とかが確認できるのでえこのテーブ
10:56ルって誰が管理してるのあこれビッグり
10:59パブリックデータセットのえテーブルだっ
11:01たのねっていうことが分かってその大元の
11:04テーブルのえ検索して大元のテーブルの筋
11:09を見つけてっていうことができますねま
11:12全てにおいて実ビジネスにおいて全てこう
11:14いうことができるかとは限らないんです
11:16けれどもまこのような感じでどこ由来の
11:19テーブルなのかが分かりやすいようになっ
11:20てきましたさてリネージ見た後は次データ
11:24プロファイルっていうのも見てみましょう
11:26かデータプロファイルがどういったものな
11:28のか
11:29これは正直なところを見ていただいた方が
11:31手取り早い気がするんですけれどもカラム
11:34ごとの特徴ですね最大値最小値品値やそれ
11:38から欠損値の割合とかですかねが分かるも
11:41のってなっていますこれでですねま例えば
11:45SQLでミとかMAXとかわざわざ叩か
11:47なくても行の最小値最大値分かりますし
11:50あとデータの意外なインサイトとかも
11:52分かり分かるかもですねデータの傾向から
11:55それから欠損値も分かるんでこのデータ角
11:58を間違ってねかなんかID入ってないと
12:00いけないのになんかID欠損してんだけど
12:03渡してくれたそのデータ本当に大丈夫です
12:06かみたいなことにすぐ気づけるかもしれ
12:08ないですということでデータ分析される際
12:11ですね是非この辺りの機能を使いながら
12:14えっとま分析の効率上げていただければと
12:18思っておりますということでリネージと
12:21データプロファイルの機能まで紹介してき
12:24たんですけれどもこの辺りまで見たらそう
12:27ですねそろそろ分析しみましょうかで分析
12:31する際ってまこれまではSQL書いていた
12:35と思うんですけどここでPython
12:36ノートブックをですね選択できるように
12:39なっているんですよ
12:40シレットでPythonノートブックとえ
12:44選択しますとですねもうこの名の通りなん
12:47ですけれどもPythonのノートブック
12:49の画面が表示されましたということでここ
12:51でPython使ってデータ分析できる
12:54ようになるんですランタイムに接続して
12:56ですねPythonのコードここで回せ
12:58ちゃうわけですよまあでここから0から
13:02買っててもいいんですけれどもせっかくな
13:04ので今回はですね用意させていただいた
13:06ノートブックで話進めさせていただければ
13:09と思いますまず最初えっと先ほど紹介した
13:13bfam.パンスをですねインポートし
13:17ましょうこれがパンスライクなAPIを
13:19提供するものでしたそうしたらですね今度
13:22えデータを読み込んでみましょうえっと
13:25RECあ違うREBgbqの後にビッグ
13:29フレームえ違うビッグクエリーのテーブル
13:32のえ名前ですねをやるとビッグクエリーの
13:37データを読み込めます裏側ではもちろん
13:39ビッグクエリーがクエリを実行してるん
13:41ですけどどんなクエリを実行してるのかが
13:44気になるっていう場合あると思います
13:46そんな時はですねここにオープンジョブっ
13:48ていうリンクが出ているのでこちら押して
13:50いただくとですねビッグフレーズがどう
13:53いうSQLを実行しているのかが分かり
13:56ますまこんな感じででですね今回テーブル
13:59全体を読み込んでるだけなので変換処理と
14:02かやってないんですけれどもまあのえっと
14:05ビッグフレーズのセッション専用の
14:07テンポラリーテーブルを作ってるんだなっ
14:09ていうことがなんとなく読みたりたりし
14:12ますはいえっとそうですねじゃあデータ
14:16読み込んだ後はデータの先頭20業を表示
14:19してみましょうかそんな時はえパンダと
14:22同じヘッドメソッドで押せばこんな感じで
14:25表示してしまいますもうパンダストこの先
14:29は同じです
14:30ねじゃあそうですね表示した後は行で
14:34絞り込んでみましょうかビッグフレーム
14:36スっていうのを含むえっと名前に含むあ
14:41名前の行がビッグフレーズである行ですね
14:44ところをえっと選択したいとなるとまこの
14:47ような記法で例えばできますねパンタスっ
14:51てあの行とか列の選択方法色々な流派って
14:55言うんですかねがあると思うんですけれど
14:56もま大体の流派はえサポートしており
15:01ますさてそうしたらまダウンロード数を
15:04パッケージごとにネームごとにカウントし
15:07たいんだったらグループバしてサムすれば
15:09オですねまここも正直もうビッグフレーズ
15:13の説明というよりはパンタの説明してる
15:15感じになってきたんですけどそのあのこれ
15:17までのパタスと同じようにえ集計できます
15:21集計できたけどあれ結果がなんか変だぞと
15:24えっとパンダにもあるんですけれどもなん
15:27とビッグフレーズパンタのインデックスの
15:30使用もしっかりサポートしておりますので
15:32えっとインデックスの使用に気をつけ
15:35ながらえソトする必要がありますとこの
15:38辺りあのパンタス最初に触った方はつづか
15:41れたのかと思うんですけれどもビッグ
15:43フレーズしっかりパンダと同じ挙動をし
15:46ますのでえ皆さん開発の際はご注意
15:48くださいということでインデックスを適切
15:52に設定してしたらえ相当ができましたね
15:551番多くダウンロードされている
15:57パッケージはボ3うんまあそりゃそうだ
16:00なっていう感じねですねていうことが集計
16:03して分かりまし
16:05たさてっとまこのような感じでですね普段
16:09のパンタスを書いているような感覚で実超
16:12大量のデータビッグクエリーに処理させる
16:15ことができるこれがビッグフレイムズの
16:17威力になっておりますですので普段の
16:20データ分析の際にこれまでパンスを
16:23読み込んでいたところをbig
16:25frames.pantasに書きあの
16:27書き換えて見ていただければいいんじゃ
16:30ないかとは思っており
16:32ますさてというところなんですけれども
16:36このノートブックには実は便利な機能まだ
16:39いくつかあるんですよ
16:41ねそうですね例えばなんですけれども
16:46例えばこのデータフレームはですね
16:49サマリーというカラムにパッケージの説明
16:52が入ってるんですよね表示するとうん
16:55こんな感じでカラムへのアクセスもドで
16:58いつもの感じでできるんですけれども今
17:01ちょっとですね気軽にノートブック
17:03書き換えちゃったんですよねリバートし
17:05たいとかいう時にもちろんちゃんとできる
17:08ようになっておりますよく見るとですね
17:10左下にですねアクティビティというタブが
17:13生えておりましてこれをクリックすると
17:17データフレーム違うノートブック
17:19の編集履歴をリフを取ることができます
17:24ノートブックってえっとjonオリジナル
17:27はjon形式になっていてで結構人間の目
17:29では見にくいんですけれどもこのように
17:31ですね差分をしっかりとあの人間が見
17:33やすい形で表示してくれるので結構あの何
17:37でしょうバージョン管理しやすいんじゃ
17:39ないかなと思っておりますあちなみにこの
17:42バージョン管理の機能はですねあの密かに
17:44なんですけれどもノートブックだけじゃ
17:46なくてえっとセブドクエリーですかね保存
17:48したクエリーにも適用されるようになっ
17:50てるのでご確認いただければと思っており
17:53ますあなのでバージョンのリストはもこの
17:57ようにできます
18:01とまあとはですねあのリストアだけじゃ
18:05なくてノートブックの共有もですねできる
18:08ようになっていてノートブックの共有の
18:11仕方は簡単ですまこのように共有したい
18:14相手のメールアドレスを入力していただい
18:17てその後にまどのような権限を与える
18:20かっていう権限の種類ですねを選択
18:23いただければノートブック共有できますの
18:25で例えばですけど手順書とかをえっとこれ
18:29で共有していただけるとなんか定型的に
18:33実行すること必要がある学習処理とかです
18:35ね
18:37えっとがえっと共有しやすくなるんじゃ
18:40ないかなとは思っており
18:42ますはいということでここまでがビッグ
18:45クエリースタジオのお話だったんです
18:47けれどもここからは少し角度を変えてです
18:50ねllmを統合したことでビッグクエリー
18:53の可能性がどのように変わるのかっていう
18:56ま2つ目のえっとトピックに入っていき
18:59たいと思い
19:00ますまず大きなアップデートですねビッグ
19:04クエリーからパルムを呼び出せるように
19:05なりましたはいvtexAI上にホストさ
19:09れている我々の大規模言語モデルパルム
19:12ですねここにビッグクエリー上のデータを
19:14プロンプトにして入力しその結果得ること
19:17ができるようになりましたと言っても具体
19:19的にどうやって呼び出せばいいのかその
19:21手順も紹介したいと思いますスライドには
19:25書いていないんですけどパルムを呼び出す
19:27にはま密には事前にコネクションを作成
19:30する必要がありますこれはアクセス権限を
19:32コントロールする必要があるもので今は
19:35このスライドでは事前にえ設定済みとし
19:38ましょう権限の設定が終わっていれば
19:40呼び出す手順は2つです1つ目まずは
19:43モデルの登録ですね最初に1回だけ必要で
19:47モデルがvtexAI上でホストされてい
19:50て色々なバリエーションいろんな
19:51バージョンがあるんですよなのでその
19:54モデルとどれか1個を選んで名前をつけて
19:56保存みたいなことをやってあげるわけです
19:58ねそうすることによって特定のモデルを後
20:01からあの同じように呼び出すことができ
20:03ますでモデルの保存が終わったら2つ目
20:06ですねmlジェネレートテキスト関数って
20:10いうものを使いますこれでパルムにえっと
20:13指示を投げることができます第1引数ま
20:16えっとmlジェネレートテキスト関数は3
20:18つの引数を取るんですけど第1引数は
20:21先ほど保存したモデルの名前第2引数は
20:24ちょっとだいぶいかついあの見た目になっ
20:26ているんですけれどもプロンプ塔です行
20:28ごとに渡しますえっとこれセレクトコン
20:31キャットから始まるのが第2匹数で
20:33セレクト分っていうかコンキャット分の
20:35ところ読み出すとgivetheC
20:37nameforシティシティてなってい
20:40まして実際にはこの最後のシティのところ
20:43には東京とかラスベガスとか街の名前が
20:46入ってますねなのでgivetheC
20:49nameforシティ東京だったらま
20:51えっと東京が所属する街のえ国の名前なん
20:55でえっと日本ですねジャパンですですねが
20:58えっと結果として返ってくることが期待さ
21:01れているわけですとでえっと3つ目があ
21:06ごめんなさいまこのようにプロンプトを
21:08ですねSQLで生成してえっとパルムに
21:11実行させることができますで3つ目の引数
21:14がえっとモデルに渡すパラメーターになっ
21:16ていまして実用上はテンプラーとか
21:19マックスアウトプットトークンとかを編集
21:21することが多いかなと思ってい
21:23ますでですね先ほどのプロンプとを実行し
21:27た結果がですねこのようになっておりまし
21:29て3列目ですね3列目がえっとパルムに
21:34入力されたプロンプ島になっています
21:37givetheカトリnamefor
21:38シティラスベガスロンドン
21:40サンフランシスコ東京ですねそれぞれが
21:43どこの国のものですかていうのを聞いて
21:45ますでその答えが1列目に入っていまして
21:48これあえて整形せずに結果全部お見せし
21:51てるんでちょっとみづくなっちゃってるん
21:52ですけれどもコンテントっていうところに
21:55入っていてえラスベガスはユナイテッド
21:58ステーツえUKUSJAPANと正しい
22:01答えが入っていますねこのような感じでお
22:04持ちのデータに対してllm適用してあの
22:06色々な処理をかけることができます色々な
22:10あですいませんでSQLもいいけれどじゃ
22:14ここまでがSQLのお話でしたと普段LM
22:18開発に使っているPythonからも
22:21せっかくならあの先ほどのL読み出したい
22:24とは思いませんかねということでビッグ
22:26フレーズ今度は活用してビッグクエリーと
22:30LMのパワーをいつものPythonから
22:32実行してみるっていうこともやってみたい
22:34と思い
22:35ますでは動画流してまいりますとまずです
22:39ね今回もビッグえクエリースタジオは使い
22:44ますノートブックを新たに使いましょうで
22:47まずはBIGframes.mlっていう
22:50パッケージをインポートしますこれは
22:53サイキットラーンのインターフェイスを
22:54提供するものでしてねLmLて打つとよく
22:59見るとml.の下にクラスターとかあと
23:03デコンしョとかアンサンブルとかフォー
23:05キャスティングとかサキトラン使ったこと
23:07であれば方であればピンとくるモジュール
23:09名が並んでるんじゃないかなって思います
23:12でま要するにサキランライクなモジュール
23:14が入っておりましてこれら全てビッグ
23:16クエリーで処理を実行しますあとは
23:21えっとその後にですねBigFRAME.
23:25pandasの方もインポートしましょう
23:28じゃあまずPALMモデルをpyonに
23:30読み込んでみましょうビッククエリー上の
23:33パルムモデルはですねPALM2モデルえ
23:36ジェネレーターかなジェネレーターですね
23:38というクラスを経由して参照できますでえ
23:42そうするとですねモデルという
23:44オブジェクトにえっとパルムのモデルを
23:47ですねえっとインスタンス化させることが
23:49できますとでは次に分析に使うデータを
23:54読み込んでみましょう
23:56かはい分析に使うデータを読み込んでみ
24:00ましょうDCSVでGCSのデータ
24:03読み込んでますねこれですね裏側で面白い
24:06ことやっていて実データGCSになるん
24:09ですけれどもこれを実行した瞬間GCS上
24:13のCSVファイルがビッグクエリーに自動
24:15的に読み込まれてますでビッフレーズで
24:19取り扱い可能な状態になってます裏側で
24:22シレットテーブルの読み込みと神経作成
24:24っていうとんでもないことをやってくれて
24:26ますはい読み込み終わったようですこの
24:30CSVファイルにはAPIというカラムが
24:33ありその中にはです
24:38ねパンダのデータフレームのメソッド名が
24:42ね
24:43えっと格納されているんです
24:46よ
24:48はいDtypesndm2CSV2gbq
24:532JSONは使われた方多いんじゃない
24:55でしょうかこれパンスのデータフレーズの
24:57メソッドですね今回なんですけどこれらの
25:00メソッドのコードサンプルジェネレートし
25:02てみたいと思いますで
25:05はプロンプト作ってみましょうプロンプト
25:08はですね結構簡単でジェネレートパンタ
25:11サンプルコード4データフレーほにゃらら
25:14っていう風に指定し
25:16ますまあの定型処理なんでえ実のように
25:21プラスで作っちゃったんですプラスで文字
25:23列連結で作っちゃったんですけど
25:25ジェネレートパンスサンプルコード4
25:27データレvalシプサイズという感じで
25:31こんな感じでえっとプロンプと作ったわけ
25:34ですねプロンプトのが作れたので後は実行
25:38しましょう実行どうやればいいのか
25:40サイキットラーン使ったことある方であれ
25:42ば簡単ですね実行する水論させると言っ
25:45たらプレディクト関数これで水論は完了し
25:48ますちょっと動画ではあの加速さ時間を
25:51加速させてるんですがま24秒ですね実
25:53時間ではで水論完了しますじゃあどんな
25:57感じで水論ができたかえ水論結果を見てみ
26:00ましょう緊張の一瞬です
26:03ね最初の従業を取り出してみ
26:17ますはい出てきましたどうもマークダウン
26:20形式で返してくれたみたいですねバック
26:25クオート3つpyonあインポートパン
26:28asPDでまあ多分できてるでしょうなん
26:31ですけれどもこれマークダウンのバック
26:34クオート3つとかってまぶっちゃけいら
26:37ないですねでそれからインポート
26:40pandasじゃなくてBIGFRAME
26:42.pandasに書き換えちゃいたいです
26:44ねこんな時どうすればいいかま普通に
26:47ヘルパー関数使って間テキスト間やっ
26:50ちゃいましょうあと念のためトライ
26:52キャッチでえエラー処理もやっちゃいます
26:54かねて思うんですけどこのpyonの
26:58ヘルパー関数どこで実行しますかねあの
27:01ノートブックで自然にあまりにも処理実行
27:03してるんで忘れがちなんですけどこれ
27:06ビッグクエリ上で処理してるんですよね
27:08なんでトライキャッチとかそういうロジッ
27:11クって正直SQLで実行難しいんですよ
27:15じゃあどうすればいいか別にビッグ
27:17クエリー上でPython実行しちゃえば
27:18いいんですよねということでそれを実現
27:21するための方法がありましてヘルパー関数
27:23の前にですねリモートファンクションズっ
27:26ていうえアノテーションをつつけるとです
27:28ね裏側でこの関数をクラウド
27:31ファンクションに自動的にデプロイします
27:33でこのヘルパー関数をビッグクエリーから
27:37参照して自動的に並列実行できるようにし
27:40ますとあなのでクラウドファンクションに
27:44実行したんであのデプロイしたということ
27:46は名前を検索するとですねちゃんとヒット
27:50してこのビッグクエリーのコンソールで
27:54関数名を実行するとえ検索すると普通に出
27:59てきますノートブックしかしあの触って
28:01ないのにSQLですとかクラウド
28:03ファンクションまでデプロイされるって
28:05いうことが起きますので正直この感覚です
28:08ね最初戸惑いますかねノートブックしか
28:11自分触ってないのにいろんなリソースが
28:13勝手に作られているのででま最大限自分の
28:17ノートブックを並列実行あのスケーラブル
28:20に実行するようにあらゆるリソースが動い
28:22てくれますでじゃあ今作ったヘルパー関数
28:27を実行したいとなればまここからはパタの
28:29説明なんですけどどちらかというとえ
28:32アプライ関数ですねでえ先ほどのヘルパー
28:35関数を各列にあ各業界に実行してアサイン
28:39で新たな列として生成することができます
28:42とということでですねまこのような感じで
28:45もうあかももうなんかパン普通の
28:49ノートブックを開発しているようにllm
28:52の開発までできてしまいますというのが
28:54ここのすごいところになっております
28:59ビッグクエリーでのllmの使い道ですね
29:02ではですねコンテンツ生成ですとか分類
29:04ですとか色々な利用方法が考えられると
29:07思いますので是非皆様のビジネスニーズに
29:10合わせて考えてみていただければと思い
29:13ますさてここからなんですけどもう
29:16ちょっと新しいトピックについても説明し
29:19ていきたいと思いますllmと情報検索
29:23組み合わせてllmより実用的に使うため
29:26のラグと呼ばれる技術について説明させて
29:29くださいllmなんですけれども残念
29:32ながらそれっぽい回答は返してくれるん
29:35ですがま制度については十分じゃない
29:38ことって正直多いです対象的なのが古典的
29:41な情報原作技術でしてまあのユーザーの
29:46質問をそのままえ受け取ることはできない
29:49んですけどま制度に関しては既存の
29:51ドキュメントの中から何かしらそれっぽい
29:53もの返してくれるものわけですねとなると
29:57考えつくのがllmと情報検索技術ですね
30:01これ組み合わせちゃってえっといいとりし
30:04てしまおうっていうことが考えられるわけ
30:06ですこれがラグって呼ばれる
30:08アーキテクチャの総称になりますラグは
30:11エンベディとベクトル検索という2つの
30:13要素技術を使うと実装できるのでま
30:16それぞれについて説明していきたいと思い
30:19ますまずなんですけれどもここに文章が
30:22英語で恐縮なんですが1個あります日本語
30:26訳すると生きるべきか死ぬべきかそれが
30:28問題だというハムレットの一説になります
30:31ねさてこのデータをですね必要に応じて
30:34検索可能にするにはどうすればいい
30:36でしょうかラグでよく使われる操作方法と
30:39あ違う方法としてはテキストをベクトル
30:42ですねすなわち数値列に変換するという
30:45方法がありますこれを埋め込みと呼んでい
30:48ますねむやみあたらに数値変換しても味
30:51ないのでちゃんと元の文章の意味を理解し
30:54た上でベクトルに変換する必要があります
30:56ねこの変換をするモデルをエン
30:59ベッティングモデルなどと呼んでいます
31:01GoogleCloudではテキストや
31:04画像あと今日動画も言及がありましたかね
31:07とか色々なエンベッティングモデルを提供
31:10していますとで時間の都合で省略するん
31:13ですけれどもこの元データの意味を理解し
31:16て変換するっていうところでですねllm
31:18の技術使われており
31:20ますでこうして様々なテキストを埋め込ん
31:24でいくとベクトルの格納ストレージ
31:27ベクトルストアとか呼ぶことも多いとは
31:29思うんですけれどもが作れますとでこの
31:33ベクトルストレージには色々なフレーズが
31:36格納されていますねシェイクスピアの例と
31:39絵本作家のドクタースースのフレーズが
31:41あるんですけれどもエンベッティング
31:43モデルは元の文章の意味ですねを理解した
31:47上で埋め込むので大体似た作家さんの
31:50ベクトルは2対1ですねに埋め込まれてい
31:54ますさてここでですね新しいフレーが来
31:57ましたofから始まるフレーズですねこの
32:01文章がフレーズがドクタースースか
32:04シェイクスピアかどっちか分かりますかね
32:07ま私は分からなかったんですけどなんと
32:10なくまびっくりマークとがあるんだったら
32:12シェイクスピアじゃないかなとは思ったん
32:14ですけれどもまそんな時どうやって判定
32:17するかと言うとまずこれまでやってきた
32:20ようにベクトルに変換しますそうすると他
32:22のフレーズと数値で比較できるの
32:25で新しいベクトルの周辺にある他の
32:28ベクトルを検索するとこの例の場合
32:31ドクタースースの方に近いように見える
32:34からドクタースースのベクトルだろう
32:36フレーズだろうとま判定させることができ
32:38ますま実際そうですねこれを行うことを
32:42ユーザーの質問に近いデータを検索して
32:46返すということもできるようになります
32:48この埋め埋め込みとベクトル検索ですね
32:52これで見つかったデータをllmに渡す
32:54ことでllmは実際のデータに基づいた
32:58回答生成を行うことができるのでその精度
33:01が上がるっていうことが期待できますこの
33:03アーキテクチャーをラグと読んでい
33:06ますでですねビッグクエリーではもちろん
33:09埋め込みとベクトル検索それぞれサポート
33:12してラグを実行できるようにしております
33:15でですね
33:17えっとカツマで説明しますとえ埋込みの
33:21利用方法ですはま比較的簡単でモデルを
33:24名前つけて保存した後mlジェネレート
33:28テキストエンベッティングと呼ばれる関数
33:30を読むと埋め込みを取得できます検索する
33:33前にあらかじめ検索対象としたいデータ
33:36前傾に対して埋め込みを取得しておいて後
33:38で使うわけですでその上で検索ま検索する
33:43クエリーはちょっとここに書いていないん
33:45ですけれどもml.Distance関数
33:47というところであるデータとそれ以外の
33:50全てのデータの距離を測ることができるの
33:53でそこから金えっと類似するものを返す
33:56ことができきますじゃあ具体的にこれオを
33:59どうやって組み合わせてラグを実装すれば
34:02いいのかっていうところも説明したいと
34:04思いますはいということで今度はですね
34:07Pythonのパッケージの検索をこれ
34:09ラグでやってみたいと思い
34:12ますはいまずはラグを使わずに普通に
34:15Pythonのパッケージ検索してみ
34:17ましょうかどういう検索をしたいかと言う
34:20とですねちょうど12行目に書いてあり
34:22ますかねWhatisagood
34:24Pythonpackagefor
34:25workingwith
34:28ビックエービッグクエリーでエン
34:30ベッティングを扱うにはどんなパイソン
34:32パッケージがいいですかねて聞いてますね
34:35ということでこのプロンプトを
34:37ジェネレートテキストに突っ込んで水論さ
34:40せると何かが返ってくるはずです正解は
34:43正しいのはえビッグフレーズですねなん
34:47ですけどビッグフレーズ帰ってこいとうん
34:51BQエベッティングスっていうパッケージ
34:53が提案されましたねただ残念ながらですね
34:56こなパケージ存在してないんですよねま
34:59あのビッグframがあんまり有名では
35:02なかった時に動画収録したっていうのも
35:04ありますしあのパルムのモデル自体は
35:07アップデートが繰り返されていますのでま
35:10今だったら別のえっと結果を返すかかも
35:13しれませんまたそれからですねこういう
35:16検索をしたい場合はお客様の手持ちの
35:19データでですねファインチューニングして
35:21いただくとかバテサーチをとのような検索
35:25ソリューションを使うとかもかキーノート
35:27で出てきたグラウンディングと呼ばれる
35:29技術を使うって解決した方がま解決するっ
35:32ていう手もあるんですけれども今回は
35:34あくまでラグを使って解決してみましょう
35:37ラグをで使って解決するためにはまず
35:40ベクトルストレージを作りましょう全ての
35:42パッケージの情報をベクトル化し
35:45ますそのためにエンベッティングモデルに
35:48名前をつけて保存してその後ですね
35:52ジェネレートテキストエンベッティングと
35:54いう関数を使いましてここでえっと
35:58アパッチPythonパッケージという
36:01全てのPythonのパッケージ情報が
36:02集まったテーブルのディスクリプションと
36:05いう列をですね埋め込みますパッケージの
36:08ディスクリプションをベクトル化してい
36:10ますここでベクトル化した結果がどのよう
36:13になるかと言いますと今表示します
36:16がこんな感じのですねちょっといかつい見
36:20た目になっていますこれ画面に出てるのが
36:231行ですねで1列目がベクトルになってい
36:26てそれが配列なのでちょっと見た目があの
36:29こんな感じになっておりますと5列目の
36:32コンテントというののディスクリプション
36:34をベクトル化したのが1列目だと思って
36:36いただければと思いますとりあえずこれで
36:38ベクトル検索違うベクトルストレージの方
36:41はできましたじゃあ次はベクトル検索する
36:44ところですねベクトル検索して質問に
36:48答えるのに適したパッケージっていうのを
36:50見つけてみましょうベクトル検索をする前
36:53にllmに渡すプロンプともちょっと
36:57こんな感じで書いてみましょうfrom
36:59theBelLofPythonPACK
37:01providethebest
37:02answertoえbestanswer
37:04tothe
37:05question質問に答える裁量の
37:08Pythonパッケージ次の中から見つけ
37:11てくださいっていうプロンプトに変えます
37:14で次の中からの次の次の部分どうやって
37:18作るかっていうと先ほどのベクトル検索で
37:20持ってこようっていうわけですねこのよう
37:22にプロンプトを拡張するわけ
37:24ですさてじゃあ
37:27量のパッケージ見つけていきましょうか
37:30まずですねえっとジェネレートテキスト
37:33エンベッティングを使いますこれ何かと
37:35いうとオリジナルの質問BQエン
37:38ベッティングを使うにはどうすればいいで
37:40かっていうところをエンベッティングして
37:42いますその後にmmlディスタンス関数を
37:46使ってそのオリジナルの質問とそれ以外の
37:50Pythonパッケージ全ての距離を測っ
37:52て最後にオーダーバしてリミット5をする
37:56とオリジナルの質問に近いpyon
37:59パッケージ5件が出てくることになります
38:01ねそうなるとあとはプロンプトですね
38:05見つかったオリジナルパッケーに近い
38:08pyonパッケージ5件の名前を
38:10プロンプトにコンキャットで含めてあげて
38:13で最後に質問をオリジナルの質問をまあ
38:20違う拡張したプロンプトをパルムで実行し
38:23てあげればOKという的な結果が得られる
38:28という流れになりますねはいというこの
38:31流れでを実行すると何が得られるのかって
38:35いうことを紹介してこのセッション閉め
38:37たいと思いますWhatisagood
38:39pyonPforworkingwith
38:41イビクエリー実行しました一連の流れ
38:46をさてまずは拡張され
38:51たラグによって拡張されたプロンプトを見
38:54てみ
38:54ましょうそのとかです
39:01ねこのようなものになっております
39:04fromtheLofPython
39:06パッケージの後になんだかpyonの
39:09パッケージ名が列挙されていることがあり
39:11ますわかりますビッグフレーズも入って
39:13ますねということでこのようにベクトル
39:16検索でLllmのプロンプが拡張できまし
39:21たさてこのプロンプトを最後にパルムに
39:25実行させて読み込ませてみましょうさて
39:29今度はちゃんとした答えが出てくる
39:31でしょう
39:33かうんビッグフレーズちゃんと出てきまし
39:36たねということでこのようにですねラグの
39:38技術をベクトを実装することによってLM
39:42の制度改善させるっていうことができる
39:44わけですここですごいところはSQLだけ
39:48で全てを実行したっていうところですね
39:50アプリPythonとか使っていないので
39:52ということでSQLだけでここだけの検索
39:55えっと制度工場を行うことができるという
39:58だけのケイパビリティをビックコエリ持っ
40:00ておりますさてということでではそろそろ
40:03セッションのまとめに入らせていただけれ
40:05ばと思います
40:09えっとよいしょっ
40:12とはいですねまサマリーとしては2つです
40:17ねまずビッグクエリースタジオの方リレン
40:20機能ですとかコラボエンタープライズそれ
40:22からビッグフレーズがインテグレーション
40:24されたビッグクエリースタジオと呼ばれで
40:26開発環境がありますのでこれで次世代型の
40:29データ分析ができるようになりましたので
40:31是非ご体験してくださいということと2つ
40:34目llmがですねえっとこのように色々な
40:37形で読み出すようになっましたので皆様の
40:40お持ちのデータに対して是非実行してみて
40:43くださいということになりますあとは今回
40:45紹介できなかったんですけどクエルの生成
40:48や変換それからえっと要約といったユース
40:52ケースでもllmで使えますので是非お
40:54使いになっていただければと思ますという
40:57ことで私のセッションは終わりになりまし
40:59てちょっと走ってしまった部分も多いかと
41:02思いますのでぜひアクザスピーカーの方
41:04ですね裏手にありますのでそちらで質問等
41:07ありましたら来ていただければと思います
41:09ということで本日はご清聴ありがとう
41:11ございまし
41:13[音楽]
41:17た
5.0 / 5 (0 votes)
