仕事で使えそう？DifyでRAGを行う時の設定について解説してみた
Summary
TLDRこのビデオでは、プログラミングができない人でもアプリ開発が可能な「DF」プラットフォームと、言語モデルを活用するための「ラグ」と呼ばれる手法について解説しています。DFは多機能だが初心者にとっては難しいと思われる部分もあるとのこと。しかし、使いこなせるようになると、言語モデル単体では難しかったことも実現できるようになり、自分のアイデアをアプリに落とし込んで検証できる強力なスキルになると期待されています。また、ラグを使用することで、言語モデルが学習していない情報にも答えられるようになり、企業の独自の情報や一般公開されていない情報を活用した開発が可能になるというメリットもあります。DF上でラグを使ったアプリ開発の方法も紹介され、プログラミング未経験者でもアプリ開発に挑戦できるようになるでしょう。
Takeaways
- 😀 スクリプトは、DF（DreamFace）というプラットフォームとその使い方に関する解説をしています。
- 🤖 DFはプログラミングができない人でも言語モデルを使ってアプリ開発ができる機能を提供しています。
- 📚 言語モデルはインターネット上で一般公開されているデータを学習しており、情報が多ければ多いほど回答の質が上がります。
- 🔍 ラグ（Retrieval）とファインチューニングは、言語モデルが学習していない情報を扱うための2つの主な手法です。
- 📈 ラグは外部情報（例えばPDF）を言語モデルに提供し、モデルはそれを利用して特定の質問に答えます。
- 🎯 ファインチューニングは言語モデル自体を学習させて、提供された情報に基づいて回答を生成する手法です。
- 🏆 Microsoftの論文によると、ラグを使った方がファインチューニングよりも精度が高く出ています。
- 👨💻 プログラマーにとって、言語モデルはコード生成や問題解決において非常に役立つと感じています。
- 🔧 DFを使用してラグを実装すると、アプリ開発が容易になり、設定項目を正しく設定して精度を確保する必要があります。
- 📝 スクリプトでは、DF上でラグを使用する際の設定方法やチャンクの分割、インデックスモード、検索設定について解説しています。
- 📚 ナレッジの説明文は、言語モデルがどのナレッジを使うか判断する際に重要な役割を果たします。
Q & A
DFくラグとはどのような仕組みですか？
-DFくラグは、言語モデルが学習していない情報にも答えられるようにするための手法です。外部情報や独自の情報などを言語モデルに提供し、それらを活用して答えを生成します。
DFアプリとは何ですか？どのように使いますか？
-DFアプリはプログラミングができない人でも言語モデルを使ってアプリを開発できるプラットフォームです。様々な機能があり、言語モデルを使った開発が容易に行えます。
言語モデルとは何で、どのような特徴がありますか？
-言語モデルは自然言語を処理するための機械学習モデルで、テキストデータから学習して言葉や文章を生成・理解します。一般公開されているデータから学習しており、情報の多ければ多いほど回答の質が上がる傾向があります。
プログラマーにとって言語モデルはどのように役立ちますか？
-言語モデルはプログラミングに関連するコードを書くのを助け、プログラミングに関する知識を提供することができます。また、開発時に遭遇した問題に対する解決策を見つけるのにも役立ちます。
ラグを使用する際のチャンクの設定とは何ですか？
-チャンクの設定は文章を分割する単位を決める設定です。チャンクのサイズやオーバーラップの許容範囲を調整することで、精度を上げることができます。
ハイブリッド検索とはどのような検索手法ですか？
-ハイブリッド検索はベクトル検索と全文検索を組み合わせた手法です。意味的に近いものだけでなく、キーワード単位でも検索できるため、より正確な結果を得ることができます。
サイランクモデルとは何で、どのような特徴がありますか？
-サイランクモデルは2つの文章を一緒に入力してスコアを予測するモデルで、意味的に近いものをより正確に検索することができます。しかし、計算コストが高いため、候補絞り込みの最後段階で使用されることが多いです。
ナレッジベースを複数使用する場合、どういった設定が必要ですか？
-ナレッジベースを複数使用する場合、ナレッジ名と説明を設定する必要があります。これにより、言語モデルはどのナレッジを使うか判断することができます。
ファインチューニングとラグの違いは何ですか？
-ファインチューニングは言語モデル自体を学習させ、新しい知識を獲得させる手法です。一方、ラグは言語モデルに外部情報を提供し、それを活用して答えを生成する手法です。
DFアプリで開発されたアプリのテストはどのように行われますか？
-DFアプリで開発されたアプリは、アプリ作成画面でテストすることができます。ユーザーが入力した質問に対して、正しく文章が抽出され、回答が生成されるかを確認します。
Outlines
📱 DFアプリと言語モデルの活用
第1段落では、最近話題のDFアプリとその使い方について解説しています。DFはプログラミングができない人でも言語モデルを使ってアプリ開発が可能なプラットフォームで、様々な機能を備えています。しかし、機能が多すぎて混乱することもあると予想されています。DFを使いこなせるようになると、言語モデル単体では難しかったことも実現でき、アイデアをアプリに素早く落とし込んだり検証できるようになります。DFを使った開発の仕事が増えるかもしれないと述べています。
🔍 レイジーチューニングとファインチューニングの比較
第2段落では、言語モデルに一般公開されていない情報を回答させるためのレイジーチューニングとファインチューニング手法について説明しています。レイジーチューニングは外部情報を追加することでモデルに活用する方法で、会社内で決まっている独自の情報などにも活用されています。ファインチューニングは言語モデル自体が進化し、一度学習すれば外部情報の提供が不要になるという違いがありますが、Microsoftの論文ではレイジーチューニングの方が精度が高いとされています。
🛠️ レイジーチューニングの設定とチャンクの重要性
第3段落では、DFアプリ上でレイジーチューニングを使ったアプリを実現する方法について紹介しています。外部情報をアップロードし、設定項目を正しく行う必要があると強調しています。チャンクの設定方法や最大チャンク長、オーバーラップの許容度など、精度を上げるために重要なポイントが説明されています。また、Microsoftのブログでの実験結果も参考にすると良いとアドバイスしています。
🔎 ハイブリッド検索とサイランクモデルの選択
第4段落では、ハイブリッド検索とサイランクモデルについて詳しく説明しています。ハイブリッド検索はベクトル検索と全文検索を組み合わせたもので、意味的に近いものやキーワード単位で探すことができます。サイランクモデルは2つの文章を一緒に評価し、スコアを予測するもので、計算コストが高いため候補絞り込み後に適用されるとされています。コヒアという会社が出しているモデルが有名であることも紹介されています。
🤖 レイジーチューニングを使ったチャットボットの作成
第5段落では、レイジーチューニングを使ったチャットボットの作成方法について解説しています。ナレッジの設定、パラメーターの選択肢、マルチパスリトリーバルの活用など、チャットボットに複数のナレッジを組み込む方法が説明されています。また、テキストエンベディモデルの選択肢や精度の向上についても触れています。
📚 講座と資料の案内、ビデオの締めくくり
第6段落では、ビデオの締めくくりとして、DFに関する資料がLINE公式でプレゼントされている旨を案内しています。また、ユミさんが販売している講座も紹介されており、チャットボットの作り方に関するベストセラーになっていると豪語しています。最後に評価やコメント、チャンネル登録を呼びかけています。
Mindmap
Keywords
💡DF
💡ラグ
💡ファインチューニング
💡ハイブリッド検索
💡チャンク
💡テキストエンベディング
💡ナレッジベース
💡マルチプルリトリーバル
💡再ランクモデル
💡チャットボット
Highlights
DFはプログラミングができなくても言語モデルを使ったアプリが開発できるプラットフォームです。
言語モデルの単体では難しかったことも、DFを使うことで可能になります。
生成AIを活用する上でDFのスキルは今後非常に強力なものになります。
DFを使った開発の仕事が今後増えていくかもしれません。
今回の動画ではラグと呼ばれる手法について解説し、DFでラグを使ったアプリを開発する方法を紹介します。
言語モデルに学習していない情報でも回答できるようにするための手法がラグです。
チャットGPTのような言語モデルは学習していない情報には正しい回答ができません。
ラグを使うと一般公開されていない情報に関しても言語モデルに答えさせることができます。
ラグでは外部情報を追加で与えることで、言語モデルがその情報を利用して回答を生成します。
ラグの手法以外にもファインチューニングという手法がありますが、ラグの方が精度が高いことが論文で示されています。
ファインチューニングよりもラグを使う方が推奨される場合が多いです。
チャンク方式の設定はラグの精度に大きく影響します。
ベクトル検索と全文検索を組み合わせたハイブリッド検索が推奨されます。
サイランクモデルを使用することで検索の精度が向上します。
DFでは簡単にラグを使ったアプリを開発することができます。
Transcripts
00:00このチャンクの方法って結構大事なのでえ
00:02今回カスタムの方で設定しますファイン
00:05チューニングについて教えてくださいと
00:06いう風に聞いてみ
00:08ますはい皆さんこんにちはにゃんたですえ
00:11本日はDFくラグというテーマで話して
00:14いきたいと思いますえ最近dfyという
00:17アプリが話題になってるんですけどもえ皆
00:19さん触ってみましたかDFはえ
00:22プログラミングができなくても言語モデル
00:25を使ったえアプリが開発できる
00:27プラットフォームになっていますただDF
00:30は色々な機能があるのでま普段から言語
00:33モデル触ってないという人にとっては
00:35ちょっとよくわからないなっていう部分も
00:37多いんじゃないかと思いますでDFが使い
00:40こなせるようになるとえこれまで言語
00:42モデル単体では少し難しかったこともえ
00:45できるようになったりとか自分のアイデア
00:48をえすぐにアプリに落とし込んで検証する
00:51ことができるので生成AIを活用する上で
00:53は今後かなり強力なスキルになってくるん
00:56じゃないかと思いますXではDFの件を
01:00受注しましたって人もちらほら探検された
01:03ので今後もしかしたらこのDFを使った
01:05開発の仕事ってのも増えていくのかもしれ
01:08ませんでそこで今回はえ仕事の中でよく
01:12使われているえラグと呼ばれる手法につい
01:14て簡単に解説してdfyでこのラグを使っ
01:18たアプリを開発する方法についても紹介し
01:21ていきますこれまでプログラミングをやっ
01:23ていなかったからえ開発できなかったなっ
01:25て人もたくさんいると思うので是非この
01:28よく使われてるえラグのの手法について
01:30マスターして仕事とかでも使ってもらえれ
01:33ばいいのかなという風に思います初心者に
01:35も分かるように解説してるので生成活用し
01:38たいなという人は是非見ていってもらえば
01:40と思いますそれでは早速やっていき
01:43[音楽]
01:45ましょうはい最初にえラグって何っていう
01:48とこになりますでここら辺はえ技術的に
01:51細かい話というよりはえなぜラグが必要な
01:54のかというところだったりとかえdfiで
01:57アプリを作る上で知っておくべきことに
01:59ついて
02:00簡単にまとめておきますでラグは簡単に
02:03言うとえ言語モデルが学習していない情報
02:06でも回答できるようにするための手法に
02:08なっていますでチットGPTとか使ってる
02:11人分かると思うんですけどもえ言語モデル
02:13に学習していない情報を聞いても正しい
02:16回答はしてくれないかと思います例えばえ
02:19チャットGPTにえにゃんタって誰って
02:22いう風に聞いたとしてもえこんな感じでえ
02:25ニャンタというYouTuberについて
02:27の情報が具体的にないためえ一般的な内容
02:30で回答しますというところでニャンタ
02:32なんて知らないぞという風な返答が返って
02:34きてしまいますでこれはチャットGPTの
02:37学習データにえニャンタの情報が含まれて
02:40ないのでま回答ができないというわけです
02:42ねなので言語モデルの学習データに含まれ
02:45ていない内容に関しては基本的には言語
02:48モデル単体ではうまく回答することができ
02:51ませんえじゃあ言語モデルが学習してる
02:54データって何かって言うとえWeb上で
02:57一般公開されてるデータを学習しています
03:00まなのでインターネットに一般公開されて
03:02いてえ情報が多ければ多いほど言語モデル
03:06の回答の質が上がっていきますま一応
03:08ニャンタも頑張って発信してるんですけど
03:10もまだまだWeb上に情報が少なくてま
03:14十分学習できてないので先ほどは知らない
03:16という風に言われてしまったわけですねで
03:19言語モデルの登場で生産性が爆あがりし
03:21てる職種の1つがえプログラマーかと思い
03:24ますで個人的にも言語モデルが出てきてま
03:27仕事の仕方が結構変わったなという風な
03:29感じがしています
03:30でこれは大きく分けて2つ要因があるかな
03:32と思っててま1つが言語モデルが
03:35プログラミングにめちゃくちゃ強いという
03:37ことですねでつまりチャットgpdとかっ
03:39てまかなり質が高いプログラミングの
03:41コードを書いてくれますしプログラミング
03:43に関連した知識を誰よりも幅広く持ってる
03:46ので分かんないことがあったらえチャット
03:49GPTに聞くと色々と教えてくれますで
03:53これはえプログラミングのコードがネット
03:55上にたくさん公開されていて言語モデルも
03:58それらを学習してるので他の分野よりもえ
04:01生成する回答の質が高くなってるんじゃ
04:03ないかなという風に思いますそしてえ
04:06プログラマーと言語モデルの相性がいい2
04:08つ目の理由としては元々えプログラマーは
04:12ググる回数が多い職種であったという
04:14ところかなと思いますでプログラミングで
04:17何か開発する時ってま多くの場合ですね
04:20一般に公開されてる技術を組み合わせて
04:23何かを作っていくということが多いかと
04:25思いますチットGPTが出てくる前を
04:28思い出してみると何かエラーが出たらすぐ
04:31にググって公式ドキュメント見たりとか
04:34同じようなエラーが出てる人がいないか
04:36なってところでググりながら探したりする
04:38ことが多かったですなので仕事の進め方と
04:41しても一般に公開されてる情報を使って
04:45仕事をすることが多いので一般に公開され
04:47てる情報を学習してるえ言語モデルと相性
04:50がいいのかなっていう風に感じています他
04:52の職長を考えてみるとえ仕事をする上で
04:55めちゃくちゃググって何かやるというより
04:57も結構車内の情報に依存して仕事しなきゃ
05:01いけないとそういったケースが多いのかな
05:02という風に思うんですけども皆さんはどう
05:04いう風に思いますかはいじゃあなんでラグ
05:07が使われてるのかという話を持ってきたん
05:09ですけどもえラグを使うと一般公開されて
05:12ない情報に関しても言語モデルに答え
05:15させるということができるようになります
05:17なので会社の中の独自の決まりとか一般
05:20公開されてない情報を元にえ言語モデルを
05:23活用したいなという風になってくるとラグ
05:25という仕組みが使われてるというわけです
05:27ねで簡単なイメージとしてははまこんな
05:30感じでニャンタって誰っていう風に質問し
05:32た時に先ほどは答えてくれなかったんです
05:35けどもラグではえこんな感じでえニャンタ
05:38に関して書かれた情報をえ追加で与えて
05:41あげます例えばえニャンタはえ白猫
05:44YouTuberでAIが好きですという
05:46風に書かれたPDFを追加で与えるという
05:49イメージですねでそうするとえ言語モデル
05:52がそのPDFの情報を利用してえ回答を
05:55生成できるのでえこんな感じでニャンタっ
05:58て誰に対してえAI好きな白猫
06:00YouTuberですという風に返答が
06:02できるとそういったイメージになってい
06:04ますでこういう風にえ外部の情報を追加で
06:07与えて言語モデルに使ってもらうという
06:10方法がラグと呼ばれる手法になっていて
06:13結構仕事で使ってるなって人も多いんじゃ
06:14ないかと思いますでこのラグと呼ばれる
06:17手法以外としてはえファインチューニング
06:19と呼ばれる手法がありますでファイン
06:22チューニングはまちょっと難しいんです
06:23けどもでこの言語モデル自体がこのPDF
06:27の情報を学習してま進化するとえそういっ
06:29たイメージになりますでこのラグに関して
06:32はこの言語モデルが進化してるんじゃなく
06:34て簡単に言うとユーザーの質問に対して
06:38PDFの情報を見て回答してるというだけ
06:41なので言語モデル自体はえ特に知識が増え
06:44てるわけじゃなくてえただPDFの情報を
06:46使ってるとえそういったイメージになり
06:48ますでファインチューニングだとえ言語
06:51モデル自体の知識が増えていくので一度
06:53学習してあげればこのPDFを与えなくて
06:56も回答を生成するということは原理的には
06:59可能になっていますじゃあそのファイン
07:01チューニングってのもやってみようかしら
07:03という風に思ってる人もえ多いと思います
07:05し実際開発してるところも多いんじゃない
07:08かなという風に思うんですけども
07:09Microsoftから出ている論文では
07:11えファインチューニングを使うよりもえ
07:13ラグを使った方が圧倒的に精度が高いと
07:16いう結果が出ていますこちらの論文に関し
07:19ては話してると長くなってしまうので今後
07:21ファインチューニングについても解説でき
07:23たらなという風に思うんですけども結論と
07:25してはファインチューニングをやるよりも
07:28えラグだけ使った方ががえ精度が高くなる
07:30よという話になっていますなのでえ言語
07:33モデルに学習してない内容について回答し
07:36て欲しいなって時はえファイン
07:37チューニングじゃなくてラグを使う方が
07:40推奨されるかなと思いますでちなみにえ
07:43ラグの中でまどういう風に外部情報が使わ
07:46れてるのかというのは押えておくといいと
07:48思うのでえ簡単に説明しておきます例えば
07:52先ほどと同じようにえにゃんタって誰って
07:54いう風な質問が来たとするとこの質問に
07:57答えるために必要な情報というのをを外部
08:00データとして与えるPDFのテキスト
08:02データから探してきますこの右側の文章は
08:05えPDFに書かれた文章だと思って欲しい
08:08んですけどもこのPDFの文章を段落とか
08:11で分割してあげます例えばこれだったら今
08:153つの文章に分割されていますでこの文章
08:17の中から質問に答えるために必要な文章を
08:21え探してくるんですけども今回だったら
08:23この1番上の情報が抽出されるとえそう
08:26いったイメージになりますなのでこの情報
08:29とえニャンタって誰っていう質問文が一緒
08:32に言語モデルに入れられることによって
08:34回答ができるというイメージになりますで
08:36どういう風にこの3つの中から文章が選ば
08:39れるのかということに関してはこちらの
08:42動画で詳しく解説してるので興味があれば
08:44見てみてくださいでポイントとしてはえ
08:47追加で与えた情報っていうのは分割されて
08:50利用されるということとその中から質問に
08:53関連する情報が抜き出れて利用されると
08:56いうところになりますでラグの話が少し
08:59長くなったんですけどもえDFのアプリ上
09:02でも簡単にラグを使ったアプリを実現する
09:04ことができます先ほどのラグを使った
09:07システムを作ろうとするとま結構大変なん
09:09ですけどもえDFを使うとファイルを
09:12アップロードするだけですぐにできて
09:14しまいますただえ色々と設定する項目が
09:17あってここら辺が正しく設定できてないと
09:21精度の検証もうまく行えないと思うので
09:24続いてえ実際に画面見せながらえ各設定が
09:27どういうものなのかというのを解説して
09:30いき
09:31ますはいそれではえラグのアプリを作って
09:34いきたいと思いますでDFの基本的な操作
09:37に関してはえDF入門の動画で解説してる
09:40ので知りたい人は是非そちらを見てみて
09:43ください今回はラグのシステムを作る時の
09:46設定項目を細かく見ていきますえまず最初
09:49にえ参照する外部情報を設定する必要が
09:52ありますえそれがですねこの右上のえ
09:55ナレッジのところからえこういった画面に
09:57遷移できますちょっと大きくしてでここの
10:01ですねえっと知識作成というところを押し
10:03てもらえる
10:05とこういった画面に遷移するかと思います
10:09でここからえ外部情報をアップロードして
10:11いきます最初は普通にアップロードする
10:14だけなのでえこちらの参照から好きな
10:16ファイルをアップロードしてもらえればと
10:18思い
10:20ますはい私は先ほどの論文のえFind
10:23チニングorリトリーバルというPDFを
10:26アップロードしましたでこの状態でえ次を
10:29押し
10:31ますはいそうするとですねこういった画面
10:33に遷移するかと思いますはいでまず見方と
10:37してはこのプレビューのところですねえ今
10:39え5個のえプレビューが表示されてるん
10:41ですけどもこれは先ほどスライドで紹介し
10:44たようにえ文章が分割されるという話が
10:47あったと思いますでその分割された1つ1
10:50つがですねこういう風にプレビューとして
10:52え今確認できていますでこの左側を設定し
10:55ていくとこの右側が変わったりするので
10:58そちらを見ながらが設定してくという感じ
11:00になってますで最初にえチャンクの設定と
11:03いうのがありますでチャンクっていうのは
11:05え文章を分割することを言いますでその
11:08設定方法としてま今自動が選ばれてるん
11:11ですけどもこれDFの方で設定されたえ
11:14チャンク方式に乗っ取ってえ分割されてる
11:17ということですねでそうすると1つ1つの
11:19チャンクがえこういった文字数になってる
11:21というのが分かりますでラグの精度を
11:23上げるにはこのチャンクの方法って結構
11:26大事なのでえ今回カスタムの方で設定し
11:28ます
11:30でこちら選んでもらうとセグメント識別士
11:32と最大チャンク調とえチャンクの
11:35オーバーラップとか出てきますで
11:37セグメント識別肢っていうのはえ文章の中
11:40でどういった文字が出るとえチャンクとし
11:43て区切るのかとえそういうのを設定するに
11:45なっています今特になくていいのでコメ
11:48マークで設定しておきます続いて最大
11:51チャンク長になっていますでこれはえ文章
11:54を分割した時にその分割された文章のえ
11:57文字数になっています厳密にはトークン数
12:00だと思うんですけども文字数のようなもの
12:02だと思ってもらえればと思いますこれ今
12:04500となってるので500文字ずつ分割
12:07されるということになりますはいでこちら
12:10のオーバーラップっていうのがえ文章を
12:12分割した時のえ境目のオーバーラップを
12:15どれぐらい許容するかとえそういった話に
12:17なっています例えばえ1000文字の文章
12:21があったとするとえ今最大チャンク長が
12:23500なので500文字500文字で2つ
12:26の文章に分割されますその時に500文字
12:30と501文字にわってま文章がある場合
12:33ってそこが分割されてしまうので文章の
12:36意味が分かりにくくなってしまいますまな
12:38ので少しオーバーラップを許容して文章を
12:42分割すると精度が上がるというところでえ
12:45このオーバーラップを許容していますはい
12:47なのでこの設定が必要なんですけども
12:50じゃあこの分割する時のえ文章の長さとえ
12:53オーバーラップっていうのはえどれぐらい
12:54許容すれば精度がいいのかなってのはえ
12:57結構大事なポイントかなと思います
13:00でそれに関してはえこちらの
13:01Microsoftのブログの方で
13:04いろんな実験がやられていて精度が良く
13:06なるえ実験結果がまとめられていますえ
13:09こちらのブログの下の方にですねえここ
13:14ですねキンク長の違いによってどれぐらい
13:17精度が変わるのかというのが見られてい
13:19ますここでは512とえ1024え496
13:23と8191が比較されてるんですけども
13:26ちょっとアップしますか
13:31これを見ると512のインプットトークの
13:34時がま1番精度が高くなってるということ
13:36ですねまつまり分割するチャンク長は大体
13:40500ぐらいにするとより良いということ
13:42が分かるかと思いますはいで下の方見てく
13:45とオーバーラップはどれぐらいさせると
13:47いいのかというところも書かれていて大体
13:5025%のオーバーラップをさせるとま精度
13:53が良かったという風に書かれてますねで
13:56この実験結果はま1つの結果なので全ての
13:59ケースにおいてこれが当てはまるかって
14:01いうのは断定はできないんですけども
14:03Microsoftが出してる実験結果な
14:05ので実験もしっかりやられていてここを
14:07スタートとしてパラメーター設定しても
14:09いいんじゃないかなという風にえ個人的に
14:11は思いますはいなのでえ戻ってですね
14:13こちらの方チャンク帳設定しましょうえ
14:17512でえ大体125ぐらいですかね設定
14:21しときましょうあとはテキストの毎処理の
14:23ルールとしてまスペースとか開業とかです
14:25ねえ痴漢するとかえ色々あるんですけども
14:28ここら辺はデフォルトの設定のままでえ
14:31進めますえ確認&プレビューをしますはい
14:35そうするとえ分割ですねこんな感じになっ
14:37てますでこれ今文字数として出てるので
14:40トク数とは少し意味が違うんですけども
14:43この設定でえ文章の分割ができています
14:46はいで下の方に次行きます続いてえ
14:50インデックスモードというのがありますえ
14:53これ高品質と経済的というのがあって2つ
14:55どっちにすればいいんだろうという風に
14:57悩ましいのかなという風に思いますでこれ
14:59は違いとしてはこちらの高品質の方は
15:03ベクトル検索と言って分割された文章から
15:06え文章を検索する時に文章をベクトル化し
15:09て検索するという少し高度なことをやって
15:12います詳しい話は先ほどの紹介したこちら
15:15の動画を見ていただければと思うんです
15:17けども文章の意味的に近いものを抽出
15:20できるのでより精度が上がる傾向があり
15:22ますなので少しコストはかかってしまうん
15:25ですけども制度を求めるんだったらこちら
15:27の高品質の方を選んだがいいと思い
15:30ます続いて設定としてえ質問と回答形式で
15:34セグメントかというのがありますでこちら
15:37は少し難しいんですけどもえ分割した文章
15:40ごとにQ&A形式で質問と答えを用意して
15:44あげて質問同士で検索を行うという方法に
15:48なっていますちょっと意味わからんという
15:50人多いと思うので公式のページの図を参照
15:54するとこの左側の方がえ普通にやった場合
15:57ですねユーザのクエスチョンが入ってき
16:00たらこのデータベースの中で分割された
16:03文章が選び出されるとこれが一般的なラグ
16:06の流れになっていますそれに対して先ほど
16:09の設定をオンにすると各パラグラフごとに
16:12QAの形でえ文章が作られますこの作られ
16:17た文章とユーザーのインプットが似ている
16:19ものを探し出してその時のアンサーを
16:22抜き出すというのでかなり複雑なことを
16:25やってい
16:26ますで公式の方を見てみるるとThis
16:29IsMorePRとこれがより正確になり
16:32ますよという風に書かれていますただえ
16:34現状はえこちら使用言語がえ英語と中国語
16:38しか対応してないようなので英語で使う
16:40場合はいいんですけどもえ日本語の場合は
16:43少し微妙なのかなという風に思いますあと
16:46はこのクエスチョンとアンサーを各分割さ
16:49れた文章に対して生成するんですけども
16:51その時にえ言語モデルを使ってえこういっ
16:54た文章を生成してくのでコスト的にかなり
16:57かかってしまうというところがえ注意点か
16:59なと思います例えば文章めちゃくちゃ長く
17:02て各文章に対してQAをたくさん生成して
17:05たらものすごい数のトークンを使って
17:07しまうので少し高くなってきますはいなの
17:10で今回はこちらを使用せずに行きたいと
17:12思いますで興味がある人はこちら今英語と
17:16中合語しかないみたいなんですけども使っ
17:18てみるといいと思いますはい続いてえ検索
17:21設定ですねえベクトル検索とえ全文検索
17:25ハイブリッド検索とえ3つが選択できます
17:28で論から言うとこのハイブリッド検索がお
17:31すすめになりますでハイブリッド検索って
17:34のはこのベクトル検索とえ全文検索を
17:36合わせた検索になっていますはいこちらを
17:39選択しますこれ何やってるかってのを理解
17:42するにはこのベクトル検索とえ全文検索が
17:45どういうものかというのを簡単に説明して
17:48おきますでそもそも検索って何っていう人
17:51もえいると思うんですけどもこれはこんな
17:54感じで文章が分割されてるんですけども
17:56何かユーザーから質問が来た時にえその
17:59質問を元にこの分割された文章の中から
18:02どの文章かを選び出す必要がありますその
18:06時にどれを選び出せばいいのかなって
18:08ところでえ検索が必要になってきますで
18:11ベクトル検索っていうのはえユーザーの
18:13質問とえ意味が近いものを探してくると
18:16そういった検索方法になっていますまなの
18:18でユザーの質問に対してえ意味が近いえ
18:22分割された文章がないのかなってところで
18:24ま探してくるというのがえベクトル検索に
18:27なっていますおベクトル検索すごくいいな
18:29という風に思ったりするんですけども
18:31ベクトル検索の方は意味的に近いものを
18:34探すというのは得意なんですけども単語
18:37単位で拾ってきて欲しいという場合にえ
18:40弱かったりします例えばえニャンタは誰で
18:43すかていう風に質問した時にニャンタの
18:45意味っていうのはAIのモデルからすると
18:48学習できてないので分かりにくかったりし
18:50ますでそうするとこのベクトル検索では
18:53ニャンタって誰っていう入力に対してこの
18:56分割された文章から検索するのが難しく
18:59なってきますでその時にこの全文検索と
19:02いうのでえキーワードで検索するという
19:05方法が必要になってきますこれはユーザー
19:09の質問に含まれてるキーワードと同じキー
19:12ワードが含まれているえ文章を探してくる
19:14とそういったアルゴリズムになっています
19:17全文検索よりもこのベクトル検索の方が
19:20意味的に近いものを探してくるという
19:22ところで技術的にはえ少し高度なことやっ
19:25てるんですけども意味が明確じゃない固有
19:27名詞とかを含んでる場場合はこの全文検索
19:30の方がえ精度が良くなってきますで
19:33ベクトル検索と全文検索を組み合わせたの
19:35がえハイブリッド検索になっていて
19:38ベクトル検索とえ全文検索でえ候補を持っ
19:41てきた後に再ランクモデルというものを
19:43使ってえランク付けを行いますでこの再
19:46ランクモデルってのがまた出てきたので
19:48難しいなという風な感じかもしれないです
19:50けどもまずはこのベクトル検索と全文検索
19:52があってそれを組み合わせたのが
19:54ハイブリッド検索ですよというところを
19:56押えてもらえばと思いますはいじゃあサイ
19:58ランクモデルって何なのかというところに
20:00なってくるんですけどもまこちらについて
20:02はえ少し技術的に難しいのでふーんと持っ
20:05て聞いてもらえればと思うんですけども
20:07サイランクモデルはベクトル検索と似た
20:10ようなものになっていますこちらの図が
20:13ベクトル検索とサイランクモデルの処理
20:15方法の違いを表してるんですけどもこちら
20:18のバイエンコーダーってのがえベクトル
20:20検索を行う時のネットワークになっていて
20:23クロスエンコーダーってのがサイランク
20:25モデルを使う時の処理の方法になってい
20:27ますでこれを見てもさっぱり分からないと
20:30思うんですけどもえ端的に言うとサイ
20:32ランクモデルの方は2つの文章を一緒に
20:35入れてスコアを予測するものでベクトル
20:38検索の方は独立に入れてえベクトルを計算
20:41するとえそういったものになっています
20:44一般的にえこちらのクロスエンコーダーの
20:47方の処理構造の方が一緒に文章を入れるの
20:50でより性能が高いということが分かってい
20:53ますはいじゃあ最初からこのサイランク
20:55モデル使えばいいじゃんという風に思うん
20:57ですけどもこのサイランクモデルは計算
21:00するコストが高いというところが上げ
21:01られるのでベクトル検索とか全文検索で
21:05ある程度候補を絞った後にえ最後にサイ
21:07ランクモデルが適用されるというのが現在
21:10の主流になっていますはいここら辺は
21:13あまり詳しく知らなくてもえ問題ないのか
21:15なと思うんですけどもリランモデルを使っ
21:17た方がいいんだなというところを抑えて
21:19おくといいと思いますでリランモデルは
21:22このコヒアという会社が出してるモデルが
21:24有名なのでえこちらの方を選択しますこの
21:28コヒアのの会社に関してはこちらの
21:30コマンドR+の動画で解説してるので興味
21:32がある人は見てみてくださいでこちらの
21:35モデルがえアクティブじゃないという場合
21:37は右上の設定のところからえモデル
21:40プロバイダーのとこ行ってですねこちらの
21:42方でAPIキーの方を設定してもらえばと
21:44思います今だったらですねこのコヒアの
21:47APIは商用利用は禁止されてるんです
21:49けどもえ無料で使うことができますはい
21:52これでですね一通り設定が完了しましたで
21:55ここまで説明を聞いてもらえるとま各設定
21:57項目ですねどういう意味なのかというのが
22:00なんとなくイメージできたかなという風に
22:02思いますはいこれで保存して処理をします
22:06はい埋め込みが完了しましたで
22:08ドキュメントに移動しましょうはいそう
22:10するとですね今ドキュメントができてるの
22:12でこれをですねテストすることもできます
22:16えこちらでファインチューニングなんです
22:19かという風に質問してえテスト中と押す
22:24と分割された文章がえ今3つ抽出できまし
22:28たこれ今検索をしてえ文章が抽出できると
22:32いうことになりますここら辺でえユーザー
22:35が入力した時にえ正しく文章が抽出できる
22:38のかなってのを確認するといいと思い
22:40ますあともう1つはこの設定のところから
22:43えナレッジ名とナレッジの説明というのが
22:46ありますでこれに関してはえチャット
22:49ボットの中で複数のナレッジを設定する
22:51ことができるんですけどもえその時にどの
22:54ナレッジを使うのかというところを言語
22:57モデルの方で判断させる時にこの説明文章
23:00を見て判断する時に使われますなのでえ
23:03いろんな文章をアップロードして複数の
23:06データソースに対してえ検索を行いたいと
23:09いう時はこちらはちゃんと設定する必要が
23:11ありますでこちらの説明文書のえおすめの
23:14書き方というのもえ公式の方にですね載っ
23:17てますのでここら辺ですねえどういう風に
23:20設定すればより良い説明文になるのかなっ
23:22てのが気になる人はえこちらを見て
23:24もらえればと思いますはいであとですね
23:26埋め込みモデルのところですねこちら今
23:28テキストエンベディAD002という
23:31オープAIのベクトルカのモデルを使っ
23:34てるんですけどもこれ実はですねえあまり
23:36精度がよくありませんまなのでえテキスト
23:40エンベッド3のラージの方ですねこちらを
23:43使った方が精度が良くなるので設定を変え
23:46ておくといいと思いますはいこれでですね
23:48保存をしときますはいこれで慣レチが今
23:52作成できたのでチャットボットの方に
23:54組み込んでいきますえ一旦ですねスタジオ
23:57の方に戻ってもらって
23:58アプリを作成していきます私既にラグって
24:01の作ってるのでこちらからですね見ていき
24:04ますここら辺は基本的な操作なのでこう
24:07追加をしてもらって先ほど作成したえ
24:11こちらのナレッジですねこれ選択して追加
24:13をしますはいそうするとえこの文章を参照
24:17してえチャットボットが回答を生成して
24:19くるようになりますで1つ理解する必要が
24:22あるのがこのパラメーターというものに
24:24なっていてこれ2つ選ぶことができ
24:26ますでこのに関しては公式ページの方に
24:30ですね詳しく書かれていてNto1リトリ
24:33バルっていうのはユーザーの質問があった
24:35時に最もマッチしているえ1つの
24:38ノーレッジベースを探してくるというもの
24:39になっていますなので例えば複数の
24:42ファイルをですねアップロードしたとして
24:44もどちらかのファイルが選ばれるという
24:46ことになりますでこちらのマルチプル
24:48リトリーバルに関してはもう予想はでき
24:51てると思うんですけども複数の能列を参照
24:53してえ回答を生成できるというものになっ
24:55ていますなので今これ2つがあるんです
24:58けどもこの2つの中の分割された文章から
25:01サランクモデルで最も適切なものを持って
25:03くるというわけですねなのでえ複数の
25:07ファイルをアップロードしてえそれを使っ
25:09てラグのシステム作りたいなって場合は
25:12こちらのマルチパスリトリーバルを選ぶと
25:13いいと思いますはいで一旦こちら消します
25:18で最後にチャットの強化ということで引用
25:21の規則ということでえどのファイルを参照
25:24したのかという情報を表示させることが
25:26できますこちらもにしておくといいと思い
25:29ますはいこの状態でえ更新をしてえアプリ
25:32を実行し
25:34ますはいもうすでにですね色々検証してた
25:37ので履歴が残っちゃってるんですけどもえ
25:39このスタートチャットでファイン
25:41チューニングについて教えてくださいと
25:43いう風に聞いてみ
25:45ますはいそうすると先ほどアップロードし
25:49たえPDFを参照してこの情報を活用して
25:52回答を生成してくれていますはいこんな
25:55感じでえ簡単にラグの手法を使ったボット
25:58作れるので是非皆さんもチャレンジしてみ
26:01てくださいかなり長くなってしまったん
26:03ですけどもえどうだったでしょうかで現在
26:06DFに関する資料をえLINE公式の方で
26:09プレゼントしてるのでえ興味がある人はえ
26:12概要欄の方からLINEの友達登録をして
26:15もらってえプレゼントというキーワードを
26:17入力してもらえると自動で資料が送られる
26:20ようになってるので是非見てみてください
26:23はいあとはえユミの方でもえ講座を販売し
26:26ていて今のところ2つベストセラーになっ
26:29てたりするのでえ興味があったらこちらを
26:32見てみてくださいでクーポン使うとま
26:341800円という価格の値段で買えるので
26:37興味がある人はぜひ見てみてくださいはい
26:39以上で本日の動画を終了したいと思います
26:41この動画が良かったなって思う人は高評価
26:43コメントチャンネル登録の方よろしくお
26:45願いしますえそれではまた次回の動画でお
26:46会いしましょうバイバイ
26:50[音楽]
5.0 / 5 (0 votes)
