何が凄いのか？最新の技術GraphRAGについて解説してみた
Summary
TLDRこの動画では、グラフラグという技術を紹介しています。言語モデルをビジネスで活用する際に、外部情報の参照を可能にするラグ技術は既に広く使われていますが、精度向上のためにグラフ化することで、より関連性の高い情報検索が可能になります。具体的な実装方法や、グラフを使用することで得られる利点について解説し、実際の例を通じてその効果を示しています。
Takeaways
- 😀 グラフラグは、外部情報を参照して言語モデルを使う技術で、従来のラグの問題点を解決する手法です。
- 😀 グラフラグを使うことで、言語モデルが学習していない内容についても回答できるようになります。
- 😀 グラフラグは、文章をグラフ化して表現し、情報を検索する際に精度を向上させる技術です。
- 😀 文章をグラフ化することで、ノードとエッジを利用して情報の関係性を整理し、関連する情報を見つけやすくします。
- 😀 グラフラグでは、言語モデルが自動で文章からノードとエッジを抽出し、グラフを作成します。
- 😀 グラフラグを使うと、抽象的な質問にも対応でき、より正確な回答を生成することが可能です。
- 😀 グラフラグの構築には、GPT-3.5やGPT-4などの高性能な言語モデルを利用することで精度を向上させることができます。
- 😀 実装の際には、neo4Jというグラフデータベースを使用して、グラフを管理します。
- 😀 グラフラグは、従来のラグと比較して、情報量が増え、より多くの質問に対して正確な回答を提供できます。
- 😀 グラフラグを利用することで、企業内の情報を効果的に活用し、ビジネスの効率を向上させることが可能です。
Q & A
グラフラグとはどのような技術ですか？
-グラフラグは、言語モデルが外部の情報を参照して使用する技術で、文章をグラフ化して関係性を表現し、より正確な情報検索や回答を可能にします。
言語モデルをビジネスで活用する際、なぜラグ技術が重要なのですか？
-ラグ技術を使うことで、言語モデルは学習していない内容についても答えることができるため、ビジネスにおける独自の決まりや日常の情報を活用することが可能です。
グラフラグを使用する際の主な課題は何ですか？
-グラフラグの主な課題は、精度の向上です。文章をグラフ化する際の正確性や、関係性の解釈が精度に直接影响することがあります。
グラフ化された文章からノードとエッジはどのように抽出されるのでしょうか？
-言語モデルが自動で文章からノード（人物や物）とエッジ（関係性）を読み取り、グラフを作成します。
neo4jとはどのようなデータベースですか？
-neo4jはグラフデータを扱うためのデータベースで、グラフ構造のデータを効率的に管理・検索することが可能です。
グラフラグで使用する言語モデルの選択にはどのようなポイントがありますか？
-言語モデルの選択では、精度と品質が重要で、GPT4などの高性能なモデルを使用することで、より高品質のグラフを作成することができます。
グラフラグを使用する際に、どのような種類の質問に対する回答能力が期待できますか？
-グラフラグは、抽象的な質問や固有名詞を含む質問に対する回答能力が高まり、関係性に基づいた情報提供が期待できます。
グラフラグの実装にあたり、どのようなポイントが重要ですか？
-グラフラグの実装では、文章の前処理やノードの正確な定義、そしてグラフの構築方法が重要で、これらが検索精度に影響します。
グラフラグを使用した検索と従来のラグ検索の違いは何ですか？
-グラフラグは、意味的な情報の分脈とグラフから持ってきた情報を組み合わせたハイブリッド型の検索で、従来のラグ検索よりも情報量が増加し、精度が向上することが期待できます。
グラフラグの精度向上のために、どのようなアプローチがありますか？
-精度向上のためには、適切な言語モデルの選択、文章の前処理、正確なグラフの構築、そしてグラフデータベースの適切な設定が有効なアプローチです。
このビデオスクリプトで紹介されたグラフラグのデモンストレーションでは、どのような結果が得られましたか？
-デモンストレーションでは、グラフラグを使用することで、キャラクター間の関係性に基づく質問に対して正確な回答が生成されることが確認され、特に抽象的な質問に対する回答能力が高まることが示されました。
Outlines
📊 ラグ技術とグラフラグの紹介
本段落では、言語モデルの活用方法として最近注目されている「ラグ」と呼ばれる技術について説明しています。ラグは、外部情報を参照させて言語モデルを使う技術で、例えば会社の独自の決まりや個人の日記内容など、モデルが学習していない内容にも答えることができます。しかし、ラグの精度向上のためには様々な手法が提案され、その一つである「グラフラグ」についても触れています。グラフラグは、文章をグラフ化することで、より正確な情報を提供する技術と言えます。
🔍 ラグの検索精度とグラフラグの利点
第二段落では、ラグの検索精度に関する問題と、グラフラグがどのようにその問題を解決するのかが解説されています。ラグでは、ユーザーの質問に関連する部分を特定の文章から探す必要がありますが、精度が出ない場合もあります。グラフラグでは、文章をグラフ化し、関係性を可視化することで、関連性の高い情報を見つけやすくなります。これにより、抽象的な質問にも答えることが可能になります。
🛠️ グラフラグの実装手順
第三段落では、グラフラグを実装する手順について説明しています。まずは必要なパッケージのインストールから始め、OpenAIのAPIキーやグラフを扱うためのデータベースであるneo4Jの設定が必要です。その後、文章をグラフ化し、neo4Jにアップロードすることで、グラフの構築を行っています。このプロセスは、精度に直接影响するため、重要視されています。
🌐 グラフの構築とその重要性
第四段落では、グラフの構築過程とその重要性が強調されています。グラフの精度は、検索の正確性に直接関係しており、GPT3.5のターボを使用している場合でも、より高精度のグラフが必要な場合はGPT4オニなどの使用が提案されています。また、グラフのノードが適切に定義されることで、より良い検索結果が得られる可能性があります。
🤖 ハイブリッド型のグラフラグの実践
第五段落では、ハイブリッド型のグラフラグの実践方法について説明しています。ユーザーからの質問に対して、意味的に近いものだけでなく、グラフから関係性を持った情報を使用して回答を生成します。これにより、より正確で包括的な回答が可能になります。実際の質問に対する回答例も紹介されており、グラフラグの効果を実感できる場面が示されています。
📚 ラグの応用と宣伝
最後の段落では、ラグ技術の応用方法と、作成者の宣伝活動について触れています。グラフラグを使用することで、より良い情報検索が可能になるだけでなく、特定の質問に対する回答能力も向上します。また、作成者が行う講座やツールの宣伝も行われており、興味のある視聴者は詳細を知ることができます。
Mindmap
Keywords
💡グラフラグ
💡言語モデル
💡リトリーバルオグメジェネレーション
💡ノード
💡エッジ
💡neo4j
💡ハイブリッド検索
💡APIキー
💡精度
💡GPT
Highlights
グラフラグというテーマで話すことを紹介
言語モデルをビジネスに活用する際にラグ技法の有用性
ラグを使用することで言語モデルが未学習の内容にも答えられる
グラフラグの基本的な考え方とその利便性の説明
ラグの精度向上のためのグラフ技法の紹介
グラフ化によって文章の関係性を視覚化する手法の解説
グラフを使用することで抽象的な質問に対する回答が可能になる
言語モデルが自動でグラフを作成するプロセスの説明
neo4Jというグラフデータベースを使用してグラフを管理する
グラフラグを使用した実装例とその効果の共有
グラフの精度が検索結果に直結するというポイント
グラフを使用したハイブリッド型のラグの手法の紹介
ユーザーの質問に応じてグラフから関連情報を抽出するプロセス
グラフを使用することで関係性に基づく正確な回答が可能になる
グラフラグの精度向上のためのGPT4オニなどの高品質言語モデルの使用
グラフラグを使用する際の前処理の重要性
グラフラグのハイブリッド検索の具体例とその効果
グラフを使用することで特定のエンティティに関する関係性の特定が可能になる
グラフラグの応用分野と実用性に関する考察
グラフラグのチュートリアルやツールの提供に関する宣伝
Transcripts
00:00はいこんな感じでですねま悟空を中心とし
00:02てまいろんなキャラがですねどういった
00:04関係性なのかってところまで含めてグラフ
00:06化できてるというのが分かりますはい皆
00:08さんこんにちはニャンタですえ本日は
00:11グラフラグというテーマで話していきたい
00:13と思いますえ皆さん仕事の中で言語モデル
00:16はどのように使ってるでしょうか言語
00:18モデルをビジネスに活用しようと思った時
00:20にま今1番使われてると言っても過言では
00:23ないのがラグと呼ばれる手法になってい
00:25ますで生成AIのフォーラムとかに行って
00:28みるとまどこも確かもですねこのラグを
00:30やってるというところが多いんじゃないか
00:32と思いますでラグは簡単に言うとえ外部の
00:36情報を参照させて言語モデルを使うとえ
00:39そういった技術になっていますえ詳しくは
00:41えこれらの動画で解説してるのでもっと
00:43知りたいという人は是非見てもらえればと
00:45思いますでラグを使うと何が嬉しいの
00:48かってことなんですけども言語モデルが
00:50学習していない内容についてもえ答えて
00:52くるようになります例えばえ自分の会社の
00:56え独自の決まりとか自分が毎日書いてるえ
00:59日記の内容とかですねえそういったことも
01:02このラグを使うことで言語モデルが回答し
01:05てくれるようになりますまなのでま言語
01:07モデルを仕事で使おうとかえそういった
01:09場合にですねのラグは多くの場合有用かな
01:12と思います皆さんの中にもえこのラグに
01:15関連するプロジェクトに取り組んでると
01:17いう人とかこれからラグを勉強してえ仕事
01:20にするぞという風に考えてる人もいるかも
01:22しれませんしかしこのラグはえ思ったより
01:25もえ精度が出ないということが多かったり
01:27しますまなのでこのラグの精度はを上げる
01:30ためのいろんな手法が出てきてるんです
01:32けども今回はその中の1つであるグラフ
01:35ラグというものについて解説していきます
01:37ラグについて分からない人でもえなんで
01:39このグラフラブを使う必要があるのかと
01:41いうのが分かるように解説してるので是非
01:43見ていってもらえればと思いますえそれで
01:45は早速ていき
01:48ましょうはい最初にえグラフラグというま
01:52ちょっと難しそうなものを紹介してくので
01:54なんでそんな手法を使わないといけないの
01:56かというところの話になりますまそもそも
01:59え現状のラグと言われる技術でえどういっ
02:02たところに課題があってえ精度が出ないの
02:05かというところを知っておく必要があり
02:07ますはい最初にですねえじゃあラグの全体
02:10像ってどんな感じだったっけというところ
02:12の復習になりますでちょっと唐突なんです
02:15けどもま仕事をしている時にですねえ昨日
02:18の打ち合わせ内容って何だっけという風に
02:19思ったりすることがあったとしますでこの
02:22時にえチャットGPTにえ昨日の打ち合わ
02:25せって何ですかっていう風に聞いてみて
02:27回答が返ってきたらえ結構便利ですよねで
02:30ただですねま実際チャットGPTとか聞い
02:32てみると分かるんですけどもえ打ち合わせ
02:34内容何ですかっていう風に聞いてもま学習
02:37してないのでま知らないっすという風な
02:39返答が返ってきたりしますでこれは当然え
02:42言語モデルが昨日の打ち合わせ内容につい
02:44て学習してないのでえ知らないという風に
02:46帰ってくるというわけですねでそれに対し
02:49てえラグを使うとえこんな感じで昨日の
02:52打ち合わせ内容をまとめたえPDFという
02:55のを原語モデルに渡してあげますこの
02:58PDFにはえ打ち合わせ内容がまペラペラ
03:00ペラペラでしたという風にま色々書いてる
03:03というわけですねでそうすると言語モデル
03:06がこの与えられた文章を参照すると昨日の
03:09打ち合わせ内容というのを理解できるので
03:11えユーザーの質問に対してどういった
03:14打ち合わせ内容だったかというのを答え
03:16られるというのがラグの全体のイメージに
03:18なっていますでここまではま実際にラグを
03:21使ったことある人っていうのは多いと思う
03:23のでなんとなく流れ知ってるよという人も
03:25多いかもしれませんでラグをもう少し
03:28詳しく見ていくとえ実は2つの処理が中で
03:31行われています1つ目がえ与えられた文章
03:34の中からえ必要な情報を探すという文章を
03:38検索する処理になっています昨日の
03:40打ち合わせ何だっけというユーザーの質問
03:42から文章の中のえどの部分を言語モデルに
03:46与えてあげれば適切に答えられるかという
03:49のを探す作業になっていますでラグは
03:52リトリーバルオグメジェネレーションと
03:54いう略になっていてリトリーバルってのは
03:56検索という意味になっていてでそのの通り
03:59え文書の中から必要な情報を探すとそう
04:03いったえ検索書になっていますでこの時に
04:06え文章を検索せずにこの文章まま全部をえ
04:09言語モデルに入れればいいじゃんという風
04:11に思った人もいるかもしれないですけども
04:13文章が長すぎるとえモデルに入れられ
04:16なかったりとかプログラムで言語モデルを
04:18使う場合はえ入力する文章に対して料金が
04:21発生してくるのでコストが上がったりして
04:24しまいますまなのでえ質問に関連する文章
04:27だけをえピックアップしてくるとそういっ
04:30たステップが必要になってくるわけですね
04:32でもう1つの処理がえこちらのえ言語
04:35モデルがえユーザーの質問に対して回答を
04:38生成するとえそういった処理になってい
04:40ますでここでは先ほど検索されたえ文章と
04:44えユーザーの質問を一緒に言語モデルに
04:47入れることでま回答を生成するとそういっ
04:50たことを行っていますでラグでは大きく
04:52上げてこの検索作業と言語モデルで回答を
04:56生成させるとでそういった2つの処理が
04:58必要になってきますでこの2つ目のえ言語
05:01モデルが回答を生成するという書類に関し
05:03ては単純にえ言語モデルの性能の問題に
05:07なってくるのでま誰が実装したとしてもま
05:10GPT4オニとか使っとけば大体同じ精度
05:12になってきますまなのでここの部分では
05:15制度の差ってのは出にくいというわけです
05:17ねで難しいのはこの1つ目のえ外部の文章
05:21の中から必要な情報を探してくる検索の
05:24ステップになっていますで文章の検索でえ
05:28何が行われてるのかというのもう少し具体
05:30的に見ていくとえこんな感じになってい
05:32ますえユーザーがですねえ昨日の
05:34打ち合わせ内容何だっけという風にま言語
05:37モデルに入れたとしますそうするとこの
05:39外部の与えた文章の中からえ関連した文章
05:42を探してくるというわけですねで文章の中
05:45からえ関連部分だけ探してくる必要がある
05:48ので与えられた文章はえこんな感じでえ
05:51分割されています今3つに分割されてると
05:54いうわけですねこの中からえ機能の
05:56打ち合わせ内容という意味と近いものが
06:00検索されますこの場合だと1番最初の文章
06:03に関しては打ち合わせ内容はペラペラペラ
06:05でしたと2番目がえ最近会社がペラペラ
06:08ペラですと3番目がえ利益はペラペラって
06:12感じですとこういった文章があるのでこの
06:14ユーザーの質問とえ近い意味を持つ文章
06:17ってのは1番上の文章かなというところで
06:20この文章が注視されるというわけですねで
06:23この抽出する書類に関してはこちらの動画
06:26で詳しく解説してるのでえもっと知りたい
06:28という人は見ていただければと思うんです
06:30けどもポイントとしてはえユーザーの質問
06:33とえ意味が近い文章を抽出してくるという
06:36ことになりますこの意味の近いものを探し
06:39てくるっていのがこのラグの検索のすごい
06:42ところでもあるんですけども精度が出ない
06:44原因の1つにもなっていますえ例えばえ
06:47こちらのケースでえラグを使った場合に
06:50どういう風になるのかというのを考えてみ
06:52ます今ユーザーがえニャンタがよくやる
06:55ことは何ですかという風にえ質問したとし
06:58ますでラグなのでえ外部の文章として
07:01ニャンタの集会について書かれた文章を
07:03与えてあげます1つ目がえニャンタは毎朝
07:06走ってから仕事をしてますと2つ目がえ
07:09ニャンタは毎日サバを食べてますとで3つ
07:12目がえニャンタは毎週YouTubeを
07:13撮ってますとえこういった文章があります
07:15でこの時にえ意味が近い文章を探してくる
07:19という風に言ったんですけどもこの3つの
07:21文章のうちどの文章が中止されると思い
07:24ますかはい予想できた人も多いかもしれ
07:26ないですけどもまおそらくこれはどの文章
07:29ももえ抽出されないということが起きると
07:31考えられますで厳密にえ本当に抽出され
07:34ないのかというのを確かめてないんです
07:36けども理屈上はえユーザーの質問とえ意味
07:40が近い文章が探されるという話でしたなの
07:43でこの場合はえニャンタがよくやることは
07:45という文章と意味が近いものを探そうとし
07:48ますただえそもそもこのニャンタという
07:51単語をAIが学習してないので意味が
07:54分かりませんしこのよくやることという
07:57文章と意味が似た文章を探そうとしても
08:00これら3つの文章に関しては意味が近いと
08:02判定されないというわけですねまなので
08:05ユーザーがえこういった固有名所を含んだ
08:08学習してない内容とか抽象的な表現を入れ
08:11てえ質問した場合とかっていうのはラグで
08:14はえ精度が出ないということが考えられ
08:17ますちょっと難しかったんですけども皆
08:19さんもえ言語モデルに質問する時に質問の
08:23内容があまり具体的じゃなくて抽象的に
08:26なってしまうというのはよくあるかと思い
08:28ますでらく皆さんはえ言語モデルの
08:31リテラシーがまかなり高い方かなと思うの
08:33でラグを使ってる時に抽象的な質問をして
08:36も原理的に答えてくれないなというのは
08:38分かると思うんですけどもえ仕組みとかを
08:40知らないえ一般のユーザーからすると
08:43こんな感じでえ抽象的な質問をえバンバし
08:46てくるかと思いますニャンタがよくやる
08:48ことはとかニャンタと仲いいのは誰とかえ
08:51ニャンタの特徴はとかですねこういったえ
08:53ちょっと抽象的な質問ですねでこういう
08:56質問に対しては意味が近い文章というのを
08:59探せなくなってしまうのでラグを使っても
09:02うまく回答が生成されなかったりします
09:04はいここで登場するのがえ本日の主役で
09:07あるえグラフラグという事実になってい
09:09ますお待たせしましたえグラフラグは簡単
09:13に言うと文章をえグラフ化して表現すると
09:16えそういった技術になっていますで文章を
09:19グラフ買ってま何を言ってるんだという風
09:21な感じかもしれませんでまずグラフって
09:23いうのはこんな感じで丸とま棒で繋がった
09:27ようなまこういったグラフのことをさして
09:29ますよく人間関係とか表す時にこの丸が
09:331人の人間でえその人とのま関係性を示す
09:36とかそういった時にえこういったグラフで
09:38表現されてるというのを見たことあるかも
09:40しれませんでこの丸とこの棒に関しては
09:44ノードとえHという風に言われたりするん
09:46ですけどもグラフラグではえ文章をえ
09:49こんな感じでノードとHのえグラフで表現
09:52しますえ例えば先ほどの文章を考えてみる
09:56とまず1番最初の文章でえは毎朝走って
10:00から仕事をしますと言った時にこの文章を
10:03使ってグラフ化するとこのノードのところ
10:05にえニャンタというノードが来てもう1個
10:08のノードのところにま例えば毎朝という風
10:11なノードが来てそれに対してえそれをつぐ
10:14エチとして走るというエッチが構築される
10:17とえそんなイメージになっています例えば
10:192つ目の文章だったらえ濃度はまた
10:22ニャンタが来てですねもう1個の濃度に
10:24関してもサバという濃度ができてえその
10:27ニャンタとサバをつぐ食べるとという
10:29エッジができると3つ目だったらえ
10:31ニャンタというノドに対してえ
10:34YouTubeというノドができてそれを
10:36え撮影というhでま繋ぐとまそんな
10:39イメージになっていますでどういう風に
10:41この文章がえノードとHに変換されるのか
10:44というところに関しては後ほど説明します
10:47で文章をえグラフにすると何が嬉しいのか
10:50というところなんですけども例えば
10:53ユーザーがニャンタについて質問した時に
10:56え先ほどは意味が近いものを探してきたん
10:59ですけどもグラフラグではえ最初にどの
11:02ノードを参照すればいいのかというのを
11:04特定してそのノードのえ周りの情報を持っ
11:07てくるということをやっていますなので
11:10この場合だったらニャンタというノドの
11:12周りには毎朝というノドだったりとかサバ
11:15というノードだったりとかえ
11:17YouTubeというノードがあったりし
11:18ますそれらがどういう風に繋がってるの
11:21かっていうのがえこのグラフの情報を参照
11:23すればえ理解できるので先ほどのえ
11:26ニャンタに関する抽象的な質問に対しても
11:29答えられるようになるというわけですで
11:31ちょっとイメージつきにくいという風に
11:33思いますのでまこの後ですね実際に実装し
11:36てみてどんな感じかというのを共有して
11:38いきたいと思いますここでは与えられた
11:41文章ってのがまグラフ化されて保持される
11:43んだなというところを押えてもらえればと
11:45思いますはいもう1つえ実際に使ってみる
11:49前にえ押えて欲しいポイントとして先ほど
11:51のえ文章からえグラフ化するというところ
11:55に関してはこちらが設定するんじゃなくて
11:58え言語モデルがが自動でグラフを作成して
12:00くれます先ほど説明したように文章がえ
12:04ノードとHのグラフとして表されるんです
12:07けどもこの文章の中からえどれをノードと
12:10すればいいのかとかえどれをエッチとすれ
12:12ばいいのかとかそういったところに関して
12:14はえ言語モデルが自動で文章から読み取っ
12:17てえグラフを作成してくれますでこれの
12:19すごいところとしては与えた文章のえ意味
12:22の繋がりをグラフとして整理してるので
12:25検索する時にえ関連する情報を探しやすい
12:28というとになっています例えばえニャンタ
12:31と仲がいいのは誰ですかという風に聞いた
12:33時にニャンタというノードの周りの友達
12:36関係を探していけば仲がいい人がすぐ
12:39見つかるとえそういったイメージになって
12:40いますまこういう風に説明しても実際に
12:43使ってみないとなかなかイメージできない
12:45と思いますので続いてえ実装の方で説明し
12:48ていきたいと思い
12:50ますはいそれでは実装の方やっていきます
12:54でグラフラグなんですけどもえラング
12:57チェーンの方からえ公式のブログでま
12:59グラフラグのチュートリアルが載ってたの
13:01でこちらを少し変えながらえ解説していき
13:04たいと思いますはいで気になる方はですね
13:06こちらの方えリンク貼っておきますのでえ
13:09参考にしてみてくださいでプログラムを
13:11初めてやるという人もいらっしゃると思う
13:13のであんまり不りせずに動作の方を説明し
13:16ていきたいと思います最初にこちらの
13:18ノートブックに関しては概要欄の方から
13:20アクセスできるので一緒に進めてみたいと
13:22いう人はそちらからアクセスしてみて
13:24ください最初にまず必要なパッケージを
13:27インストールしますで簡単な操作方法とし
13:30てはこのセルごとにえプログラムを実行
13:32するものなんですけどもえこのセルを選ん
13:35でえシフトエンターでえ実行しますはい
13:37そうするとこうやってくるくる回ってです
13:39ね今インストールが始まってますはい
13:42インストールが終わったのでえ続いてです
13:44ねえインストールしたパッケージをこの
13:46ノートブックで使うためにえインポートし
13:49ていきますはいここら辺もですねえっと
13:51単純にえシフトエンター押すだけなので
13:54初心者の方でも動かすことは簡単にできる
13:57かと思いますはいで続いてえOpenAI
14:01のAPIキーとえneo4Jと言われる
14:04グラフを扱うデータベースの設定が必要
14:07なってきますでneo4Jなんですけども
14:09え現在無料でえクラウド上でデータベース
14:12を作ることができるので今回はそちらの
14:15環境を使ってみたいと思いますスタート
14:17フリーでですねえやっていき
14:21ますで私の方はえすでにですね
14:24インスタンス作成してるのでまこんな感じ
14:26で出てくるんですけども初めて使う人はえ
14:29アカウント登録とインスタンスの作成と
14:31いうのが必要になってきますで
14:33インスタンスを作成できたらURIとえ
14:36ユーザーネームとパスワードを使っていく
14:38のでえそちらを設定していき
14:40ますはいでそれらの情報をですね
14:42ノートブックの方に入力していきますえ
14:45こちらのセルを実行するとまこんな感じで
14:47ですね順番にえ入力する画面出てくるので
14:49えまずはOpenAのAPIキーからです
14:52ね入力の方をしてもらえればと思い
14:54ます今ですねえ設定が完了しましたえ
14:58ちょっとここ間違ってましたねユーザー
15:01ネームはいこれで完了しました続いてえ
15:04ラグを行っていくので文章を用意する必要
15:07があります今回はえドラゴンボールのえ
15:10Wikipediaのですねえこちらの
15:11文章をえメモ帳に貼り付けてそれをえ
15:14グラフラグで使う文章としてえグラフを
15:17構築していきますでテキストファイルはま
15:20既に私が準備してるのでこのファイルを
15:23開いてデスクトップにあるえファイルを
15:25ですねアップロードしますはいえそうする
15:28とこんな感じでテキストファイルが
15:30アップロードできましたでこちらを続いて
15:33ですね読み込んでいきますここら辺はま
15:36ラグと同じような感じですねはいで
15:38ちょっとドキュメントの方を見ていく
15:40とえこんな感じでえ先ほどの文章が格納さ
15:44れてるというのが分かるかと思いますはい
15:48え続いて言語モデルを設定してえグラフを
15:52構築していきますはいこちらも実行し
15:55ますでちょっとグラフを作るのにはえ時間
15:58がるのでえ飛ばしますえ大体2分ぐらいで
16:02えグラフの構築が完了しましたこのグラフ
16:06の構築の仕方がえ精度に直圧するのでま
16:09結構大事になってきますで今はGPT
16:113.5のターボ使ってるんですけどもえ
16:14すごく精度が求められるとかえそういった
16:16場合はえここGPT4オニとかですごく
16:19品質が高いグラフを用意してあげると検索
16:21の精度が上がってくるかと思いますはい
16:24続いてえneo4Jのえグラフのえ
16:27オブジェクトを作成します
16:31はいで続いてえグラフのドキュメントです
16:34ねこちらでドキュメント化したえグラフの
16:36方をえneo4Jのクラウド環境の方にえ
16:39アップロードしています今アップロードが
16:42完了しましたはい続いてえグラフを
16:45ちょっとですね見てみましょうという
16:46ところでえこちらを実行し
16:52ますはいで下の方見てくとですねえ今
16:55えっと50個の関係性だけをえ出力する
16:58ようにしてるんですけども
16:59はいこんな感じでですねま悟空を中心とし
17:02てまいろんなキャラがですねピッコロ大
17:04魔王とかえラディッツとかですね
17:05ヤジロベーとかがいてまあのどういった
17:08関係性なのかってところまで含めてグラフ
17:10ができてるというのが分かりますえ例えば
17:13ですね悟空とえドラゴンボールの関係性
17:15ってのはま所有してるという関係性だっ
17:18たりとかあとは悟空とセルに関してはま
17:21悟空がセルを倒したという風に書かれてる
17:23のが分かるかと思いますまこんな感じでえ
17:26文章をえグラフ化して表現することができ
17:28ます
17:30孫悟空という濃度がですねまたくさん現れ
17:32てるのでここら辺とかちょっとどうなっ
17:34てるんだという風な感じかもしれないです
17:36けども文章からこんな感じで簡単にグラフ
17:38化することができてますでこのグラフに
17:40関しては言語モデルが勝手に人物だったり
17:43とかまドラゴンボールとか物とかをですね
17:45え抽出してえその関係性を構築してくれて
17:48います今特に改善はしないんですけども
17:51グラフラグを作る時のポイントになってき
17:53そうだなってものがこの悟空とですね孫
17:56悟空がま違う濃度に入ってしまってるとで
17:59これはえ文章の中でえ孫悟空っていうもの
18:02とま悟空っていう風にですね書かれてる
18:04文章があってまそれが別々のものとして
18:07判定されてしまってるというのが原因かと
18:09思いますまなので最初に全て同一人物はま
18:13悟空っていう風にま変換してあげるとか
18:16そういった前処理してあげるとさらに良い
18:18グラフができそうだなっていう風な感じが
18:20しますねはいこんな感じで簡単にグラフが
18:23できるので皆さんも何か自分たちで使っ
18:25てる文章を入れてみると面白いかもしれ
18:27ません
18:29はいではこのグラフを使ってですねえラグ
18:31の方をやっていきたいと思います今回はえ
18:34ベクトル検索とえグラフのえハイブリッド
18:37型でやっていきたいと思いますでどういう
18:39ことかって言うとですねこちらの図が
18:41分かりやすいんですけども今ユーザーから
18:43質問が来た時にまその質問のえ意味が近い
18:46ものを探してくるというのがこれまでの
18:49ラグでやってることでしたでそれと合わせ
18:52て今回はグラフの方からえ関係性を持って
18:55きてそれを使ってラグをやるというのが
18:57このハイブリ型になっていますなので基本
19:01的にはこれまでのラグよりもえ情報量が
19:04増える方向に行くので精度は上がるんじゃ
19:06ないかというところが期待できますはい
19:09こちらもですねえ実行し
19:11ますはい続いてインデックスエンティティ
19:15というものをえneo4Jのグラフ
19:17データベースの方でえ作成していきますま
19:20ここら辺はですねえっととにかく実行して
19:22いただければと思いますこのエンティティ
19:25というのがえノードのことを指してますま
19:28ノードってのはこの1個1個のですね
19:30ボールのことを指してますはいでえっと
19:33これも定義してえこちらのプロンプトの方
19:35も定義しますでこれ何やってるかって言う
19:38とですねまユーザーが何か質問した時に
19:40質問の中からノードっぽいものを探して
19:43くるんですねま例えばえ悟空とニャンタを
19:46戦ったっていう風な文章をえ入力して
19:48あげる
19:49とこんな感じですね悟空とえニャンタと
19:52いうえノードがですね抽出されますでこの
19:55ノードを使ってえグラフデーターベースの
19:57中からそのノドと関係してるものを抽出し
20:01てくるとえそういったことをやってますで
20:04ちょっと難しいんですけどもここら辺も
20:06ノードの周りの情報をえどのように持って
20:09くるのかというところを提示しています
20:13はい例えばここでえ
20:18孫悟飯してみるとえこんな感じでご飯も出
20:22てきてるんですけども悟空という
20:24エンティティが抽出されてそこのえノード
20:27と繋がってるノードの情報をま持ってき
20:30てるとえいうわけですね今孫悟飯とかがえ
20:34取ってきてるのはえこれ前種類の中でです
20:36ね2文字以上違ってる場合もま持ってくる
20:39というところでこんな感じでヒットしてい
20:41ますここら辺の情報をえプロンプトの中に
20:44入れ込むので関係性を考慮した質問に対し
20:47ても回答を生成してくれたりしますはいま
20:51とりあえず進めますであとリトリーバー
20:53ですねえこちらはハイブリッドで検索する
20:56ので意味的な情報の分脈とグラフから持っ
20:59てきた情報をプロンプトで定義しています
21:03はいはいそれでですね実際にえ質問してみ
21:06ましょうということでえ悟空と仲がいいの
21:10は誰ですかという風な質問をしてみます
21:13はいでちなみにですねえグラフラグを使わ
21:16ずにま通常のラグでえ同じような設定のも
21:19質問してみるとどうなるのかというのも見
21:22ておきますえ悟空と仲がいいのは誰ですか
21:24という風に質問する
21:26と悟空の用であり共に試を積んだのは
21:29クリリンですという風な回答が書いてき
21:32ますねでこれはえ最初に説明したようにま
21:35この質問文とえ意味が近い文章を探してき
21:38てま回答を生成してるだけなのでおそらく
21:41ですね悟空と共に修行を積んだクリリン
21:44ですとえそういった文章を引っ張ってきて
21:46回答を生成してる感じがしますねこれが
21:49ですねグラフラグだとえどうなるのかと
21:52いうところでえこちらをですね実行してみ
21:57ますはいそうするとこういった形でえ悟空
22:00と中がいいのはえクリリンご飯ブルマ
22:03ヤジロベーカリンえピッコロ仲間という風
22:06に書いてますね仲間と及びえこれです何で
22:10したっけ読み方忘れちゃったんですけども
22:13まカリン様ですねがえっと仲がいいよて
22:16いう風に書いてますこれ仲間っていうのは
22:19えミスっちゃってるんですけどもえ悟空と
22:21え関係がある人の情報をですねグラフの方
22:24から持ってきてえそれを元にですね回答を
22:27生成してるのででちゃんといろんな人が出
22:29てくるというわけですねもう少し聞いてみ
22:32ますかはい続いてですね悟空と仲が悪いの
22:36は誰という風に聞いてみますそうするとま
22:39悟空と仲が悪いキャラクターは特にいませ
22:41んと彼は多くの仲間や友人と協力し共に
22:44戦うことがありますという風に回答が生成
22:47されます仲が悪いとえそういった意味で
22:50文章がないので探してくるのが難しいと
22:53いうところなのかなという風に思います
22:56はいこちらをですねえグラフラグの方でえ
22:58やってみる
23:00とはいこんな感じでま悟空と仲が悪いのは
23:04えピラフ1味ですというところがえ回答と
23:07して帰ってきました確かにピラフ1味です
23:09ね仲が良くないと思うのでグラフラグの方
23:12が正しく回答ができてるかなという風に
23:14思いますはいちょっとグラフラグがですね
23:17得意な質問をしてるのでまこういった結果
23:19になってるんですけどもおそらく普通のえ
23:22ラグをやるよりはこちらの方がえいろんな
23:24質問に対して回答する能力を持ってると
23:27思いますで今回グラフに関してはえGPT
23:303.5を使っ
23:32てこちらのグラフですね構築したのでま
23:35関係性が仲間っていうノードができてたり
23:38とかこのドラゴンボールの創業者とかです
23:40ねま多分こういったノードってのは
23:42ちょっとミスっちゃってるのかなという風
23:44に思うんですけどもGPT4とかを使い
23:46ながらえグラフを作成するとより良い
23:49グラフが作成できてえ精度も上がってくる
23:51んじゃないかと思いますで結構ラグをやる
23:54時にえユーザーからえ文章を受け付けて
23:58すぐににラグをやりたいパターンともう
24:00車内情報とかでえ参照する文章は固定され
24:03てるという場合があるかと思いますでそう
24:07いった場合にですねこちらのグラフラグを
24:09使って1度グラフを構築しておけばより
24:12良いラグが構築できるんじゃないかなと
24:13いう風に思いますはい皆さんもですね色々
24:16と試してみてえ感想とかあったら是非教え
24:19てくださいはいグラフラグに関してはえ
24:22以上になります最後にえ宣伝なんですけど
24:25もえ最近ですねLINE公式の方始めて
24:28本日使ったえこちらのDFのツールのえ
24:31まとめとかえチャットGPTとかclod
24:343のえプロンプトのまとめを無料で
24:37プレゼントしてるので是非概要欄から友達
24:39登録してもらってプレゼントという風に
24:42入力してもらえれば自動で資料が送れる
24:44ようにしてるので興味がある人は見てみて
24:46くださいはいあとはユミの方でもえ講座の
24:50方販売してますので生成をもっと勉強し
24:53たいとかそういう人はですね概要欄の方に
24:56クーポンの方貼っておくのでぜひ見てみて
24:58くださ
24:59はい以上で本日の動画を終了したいと思い
25:01ますえこの動画良かったなって思う人は高
25:03評価コメントチャンネル登録の方よろしく
25:05お願いしますえそれではまた次回の動画で
25:07お会いしましょうバイバイ
25:11[音楽]
25:17[音楽]
5.0 / 5 (0 votes)