「RAGは本当に必要か?」コンテキストウィンドウ拡大がRAGに与える影響とは(2024/3/20)
Summary
TLDRこのセミナーでは、検索拡張生成(Retrieving and Generating, 略してRAG)と呼ばれる手法と、それが持つ可能性について語り合われた。RAGは、AIが外部から情報を検索し、生成することで、より質の高い回答を提供する仕組みである。昨年末にジェミニやクロードなどの注目のモデルが発表され、RAGの必要性が議論されるようになった。RAGを用いたサービスは、企業での導入やタスクに特化した回答の向上に注目されており、長文のプロンプトを扱えるようになり、入力文字数の制限を解消する手段として期待されている。一方で、RAG不要論も根強いが、情報の精度やコスト面での利点から、RAGはまだ重要な手法とされており、今後の発展が期待されている。
Takeaways
- 📚 ラグ(Retrieval-Augmented Generation)は、外部の知識ベースから情報を検索し、生成することで、AIの回答質を向上させる手法です。
- 🔍 ラグの進化とコンテキストウィンドウの拡大は、AIが扱えるテキストの長さを増加させ、より長い文書を処理できるように進化しています。
- 🚀 GoogleのジェミニやAI2のクロードなど、最近のAIモデルは、非常に長いテキストを扱うことができる能力を獲得しています。
- 🤖 AIサービスのリリースが増えるにつれ、検索拡張生成ラグの必要性が議論されるようになりました。
- 💡 ラグの主な利点は、AIの回答質の向上、最新情報へのアクセス、ユーザーへの情報提供、そして再学習コストの削減にあります。
- 📈 入力文字数の増加により、ラグ不要論が登場しましたが、ラグはまだ重要な役割を果たしています。
- 🔗 ラグは検索と生成を組み合わせた手法で、ユーザーの質問に応じて最適な情報源を検索し、回答を生成します。
- 📉 長文の入力が増えると、AIの回答精度が下がる「抜け落ち問題」がありますが、ラグはこれを改善する手助けをしています。
- 💬 ラグの適用状況は、用途や目的によって異なり、サービス構築時や業務でAIを活用する際には効果的に利用できます。
- 📝 プロンプトの最適化とナレッジデータの整理は、チャットボットやAIサービスの精度向上に大きく寄与します。
- 💻 ラグを使用する際には、検索手法やデータの投入方法、プロンプトの作り方など、テクニックが必要とされます。
Q & A
セミナーのタイトルについて教えてください。
-セミナーのタイトルは「検索拡張生成ラグ:コンテキストウンドウの拡大がラグに与える影響」というものです。
ラグとは何ですか?
-ラグとは、レトリーバオグメテッドジェネレーションの頭文字をとって名付けられたもので、外部の知識ベースから情報を検索し、それを生成するという仕組みを指します。
ラグの進化について説明してください。
-ラグは、検索と生成を組み合わせた新しいAIのフレームワークであり、外部から情報を得ることができるため、LLM(Large Language Model)の回答の質を向上させることができます。
ラグの利用における主な利点は何ですか?
-ラグの利用により、LLMの回答の質が向上し、常に新しい情報を追加できるだけでなく、学習されていない範囲外のデータも回答に組み込むことができるという利点があります。
最近のLLMの進化の中で、入力文字数の制限がどのように変わってきましたか?
-最近のLLMの進化の中で、入力文字数の制限が緩和されており、GPT4のターボモデルでは最大12万8000文字、Googleのジェミニ1.5プロでは最大100万文字までの対応が可能となっています。
ラグ不要論とは何ですか?
-ラグ不要論とは、入力文字数の上限が拡大されることで、ラグを用いて情報を切り取って与える必要がなくなるという意見であり、その逆にラグを活用することで精度を向上させることができるとの議論があります。
検索拡張生成ラグが注目されるようになった理由は何ですか?
-検索拡張生成ラグが注目されるようになった理由は、昨年頃から注目された背景に、長文のプロンプトが入れられるようになり、ラグの必要性が少し下がっているとの見方があるからです。
AIのウェビナー支援で使われている生成AIのサービスとは何ですか?
-AIのウェビナー支援で使われている生成AIのサービスは、メディアリンクという会社の製品で、ラグを用いたサービスを提供しています。
ジェミニやクロードなどの他のサービスが提供する機能と比べて、ラグの特性とは何ですか?
-ラグの特性は、外部から適切な情報を与えることができるという点で、ジェミニやクロードなどの他のサービスとは異なります。これにより、最新の情報を常に追加し、学習されていない範囲外のデータも回答に組み込むことができます。
セミナーで話される内容の流れについて教えてください。
-セミナーの流れは、セミナーの目的と流れの紹介から始まり、ラグとは何かという基本的な概念の説明に移ります。その後、ラグの進化とコンテキストウィンドウの拡大について議論し、最後に質疑応答を行う予定です。
検索拡張生成ラグが注目されるようになった時期はいつですか?
-検索拡張生成ラグが注目されるようになったのは昨年頃からで、特に昨年末のジェミニの発表以来です。
Outlines
😀 セミナーの目的とLAGの必要性について
セミナーのタイトルは「で今日のセミナーのタイトルなんです,けれどもまラグは本当に必要かということ」であり、LAG(検索拡張生成)の必要性とその影響について解説する予定です。昨年末に注目を集めたジェミニやクロードなどの発表以来、ラグは注目を浴びていますが、不要になる可能性も指摘されています。今日は、AIウェビナー支援の担当者が、プロダクトで使用しているラグについて語ります。
😉 ラグの基本的な説明と進化
ラグとは、レトロスペクティブとジェネレーションを組み合わせたもので、外部の知識ベースから情報を検索し、生成を行うことができます。IBMの論文で初めて提唱されたとされており、最近はAIのフレームワークとして注目されています。ラグは、LLM(大規模言語モデル)の能力を拡大させる仕組みで、最新の情報にアクセス可能であり、ユーザーが情報を確認しやすいという利点があります。
😃 コンテキストウィンドウの拡大とラグ
GPTなどのLLMの入力文字数の制限があり、長文の扱いが困難でしたが、ラグの登場によりこの問題が解決されています。昨年は多くのサービスがラグを活用してリリースされ、特にGoogleのジェミニが大きな文字数の扱いを可能にしました。ラグは、入力文字数の拡大の流れと共に注目されています。
😁 ラグ不要論の議論
文字数の上限が拡大するにつれて、ラグが不要になるという意見が登場しました。ラグ不要論は、文字数を増やすことで必要な情報の全てを含めることができるため、ラグでのピンポイントでの情報提供は不要になると主張しています。一方で、ラグが必要なという意見も持ち続き、情報の精度やコスト面での利点が指摘されています。
😄 ラグの適用とサービス構築
ラグは、サービス構築において重要な役割を果たしています。文字数の上限が拡大された場合でも、ラグは情報の精度を保証し、コスト効率を向上させることができます。ラグを使用することで、AIサービスはより高度な機能を提供し、ユーザーのニーズに応えることができます。
😅 ラグの運用と課題
ラグの運用には、検索精度と生成精度の2つの変数のコントロールが求められます。ナレッジデータの作り方やプロンプトの作成方法など、ラグを効果的に使用するためには技術的なスキルが必要です。また、ラグが完璧ではないことが認められており、最適な活用方法を見つける必要があります。
😆 ラグの活用事例と今後の展望
ラグは、AIサービスの中で重要な手法として位置づけられており、今後も必要不可欠であると見ています。具体的な活用事例として、ナレッジデータの整備や、検索手法の見直しが挙げられます。また、ラグの仕組みを自社で構築することで、チャットボットなどのサービスをより効率的に構築することが可能となります。
😍 ラグの適用とサービス構築の詳細
ラグを用いたサービス構築では、ナレッジデータの投入方法やチャンクの切り方、そして検索手法の最適化が重要です。QA形式のデータがチャットボットに適しており、検索キーワード的にデータを整えることで精度が向上します。また、プロンプトの最適化もサービスの質向上に大きく寄与します。
😉 ラグの適用範囲と注意点
ラグは、インストラクションに入れるものと入れないものとの境目が曖昧な場合があります。サービス構築においては、プロンプトやナレッジデータの活用方法が重要で、検索手法の見直しが必要です。また、セキュリティとプライバシーの観点からもラグの管理が求められます。
Mindmap
Keywords
💡ラグ
💡コンテキストウィンドウ
💡ジェミニ
💡クロード
💡チャットGPT
💡AIのフレームワーク
💡テキストの入力と出力
💡オープンソース
💡マルチモーダル
💡ハイブリッド手法
Highlights
今日のセミナーは「コンテキストウィンドウの拡大がラグに与える影響」というテーマで行われました。
検索拡張生成ラグ(Retrieval-Augmented Generation)は、昨年から注目され、新しいモデルが続々と発表されています。
ラグは、外部の知識ベースから情報を検索し、生成することで、AIの回答質を向上させる仕組みです。
IBMの論文によると、ラグは2020年にFacebookが初めて発表し、その後AIのフレームワークとして注目されています。
ラグの仕組みを使わない通常のLLMは、自分の学習データから回答するのに対し、ラグは外部情報も活用できます。
ラグの利点として、AIの回答品質の向上、最新情報へのアクセス、ユーザーへの情報提供の迅速さが挙げられます。
ラグは、AIの再学習コストを削減し、新しい情報を取り入れやすくする強力な手段となります。
近年のAIサービスでは、入力できる文字数の上限が拡大し、ラグの必要性に対する議論が活発化しています。
Googleのジェミニやアロピックのクロードなど、他のLLMサービスも文字数の上限を拡大し、ラグとの差異が小さくなります。
ジェミニ1.5モデルは最大100万文字まで対応可能と発表され、ラグ不要論のきっかけとなりました。
ラグ不要論では、文字数の上限が拡大されることで、ラグによる情報の切り取りが不要になると主張されます。
一方、ラグ必要派は、情報の抜け落ち問題やAPIの重量課金によるコスト問題を指摘しています。
ラグは、AIの生成に対する精度と生産性を向上させる効率的な手法であると、個人的には評価されています。
ラグの適用状況や管理方法は、セキュリティとプライバシーの観点から重要視されるべきです。
今後のSNS法規の成立が、ラグの管理にどのような影響を与えるかは未明確ですが、注意が必要です。
検索と生成の違いを理解することは、ラグが効果的に機能するために重要です。
ナレッジデータの投入方法やプロンプトの最適化は、ラグの精度に大きく影響します。
チャットボットの活用でラグが整理だという意見は否定的ですが、適用の最適な形を見つけることが求められます。
Transcripts
で今日のセミナーのタイトルなんです
けれどもまラグは本当に必要かということ
でまコンテキストウンドウの拡大がラグに
与える影響とはというタイトルでやって
いくんですけれどもえま検索拡張生成ラグ
と呼ばれているものが昨年頃からですね
すごく注目されていてで昨年末えジェミニ
の発表があったりですとかま最近でも
クロードがまた最注目新しいモデルでです
ねされている影響等もあってまこの長文の
プロンプトが入れられるようになってきて
えラグのがですね少し下がっているんじゃ
ないかとかま不要なんじゃないかっていう
風に言われることも結構多くなってきたか
なという風に思っていますで今日はその
辺りをあの私の方でですねえ今日まシフト
AIのウェビナー支援のえ担当っていう
よりかはメディアリンクというま私が本業
でやってる方の会社のですねえま
プロダクトでも生成AIのこのまさにラグ
を使ったサービスをやっていますのでえ
この辺りについてお話をしていけたらなと
いう風に思っておりますのでよろしくお
願いいたしますはいで今日はちょっとです
ねこんな感じでノーションでやっていき
たいなと思いますので後ほどまたこの
URL等もえアーカイブ動画とかの概要欄
とかに入れておこうかなと思いますので
よろしくお願いいたしますでえっと今回の
はい概要ですが今話した通りですねまラグ
の基本的な説明からま現状と今後について
までえ少し基本的な内容もかなり入ってき
ますけれどもま今後の考察とか私自身の
考え等もですねお伝えできればなと思って
ますで今日の流れはま4点ねえセミナーの
目的と今日の流れの紹介あとまラグとは
何か基本的なま概念との説明ですねでラグ
の進化コンテキストウドの拡大えラグ表論
え一論というところで話をしていきます
はいでまず1つ目え今日のセミナーの目的
と今日流れですけれどもまGoogleの
ジェミニであったりですとかアロピックの
クロードですねチャットGPTのまGPT
モデルよりも比較的長いテキストを入れ
られるようなllmがですねたくさんこう
サービスとしてリリースされ始めています
でその中で改めて検索拡張生成ラグが必要
なのかまそうじゃないのかっていう考える
きっかけを是非皆さんにですね提供したい
なという風にえ考えて今回のえテーマを
企画しておりますでまたまラグについてえ
意外とですね知らないとかなんとなく
雰囲気は分かってるけれどもそんなに
ちゃんと見たことがない知ったことがない
とかですねえそういった方もいらっしゃる
かと思いますとで基本的な理解を深めて
いただくためにも今日のセミナーを企画さ
せていただいたというところになってあり
ますで本題のところですねまずはラグとは
ま何かということで基本的な概念とか考え
方の説明から始めていきますまずはラグま
これはもう大丈夫かなと思いますがえ
レトリーバオグメてッジェネレーションと
いうことでまこの頭文字を取ってですね
通称ラグという風に言われているものです
ねでラグはま外部の知識ベースナレッジ
ベースからですね情報を検索するという
こととあとはまを生成するというところ
この2つでですね合わさってできているえ
単純にllmをえどう使いこなすかてより
かはですねえ新しいまAのフレームワーク
みたいな風に言われることが結構多いです
ま検索と生成を掛け合わせたものがまラグ
であるという風にイメージをいただければ
と思い
ますでラグについてちょっと私もこれあの
当時から知ってたわけじゃなくですねえ
このラグについて調べていくとまIBMの
あのブロとかブログとかがくるんですがま
そ中でもあの語られていうものとして
2020年にえ今のメタね旧
Facebookがま論文で発表したのが
どうやら最初であるという風に言われてい
ますでこれはまちょっと細かい部分があり
ますので興味のある方はあの是非この後
ノーション共有するんで見てもらえたらな
という風に思っておりますがま事前学習
済みのまプリトレインドモデルまいわゆる
もGPTのとこですねあれいったような
あのllmま学習済みのllmのところを
えさらに能力を拡大させるようなあ形でま
このラグという仕組みが発表されたという
のがどうやらあ以前あったことのようです
でただ当時私もあのチャットボットまAI
型とかですねシナリオ型とか言われてる
ようなサービスをやったりしたんです
けれども当時まあんまりこのラグっていう
のはそんなに話題議論でおそらくなって
なかったんじゃないかなと思いますしあの
AIのベンダーさんとかと会話する機会と
かも結構あったりしますがあその時もこう
ラグっていうワードを聞いたことは正直
なかったのでチャットボットの業界にいて
もですねそんなに知らなかったのでまAI
の界隈の方の中ではもしかしたらご掃除の
方もいらっしゃったのかもしれませんがあ
あんまりまチャットボットとかていう
ところで言うとそんなに重要されてい
なかったように感じ
ますで実際にま通常のラグとえあそうです
通常のllmとラグの違いみたいなところ
で言うとま通常のllmの使い方っていう
のはま単なる試験だ普通の試験と一緒です
がラグを使うとAIからすると教科書持
仕込み型で試験をしてるような感覚って
いう風に例えられることが結構ありますま
こういう例え話をされているえベナーさん
とかも割とたくさん見ますがまllmは
単純に自分の学習者データの中から回答
するまそういうえ試験というかまそういう
問題解かせているような形ですがラグに
なると外部から適切な情報を与えることが
できることになりますので単純にテストを
やるじゃなく教科書を持ち込んでテストを
受けるようなまそんな感覚に近いのかなと
いう風に思ってます
でそんなラグなんですけれどもま利点とし
ていくつか上げられるものがあるかなと
思っておりましてまずはですねやっぱり
llmの回答の質クオリティを向上できる
ということでま単純に制度を上げられます
というところが1つ目ですねどうしても
llmの場合ですと学習した時点の情報を
元に回答するとアウトプットを出すという
ことになってきますがえこのラグの仕組み
を使うことによって外部にデータを置いて
おき検索して生成するということができる
ようになりますのでえ新しい情報を常に
追加していくこともできますし学習されて
いない範囲外のまよく言われる車内の
データとかですねそうしたものも回答に
組み込んでえ生成させることができると
いうところが1つのポイントになり
ますで2つ目が最新のま信頼できる事実に
アクセス可能ということでまこことかなり
被る部分ではありますがあまよくこれは
Webのブラウジングが出る前に言われて
いた話ですねチトgpdで途中からあの
Webブラジ機能が出たりとかあのビング
のAIが登場してきたりとかま当然
Google最初からついてましたけども
まそうしたものが出る前まではですねラ
グってやっぱり新しい情報弱いよねとか
2020年までの知識だよねとか言われて
たんですがま当時からやっぱりラグの
仕組みを使うことによって最新の情報を
与えることができるってことをメリットの
1つという風に言われていまし
たで3つ目がユーザーが情報早確認できる
という点なんですけれどもあのまこれも
よくサービスとして組み込まれているもの
ですねえでよく言われる話ではありますが
llmの場合ですとま何が情報源かって
ことを分からない状態でこれが答えですと
あかもそれが本当かのに言われてしまいま
よくこれがハルシネーションという風な
問題で語られることもありますがまえっと
何をベースに回答出してるのっていうこと
ま画像生成AIとかでも多分一緒だと思う
んですがえ情報も何なのってことが
なかなか特定できないというところがま
あるうち問題になってしまうとただラグに
おいてはえ情報を外部から検索して与え
るってことをプロセスとして行っています
ので何の情報を参考にしてるよってことを
ユーザー側に提示することができますなの
で明治的にこの回答はこの引用元の情報に
従って回答出してますよっていうイメージ
になるのでま結構そうですね検索してって
いうとこだとビングのAIとかまパープ
エキシティとかあの辺と結構近い考え方
ですねまあれもちょっとまラグといえば
ラグになってくるかと思いますのでま
そんなところが1つのポイントですで最後
4つ目意外とこれは注目されていないかも
しれませんがllm今オープンソースとか
も公開されていたりですとかあ例えばイダ
さんとかからくさんとかあとはま東海大学
さんとかだかなまいろんなところが今あの
独自に開発をされたりですとかオープン
ソースを自分たちでえカスタマイズしたり
とかですねえ新しくデータを追加して学習
させたりとかまいろんなことやってると
思いますがま莫大の費用は当然かかります
しえ新しい情報取り入れたい時に常に再
学習をしていかなければいけないかつ学習
したからといって制度が上がるわけじゃ
なくですね学習データの内容によっては
制度が下がってしまうということもえ開発
においては発生してくますこうした再学習
のコストであるとかま手間ですとかまそう
したところをですね削減できるまそもそも
これをしなくていいというところがラグの
結構ま強いメリットの部分じゃのかなと
いう風に思ってますなので私個人としては
近い将来え1社え会社がですね1社あたり
1つの独自のllmも持っているみたいな
あの一家に1台車があるみたいなですね
状態で一社に1台独自llmを持っている
みたいなことがあ近い将来やってくるん
じゃないかなと思ったりもしているものの
実際にはやっぱりそこまでにいろんな費用
的な面とかリソースの面の問題もあります
しえまこういうスキルセットを持った方を
車内で確保できるまでになかなかあすぐに
はいかないかなと思いますのでまそういっ
た面でもですねラグにおいてはま企業での
導入でとかあ何か個別のタスクにおいて
特化した回答制度を上げたいモデルとか
ですねこの辺りに関してはかなり重要度が
高いと言いますかあの注目できるところな
のかなという風に思っておりますはいここ
までがですねまラグの利点であるとかえ
ラグの基本的な概念知識についてですねお
話をしてまいりまし
たまこんな感じでどんどん進んでいきます
が続いてがllmの進化とコンテキスト
ウィンドの拡大ということでま今日の
テーマのでもあるまコンテクスト
Windowえま簡単言うと文字数みたい
な話ですけどもまこの辺りの話に入って
いき
ますでまずGPTの入力の文字数とラグと
いうところなんですがはいまラグを活用
する1つの理由としてチットgptmは
文字数あえて今日は文字数って表現をし
ますまコンテクストWindowとかです
ねトークン数とかまいろんなあワードが出
てきてしまいますの統一的に今回はえ文字
数という風に呼ばせてください
で例えばチャットGPTの場合ですと文字
数入力できる文字の長さに制限がありまし
てえま出たての頃とかは多分4000文字
ぐらいしか実入らなかったのであんまりま
長文そもそも入れられなかったですしえ
アウトプット出力のところに関してもえま
かなり制限があの効いてしまっていてです
ねえそんなに長文返せなかったりとかて
ことも結構あったかなとで当時からやって
た方はまこういう画面ちょっとこれは
日本語訳したものですけどもま送信
メッセージが長すぎますみたいなですねま
こういうものが出てきてイラっとした経験
が結構あるんじゃないかなという風に思い
ますけれどもえままさにこれがですね入力
文字数の制限というところになってい
ますで入力文字数の制限があるということ
はま大量の情報例えば車内の規定を
インプットしたいとかマニュアルを流し
たいとかえロングを全部流し込みたいとか
ですねそういうものはやっぱできないと
いう風になりますのでまこれを解決する
ための手段としてまラグが最注目されて
知ってるからはラグって別に昔からあった
よねって言われてるんですがまそもそも
ジェネレーションのところの制度も上がっ
てきたということもあり最注目されまして
え特に昨年はですねこのラグを活用した
新しいサービスがどんどんどんどん本当に
えプレスリリースとかPRタイムズで見て
いても毎週新しいサービスがポンポン出て
くるみたいなですね状態になっていました
で私の今本業でやってる方の会社もですね
メディアリンクという会社なんですがえ
昨年の4月にえメディアトークGIという
ええチャットGPTのAPIを使ったラグ
型のチャットボットってものをリリースし
ていますでこちらもあのまさにまラグです
のでデータをインプットしてプロンプトを
与えてその検索した結果に基づいて回答を
出力するということで今までのチャット
ボットのようにシナリオ分岐みたいなもの
を組んだりとかですねボタンを設定すると
かってのはしなくてもえ自分たちが持って
いるデータをですねまカスタマーサポート
の方々ほとんどあの手元に何かFAQ持っ
てますとかえオペレーターのスタッフ向け
のですねえQA持ってますとかっていう
ケースもあるのでまそういったデータを
慣れとして使ったりとかえ規定マニュアル
類をPDFファイルを登録したりとかです
ねそういう風な形で構築ができるサービス
を去年リリースしていますでまだ数は多く
ないんですがあのいろんな企業様にですね
使っていただいて徐々に成果も出始めてき
ているというところであの同じようにあの
サービスをリリースしている会社さんがま
昨年はこのラグの仕組みを使うという
ところが非常に多かった1年だったなと
いう風に振り返ると思います
はいそんな中で入力文字数拡大の流れと
いうところですけどもまGPTえ私の記憶
で最初はま4000文字ぐらいから始まっ
てえま8000文字とか
3万2000円の11月のデブDayの
発表の中で言うとまGPT4のターボです
ねターバが出てえ128Kということで
2万8000円文字とですねまどんどん
どんどんこう長くなってきているなという
ところはあのある一方でま競合のの
サービスもですね同じく拡大をしていると
いうのが今のトレンドになっていますで
今日は2つその中で紹介していきますで1
つ目がまジェミニですねこれ出始めの時に
なんて読むんだみたいなジェミナイて読む
のかジェミニって読むのかみたいな英語
読みするのか日本語読みすんのかみたいな
話ありました今日はジェミニーで統一させ
てくださいでジェミニーの1.5プロと
いうモデルがですねえ2月1月ぐらいに
リリースされておりますはい2月ですね
はいでこちらGoogleはえ昨年末にま
ジミニーの1.0というものをですね
リリースしてえ3万2000円文字という
ことでえままこれぐらいかていう感じでは
あったもののこのジェミ1.5に関しては
ま最大で100万文字まで対応できますて
ことでかなり話題になりましたまさに今日
のこのセミナーのテーマでもあるえラグ
不要論っていうものを生んだきっかけとも
言えるかもしれませ
んで発表時点ではまGPT4ターボがあ
最大12万8000円文字とことでま今で
もあの12万8000円文字変わらないの
で現状このままなんですけれども約8倍の
差がありますということでまこんな感じの
ズモですね表現されましたこの後紹介する
クロードとかですね一緒ですあの
めちゃくちゃ多いですところがあったし
はいでえっと研究段階ではもっと大きい
ですねえテストに成功していて1000万
文字ぐらいに行けてますよとかですね
そんなことも言われたりえしているという
のがございますただまビデオとかとかです
ねえ音楽音声とかですねまそうしたものも
えインプットに使えるとかマルチモーダル
のまさに特化をしたところがまジェミニー
のこう1つ特徴なのかなと思いますがま
今日はあくまでも実数のところだけえ拾っ
ていきますけどもかなりこれで長文の
プロンプとが入れられるようになったと
文字が入れられるようになったというのが
非常にニュースになった話題になった
ところでござい
ますで続いてがアンソロpiic車のです
ねクロード3というところになります
けれどもソルピックも最近はあのよく聞く
ようになりましたがま去年とかもえクロド
2.0とかですね2.1とか色々発表して
たんですがまOpenAIの元メンバーが
ですね設立をしたアメリカのAI
スタートアップ企業ですよくまOpen
AIの本当にライバルと言われるようで
感じですねでアスロピックのクロード以前
からまGPTよに長いジス入力できますっ
てことは結構ま売りにしていたんじゃない
かなと私としては見ていますけれどもえま
クロド2.0の時点でえっと10万文字
ですかねえ10万文字行けますとでえっと
2.1になって20万文字行けますすって
ことでまこの時点でGPT4よりもですね
GPT4ターボよりも長いという風になっ
ていますま2倍までいきますま1.8倍と
か1.7倍とそれぐらいですかねでただ
えっと性能においてはGPT4の方が優秀
だよねっていうところがあり実際私もあの
2.1が出た時にですねえまアプリをこう
Webのサービスとし使ったりしていた
もののま別にGPT4でいいかなという
感覚がああったのを記憶していますで実際
にあんまり使ってなかったっていうところ
はありましたが皆さんもご存知だと思い
ますが今年の3月今月ですねえ発表された
最新モデルのクロード3というものに関し
てはあま20万文字っていうその
コンテクストウンドウま文字数に関しては
あ変わりなくだったと思いますけれどもえ
ベンチマークの評価でえGPT4を上回る
結果になりましたっていうことが発表され
かつ本当かよっていう最初感じはあったん
ですが実際使っていくとですねだから日本
語の制度がどうやら上がってるんじゃない
かなというところがま使ったレポートの中
で各各自というかですねいろんなSNSと
かでも言われていますしまいろんな
ニュースサイトとかでも紹介されている
感じでもしかしたらあの日本語性能が
GPT4よりも結構上がってるんじゃな
いっていうのが言われていますで実際に私
の周りではもうチャットGPT使ってない
よという方とかまGPTそのカスタマイズ
版のGPTですねあれが使ってますよって
いう人はいてもまのもうGPT3.5使っ
てますって人はもほぼもしろ効かないです
しGPT4え普段使いしてますって方も
結構減っているような気がしますで私自身
もついにあのずっと無料版でクローザー
使ってたんですけどもあの課金版の方に
えついに入りましてですねチャットGPT
とまクロードどっちも今有料で使っている
んですが感覚的にはクロードを使うかあの
えっと比率の方が非常に多くなって
クロード7GPT3ぐらいですねなんか
それぐらいになっているような状況で
ございますでこれもたくさんいろんなとこ
に出てたので見た方も多いと思うんです
けれどもまこんな感じでですねえま緑色に
なってるのはこのえオーパスということで
クロード3の未3つモデルがある中の1番
最高性能のものになるんですけどもえ4つ
隣にあるGPT4と比べるとま全ての数字
で上回ってますということが言われてい
たりしておりますあQAのコメントの方で
ありがとうございますはいクロードにほぼ
ご済みですねてことでそうですよねそう
いう方が非常に多いなという風に思ってい
ます実際皆さんどうですかねあのもう
チャットジテ使ってないよなのかあの
クロード使ってますよなのかまいろんな方
いらっしゃると思いますがあのまず使って
ないっていう方に関してはあのクロードの
無料版でもここで言うとこのえソネット
ですねコネットという2つ目のモデルに
関しては無料版でもえ使えるはずですので
え是非こちらも使ってみるといいなと思い
ますあの感覚的には日本語性能いいですし
あと速度も早い気がしますのでえGPT4
よりもなんとなく使い勝手いいなという
感覚がありますはいぜひ使ってみて
くださいはいでえっとどんどんもう先に
進んでいきますが続いてがラグ不要論と
いうところですね
はいま今までえっと文字数がどんどん増え
ていくllmの進化の歴史をまこの1年半
のところ見ていきましたけれどもまこの
ように大量の文字数を一気に投入できる
ようになってきますともうラグっていら
ないよねという人たちが結構出てきました
まこれ結構議論をあのXの中では生んでい
ましたはいで今日はえまよくえ絡ませて
いただいている神楽オタ元木さんとですね
ミボくさんの発信をちょっと引用させて
いただくんですけれどもえま元木さんの
発信で言うとまラグの部分をですね
しっかり解説したええツイートポストに
関してのま引用のま自分でですね引用され
てらっしゃるんですがラグ不要論という
よりかはまラグを意識しなくなるが正しい
と感じるとま見返しててそう思ったそれ
ラグ不要論リもラグ不用論者でいいです
みたいな感じもあってですねえ書かれて
いるんですけれどもえまこんな風に言われ
ていたりとかあとはMIOというえま誰で
も簡単にGPTをま自分でチャットボット
にえしてですね固いてきますみたいなビス
やってるえ方のえ社長さんですけれどもま
美本くさんもまこんな風に語ってますえ
美本くさんはラグを不用という風には考え
ていないという派ですねそんなことない気
がするとでプンとの拡大コスト減少が進む
とよりハイブリッドいうが進むと思う
みたいなことでま独自の解説をされてい
たりしていましたでこんな感じでえっと
AIのサービスを作っていたりとかあ
関わっている方々がですね必要だ不要だと
いうのが割とこの時にですねあったような
がありますま2月は結構そういう話があっ
たな
っでそれぞれの意見をちょっと簡単に
まとめてみ
ますまず不要派です
ねまずラグ不要派は文字数の上限拡大され
続けていくのでま今後もですね多分増え
続けていくでしょうと言われてるので
わざわざラグで情報を切り取ってえ
ピンポイントでAに与える必要って
そもそももうなくなるよねという風に言わ
れていましたあとはこんなですね全部入れ
られるんだったら入れた方がいいじゃんと
ま確かにこれはその通りかもしれないです
ねラグの検索による精度低下がなくなるん
だったらもう全部入れておく方がいいよね
というような話もました私なんかどっか
飛ばした気がするんですがえっとラグと
いうのがですね検索とこの辺ですかねこの
辺飛ばした気がしますが検索と
えこ辺ですねはい検索と生成でえっと
成り立っているものになるんですけども
ちょっとこれは自社のえ資料から一部抜い
たものになりますがこんな感じでイメージ
的はラグというのがえっとユーザーから
質問とかま入力が発生するとま対話AIが
まず問い面にいてまいわゆるベクトル化
みたいな処理をしたりとかですねえそんな
ことやってくれているものがま表面でいて
で裏面では検索するAI君が存在していて
えまデータ検索をこの与えたこでと本なら
の情報を見に行ってええユーザーの質問に
対して最適なえ本を探してどのページの
どのこがいいのかというのを探してきて
結果を中止てしますこれれを裏側でまた
対話AI君渡してあげてで対話AI君は
質問の内容と検索された結果を元に回答文
を作るということで検索するフェーズと
回答を生成するフェーズこの2つにま分れ
ているわけです
ねですの
で仕組み上2つの変数が存在しているん
ですよねこのユーザーの質問に関連する
情報を外部データから取得する検索の
フェーズと取得者情報をユーザーの質問文
と組み合わせてllmの回答を生成する
生成のフェーズですねこの2つが存在して
いますなので検索の制度とですね生成自体
の制度この2つが掛け合わせれて実際の
回答制度というものが生まれてくることに
なりますのでこういうまここで言うと検索
の制度ですねこの制度定価なくなるんで
あればま全部イプとしておく方が安定する
んじゃないかというのも不要論を語って
いる方の1つの理由でもあったし
ます一方で必要派の意見ですねえっと文字
の上限拡大されても情報の抜け落ち問題は
改善されないということでまこれは
ちょっと後ほど解説するんですけれども
文字がたくさん入ってくるとですねAIも
混乱しちゃいますということがあり
ますあとはま回答ですね回答自体に必要の
ない情報までえ毎回送信しちゃうっていう
のは無駄だよねっていうことですね例えば
え何でしょうね利用規約がま例えば何万
文字ぐらいですかね例えば1万文字とか
2万文字とかあったとしてまそれを全部え
システムプロンプトみたいなものの中に
入れておいてですねじゃあ質問回答し
ましょうっていう風にやった時に例えば
面積事項について質問されていますという
際に利用規約の面積事項のえ箇所だけあれ
ばとか回答ができるわけですけれどもえ
ラグ不要論になってしまうと利用規約全部
入れましょう1番文字2字全部入れましょ
うって話になっているので全く関係ない
条文とかもですねえ情報として与えて
しまうことになりますのでそれって無駄だ
よねとで毎回それ別に入れる必要ないから
適切なところだけ抜き出したら良くないっ
ていうのが必要派の意見
ねであとは文字数でAPIの重量課金が
発生するLMサービスが非常に多いていう
ところがありますのでサービスとして
組み込ん場合にコスパが悪すぎるというの
があります2万文字とか100万文字とか
入れられるからと言って毎回100万文字
送信してるとその分コストが都度かかって
しまうというところでコパが悪いというの
が必要派の意見でもありますこのように
ですねまどっちもなんか言ってることが
確からしいなという風に思いますのでま
どちらがいい悪いって話ではないんですが
まこういう今意見が界隈の中で出てきてい
ますよっていうのをちょっと知識として
入れていただけるとよろしいかなと思い
ますじゃ本当にラグは不要になるのかと
いうえ確信的なお話になりますがちょっと
ここだけすいません長いんですけれども
えっと私の個人的なことも含めて書かせて
いただいていますあの皆さんがどう思うか
是非チャットとかですねQ&Aとかでも
結構ですのでえ聞きながらコメントして
もらえたら嬉しい
です個人的にはしばらくはえ必要だと思っ
ていますラグ必要派です私はラグ必要派
です特に私たち者もそうなんですけどけも
えっとllmを組み込んだサービスを使っ
ていく中ではですねえ正直またくさん
ぶち込めからと言って全部ぶち込んじゃう
とてんてんてんというのがですねえ本音の
ところになり
ますでま月額固定料金で利用ができる
チャットGPTとかですね例えば仮に
クロードとかジェミニとかああいったもの
がラグ機能がついたとして自社のデータを
投入できるとかそういう風になったとして
もですま今のgpdsの中でラグ機能
使えるわけですけどもえっと月額固定料金
だったらまあのもしかしたらわざわざ使う
必要もなくもう都度全部ぶち込んじゃえば
いいよねみたいなことは全然ありえるかな
と思っていますまなぜならあの月額固定
料金だからって話なんですけれども一定な
のでコスパを考える必要性が全くなくって
でかつえっと長文を一気に入れても精度が
落ちずにあの精度が担保された状態でえ
やれるのであれば全然まやる意味がない
ラグをやる意味がないのでわざわざ分化さ
れた情報を切り取って与える制度低下に
なるステップをあの踏む必要がないので
あの本当に必要ないと思いますチャット
GPTにおいてはですねなので正直私
チットGPTのGPTとかえ自分の業務
効率化とかのために作ったりとかするん
ですけどもラグ機能はここでは使わない
ですねえ最低でもそのインストラクション
のところに入れられる文字数だけにしてい
て逆にそこに入るものは全部そこに入れ
ちゃうという風な使い方をしていますその
方がなんかいいなと思いますQA
ありがとうございますあチャットが無効に
なってると大変失礼しましたチャットが
無効になってるの
で
はいこれでいけますかねはいあ皆さん
ありがとうございましたはいであとはそう
ですねQAとかでもコメントいただいたり
してますがま必要ですってことで顧客情報
とは必要だと思ってるからですモデルに
用し化されていくと分からないですが
2020年は必要でしょうそうですねはい
必要派の方も結構いらっしゃるなという
ところですねはいあチャットの方も
ありがとうございますあの必要です不要で
すって方非あの書いてみてくださいはいま
そういうことでですねえっと通常のこう
チャットgpdにおいてはラグ機能が仮に
あってま使える状態だとしてもですねあの
有料たは使えますけどまあいらないんじゃ
ないかなと思ってますただしえっと私の
会社でやってるようなllmを組み込んだ
チャットボットとかまそういうサービスを
作ってる場合に関してはま前にお話しした
ようにあの文字数に応じた重要課金性が
あの特にGPTとかもそうですしえ他の
アピックのですねえクロードとかもそうな
んですけれども基本重量課金性なので文字
を送れば送るほど文字を出力すればする
ほどお金がかかっちゃうというものになり
ますで例えばOpenAIのGPT4え
0125プレビューってま最新のあの
モデルになりますけどもえっと仮にこれが
100万文字入れられますとした時に
100万文字をえっと入力しますとそう
いう風になると1回入力するだけで
10ドルま150円換算で1500円ね
1500円かかる計算です1回チャット
ボットに何かをインプットするだけ
100万文字入れるだけでえ1500円
かかりますとでアウトプットの部分にも
課金が発生してますと実際にえ1500円
以上1600円とか2000円とか買って
しまいますというところです1回
2000円みたいな世ですねはいで仮に
これがま企業のカスタマサポートの
チャットボットま私たちこれやってるん
ですけどこれやってると考えるとえっと
例えば月間10万PVぐらいあるサイトに
チャットボット入れますという時に
チャットボットの利用率というのが大体ま
1%とか3%ぐらいのことが多いんですね
普通に設置してるとで仮に1%だとした時
に1%のユーザーがチャットボット使い
ますで1回の利用で3回質問される場合と
するとま3000回ですね毎月チャット
ボットがあ質問をしてされて回答出すと
いう応えがありますで入力分のコストだけ
で毎月450万チャットボットのGPT4
のコストだけで発生しますというとこでま
仮に自社開発をして自社のサイト10万
PVあるサイトにチャットボットを導入し
ました裏ではGPT4の例えばこの
100万持ち入れられるモデルがこあって
今の料金形態だとした時に字入れられるん
でえ全部システムプロンプトに自社の情報
をぶち込んでですねえ質問が来たら回答
するチャットボッドを構築してやりました
という風になるとあらあら大変ということ
でAPIだけで550万買っちゃいますよ
というところになりますで私が知る限り
450万円毎月かかるチャットボ聞いた
ことないのであのどんだけ高価なチャット
ボットでも多分月100万とかえ50万と
か60万とか安いものだと3万円とかあの
1000円とかですね0円とか色々あり
ますがまそういうものなのでえっとかなり
コスパが悪いっていうのはお分かり
いただけるとと思い
ますでまチャットボットだけで例えば
カスタマーサポート業務だとした時には
全ての対応ができてですねもう電話メール
もデロになりますというのであればま
450万毎月だったらま人数計算して
もらえれば分かると思うんですがコール
センターとかカスタマーサポートの
スタッフの人数によってはあの企業規模に
よっては全然ありかもしれませんが
そもそも0になることチャットボットだけ
ではありえませんさっきの1%利用っての
が理由なんですがゼになることありえませ
んのでええチャットボットに毎月450万
かけて年間でま5400まとかま
6000万とかですねかかっていくって
いうのはま普通こういう投資意思決定
できる会社ほとんどないんじゃないかなと
いう風に思っておりますのでなかなか現実
路線はないのかなと思ったりしてますはい
あチャットも質問もありがとうございます
質問のたびにその質問に必要な情報を全て
書き込めてるは普段使いするのは面倒
くさいと思うでそういう場合はラグが必要
かそうですねはいだからGPTで繰り返し
はいやるとかいう時は確かにあのそういう
のはありかもしれませんがそうですねうん
なんか組織で使う場合にはチームプラン
加入してるとかってありかもしれないです
ね個人利用だったらもしかしたらあんまり
ないかもしれませんがまバリオてはあるの
かもしれないですねありがとうござい
ますまとはいいてですけもまこんな感じで
えまあんまりちょっとこスパが良くないの
であんまり良くないなと思ったりしますで
またまラグ必要派であるもう1つの理由が
長文の抜け落ち問題ですねさっきの必要派
のところで書いたことになるんですけど
も2023年の7月に発表された論文が
ありましてえまこちらこれですねはい
こちらになるんですけどもllmに対して
与える文字数の長さで回答制度が大きく
変わってきますということがあの要約する
と書かれてい
ますでこれは当時GPT3.5ターボのま
その6月にあの更新されたモデルでですね
やってた調査になるんですけどもこれ44
系トークなんでえま約4000文字って
ことですけどもこの場合はドキュメントの
あのま与えているってことなんですがたさ
文字を与えていくとですねえこの真ん中ら
辺が抜け落ちちゃいますという問題が発生
してプロンプトの最初の方に書いたことと
か最後の方に書いたことっていうのはあ
指示としては通りやすいま制度としては
あんまり変わらないものになるんですが
真ん中ぐらいに書いたものっていうのが
抜け落ちが発生しちゃいますよということ
が言われたりしておりましたとで実際に
あの私たちのサービスで使ってるユーザー
さんにもこういう話をしてるとまやっぱり
同じような結果が出てくるので抜け落ち
問題はやっぱり長文になればなるほど起き
やすくなってるというのはあったとで
さらにえっとこれなんか面白いですよね
ジェミニが出た時ぐらいに出た論文だった
んですけども2024年2月の論文の中で
言うとま最新版で出ていたllm当時は
まだクロードの3がなかったんであれなん
ですけれどもまいろんなMllmですねえ
検証されていて入力テキストとま水路の
制度みたいなものが入力の長さによどれ
だけ変わるのってもので言うとはいえっと
水色がGPT3.5緑がGPT4で紫が
ジェミニのプロえ黄色がミストラルのえ
70ミリオンですねえでこちらのミクスト
ラルですかねちょっとから間違ってのかな
ミストラルですかなのやつですねままこれ
どれも右肩下がりで基本的は下がっている
まGPT4は下がりが低いですけど右肩
下がりで下がっているのが分かると思い
ますがインプットするこのトークン数文字
の長さがですね文字の多さが増えれば
増えるほど例えば3000文字とかになっ
てくるとかなり精度がま6割ぐらいになっ
ちゃうとですねえそんな風にデータが
分かるのかなという風に思っまそれでも
GPT4が下がりづらいってのがあるの
すごいんですけどもまそれでも100%
ぐらいだったもの
があ80%ぐらいまでやっぱり下がって
しまうというものがありますので基やっぱ
文字数が長ければ長いほどあの精度落ち
ちゃいますと回答精度落ちちゃいます精度
が悪くなりますという風に言われています
でおそらくこれはあのクロードも同じよう
なものがあり得るんじゃないかなと思い
つつ実際触ってるとそんなことないような
気もするんですがちょっとこれ分かんない
んですけども多分長ければ長いほどえ
ピンポイントに何か途中の質問された時に
え正確性にかけていくようなことはあり
得るんじゃないかなという風に思思ったり
しておりますはいま回とちょっと私も要約
した部分があるんで見てみてくださいとで
仮にこれま人間に置き換えてみると当然の
話かなという風に思っていましてえ最初の
方で教科書持ち込み型があのラグですよっ
て話をしたんですけどいくら教科書
持ち込んで受験できるテストだとしてもま
教科書1冊持ち込んでテストを受けるのと
もう要約されてる官平を持ち込んでやるの
では当然まカペが的確であればですねあの
問題を解くスピードも正確性もま生産性も
高いとたくさん量解けますよねという
ところが言えるかなと思いますのでまそう
いう意味でやっぱコスパがいいという風に
言えると思いますなのでまお金費用以外の
面で見てもですねえラグのフレームワー
クっていうのはやっぱり生産性が高くて
効率的な手法だという風に私は考えてい
ますなのでま今のところ不要にはならない
んじゃないかなというのがあ実際に事業を
やってる中でも思うことではございます
ただしえっとユーザー様とユーザー企業様
とですね会話しているとやっぱこのラグの
フレーマーク使う時にはですねやっぱこの
検索の精度と生成の精度2つの変数が存在
してえコントロールするのがやっぱりその
分難しくなってしまいますなのでナレッジ
データっていうのはどういう風に作ったら
いいのとかまデータの投入の仕方とかです
ねあとはプロンプトをどういう風に作って
いくかとかこの辺りのコツがやっぱり
テクニックが必要になってくることもあり
ますしまだまだこの分野新しい領域ですの
でえ研究者とかまロング出してるぐらいの
レベルなのでまが思考錯誤をしてる途中で
正解が何ってのが分からない状態最低機会
がまだ分かっていない状態という風になり
ますその中でナジデータはマークダウン
形式でやるといいよねとかQA形式で作っ
た方がいいよねとかプロンプトってのは
こういう風に作るといいよねとかていうの
をみんなで模索してるような状態になり
ますなのでえっとすぐ不要にはならないと
思いつつもやっぱり運用上でこうやって
難しさっていうのもあるのは事実でござい
ますのでまラグが整理だという風には思っ
ていないですこれが完璧だとは思ってない
ですただは目的とか用途に合わせてですね
とりあえず全文ぶっ込みみたいな感じだけ
ではなくってまラグという手法があるんだ
ということをちゃんと理解しておきかつ
ラグの基本的な仕組みであるが特徴ですと
かそうしたものを理解しておけばあ例えば
会社でAIを使う時とか自分の業務でAI
を使っていく時とか何かサービスを考える
時とかていう時にもまラグという手法が
あってえもしくはま長文のプロモとが入力
できるLA部にはこういう特徴があるとか
論文の中で抜け落ちの問題が言われてい
ますよとかまそういったことをしっかりえ
認識しておけばですねえ活用の最適な形が
見つかるのではないかなという風に思って
おりますはいで今日は1時間でえっと9時
までなので残りの時間に関してはあ
ちょっとま質疑応答もしつつもし時間に
余裕があればですねえ是非私があの担当し
ている事業のメディア特GIIとかのこの
辺で実際どういう風にラグを活用して
サボット運用してるかとか少しテクニック
的な話も含めてご紹介させていただきたい
なという風に思いますしま是非今日は
インタラクティブなあの回という形で
えっと異論とか反論もあればコメント
いただけると嬉しい
ですちょっとお待ち
ください礼しましたちょっと花粉症で今
くしゃみが出ちゃいましたはいっという
ことでですねあのご清聴ありがとうござい
ましたというとこですはいでは少し
コメントとかも拾いながらですねえちょ
時間とか興味が皆さんあればあうちの
サービスのデモとかもしたいなと思ってる
んですがちょっとチャットの方からき
ましょうかねはいえとカペがラグ教科書が
あ情報が全て入ってプロンプトってこと
ですねそうですねあのそんなイメージです
えっとラグはラグでもあの精度上げようと
思うとですねあのただ文章を登録すりゃい
いっていうもんではなくてですねやっぱり
少しAIが読みやすい形に形式を整えたり
ですとかする必要が制度を上げる上では
ありますあのおもちゃみたいなチャット
ボット作るんであればただえデータ
ぶち込めばすぐにできるんですけどもあの
ちゃんと業務として使っていくとかあお
そうに公開するとかっていう運用になって
くるとある程でば形を整えるっていう
ステップはあ必要不可欠になるかなと思い
ますのでえまそれがカペみたいにちゃんと
整えられているものっていうそういう
イメージですね
はいであとはQ&Aの方いただいてます
ねセキュリティとプライバシーの観点です
ね今後のSNS法規性えが成立した時の
ラグの管理はどう影響してきますか
ちょっと私SNSの放棄性のことが
あんまり分かっていないんです
がべ
てSNSの大きって何
だろうこれちょっと分からないのでご質問
いただいたえっと村山さんですかね村山
さんあのちょっともうちょっと教えて
もらえたらごめんなさい嬉しいです逆に
ラグの管理どう影響してきますかどうなん
ですかねセキュリティとプの観点まあの変
にデータを突っ込んじゃえるっていう
ところまこれは別にラグだからってわけ
じゃないと思うんですがそこら辺はま
いろんな別な問題がやっぱりありますよね
あのちゃんとそそれこちゃんと教育とかを
していかないとあの自分のデータじゃない
のに
えとりあえず突っ込んじゃってとかそれが
何かあの万が一ですけどなんか漏洩して
しまうとかですねえ悪い使い方されて
しまうとかってことはま問題ではあります
よねはいでチャットでそもそも生成と検索
の違いが理解されていないケースが多い気
がしますいやそうですよね社内講義してい
ても受行者がチャットgpdを検索
エンジンやWikipediaと勘違いを
していてその違いを解くのが難しいです
根本の理解があった始めでラグが生きて
くると思いますよ本当その通りですよね
これ本当その調理ですよね共感しかない
ですあの私そういう時にですねなんか元々
はごめさうちの資料なっちゃうですけど
サービス紹介資料で割となんかその
システマチックな
こんな回答生成の仕組みですみたいなもの
ですねえ最初はやってたんですけど
やっぱりなかなかリテラシーが高くない方
とかまさにそのチャットGPTを検索
エンジンとかWikipediaみたいに
使おうとしてる方からするとちょっと
あんまりよくわからんというのが言われる
ことが多くてですねそれで先ほどえお話し
た時にお見せし
たこういうちょっとめちゃくちゃ感想にし
たものを作ったんですねでこれでま質問が
来てでチャットGPTみたいな喋るAIと
えあとはまこれもIBMのサーチとかでも
いいんですけどもえま検索するAIとま
GoogleでもいいですねGoogle
がいますとChatGBGoogleがい
ますみたいな状態でGoogleは
Googleのあの見れる範囲内の
ウェブサイトを探しに行ってChatGP
でチャット喋るのが専門なんですとかです
ねそんな風になんか説明してあげるとあ
そうなんだとラグってえ喋るAIと検索
するAIがいるんだとで普段使ってる僕
たちが使ってる@GPTってのは喋るAI
だから喋るAIの頭の中でしか会話でき
ないんだねという風なことが分かって
くれることが多くなりましたなのであえて
この登場人物を2つのAIエージェントが
いますよというような見せ方をして
いただけるともしかしたら社内の講義とか
よくリテラシがない方とか説明される場面
でもあの役に立つかもしれませんのでもし
よければなんかそういう説明の仕方をして
みてもいいんじゃないかなと思ったりもし
ております
ありがとうござい
ますチャットと質問あチャットあ
ありがとうございますてことではい是非
使ってくでちょっとじゃあこの
まんま今日このリンクもよいしょここに
入れときます
ね多分ノーションのリンクこれ見れると
思うので
えしばらくは多分公開しておくと思います
のでこの中にさっきの画像も入っているの
とあとラグについての説明で言うと
ちょっと今日は使わなかったですけどあの
野村早見さんのYouTubeで紹介され
てるラグの説明とかも結構丁寧にあの
分かりやすくアニメーションで紹介されて
たりとかしましたのでえまこういうのも
もしかしたら研修で使ってみるのもいいか
もしれないですねあともうちょっと
マニアックな視点というかそういう視点で
言うと今日の説明の中でもこのIBMのお
話させてもらいましたが
あ多分ラグで検索と最初にこれ出てくるの
かなSEO1位だと思うんですよねそう
ですよね地位に出てくるんですけどこの
辺りから結構営業資料作ってるだろうなっ
ていうベンダーさんもよく見かけますので
あのなんかそういう意味でもスタンダード
としてえ見てみるのもいいかもしれません
はいこIBMのやっぱりその全文検索とか
その辺結構強かったりしますのでまさに
このラグの部分で言うとIBMのサーチの
仕組みを活用されるっていうのも割とあり
なんじゃないかなという風には思ったりし
ますちょっと鼻をますねすいませ
んはいすいませんお待たせしましたこの辺
も是非見てみて
くださいはいでQ&AQ&A書いてますね
よいしょはいえっとラグとMyGPTの
活用の境界線はどの辺りにあるのでしょう
か個人でMyGPTをいくつか作っており
最近関係者にGPを共有していますラグを
使ったことがなくMyGPTを使い続けて
ラグへどのような情報にえになったら状況
になったら切り替えるべきなのかその基準
を知りたいなと思いましたありがとう
ございますGPTいいすよね便利だと思い
ますメにとますでラグのそうですね
使い分け
え変な履歴がなければいいんですが
例えばチャットGPTの場合だ
と私もいくつかMyGPTなんか作ってま
こう言い方を柔らかくする絵とか色々作っ
てるんですけど例えばえ多分これはラグで
やったの
かこれはラでやって
ないですね慣れち入ってないですもね楽で
やってないですえっと境界線で言うと多分
私ここどこまで入れたことあるって言わ
れるとちょっとあんまり入れたことないん
でわかんないんですがこれぐらいの文事業
だと全然このインストラクションに入っ
ちゃうんですよねこれ利用規約なんですが
入っちゃうのであのここの
インストラクションに入る文料なのであれ
ばラグを使わなくていいけれどもここに
入らない文料がある例えば論文を全部
入れるとかですね多分入らないはずです
そういう場合にはここで言うとナレッジ
ですよねナレチっていうところでアロード
ファイルをしていただいてデータを挿入
するというような使い方で入るか入らない
かっていうのが1つの基準になると思い
ますで基本的にえっと入るんだったら入れ
た方があのモラ的に回答しやすくなります
のでえ入れておく方がいいと思いますが
GPTの場合はそんなに多く入らないはず
なのでえ多分あんまりたくさん入れても
ですねそこまで精度落ちないんじゃないか
なという風には思いますがまとはやっぱり
抜けちゃうこともあったりしますのでそこ
ら辺で考えてもらえるといいんじゃないか
なという風に思い
ます結構うちのユーザーさんとかだとあの
Q&Aだけでえっと1万件ありますとかあ
2万件ありますとかって方もいらっしゃる
そうするとまいかにあのここにですね
たくさん入れられるとしても多分入りきら
ないはずなのでえそういう時はやっぱり
ラグの仕組みここでうとナレッジ機能です
ねGPTだとこれを使うのがよろしいん
じゃないかなという風には思います
はいあとは質問がチャット質問ちゃんとき
ますねはいえっと車内でラグを用いた
チャットボット同人を実施していますが
現状制度として自の利用が難しい状況です
と私は業務チームの推進担当として役割を
担っておりえ参照ドキュメントや
プロンプトの最適化を実装しておりますが
実施しておりますが正解見てない状態です
感覚ではありますが参照ドキュメントや
プロトの問題ではなく検索手はチャンクの
サイズの切り方に問題があると感じてます
技術観念は詳しくなく今後の詰め方は
難しいのですが今後の状況踏まえて工場の
ポイントやこつを教えていただけます
でしょうかありがとうございますま何で
やってるかにりますけどそうですね検索の
手法とチャンクの切り方はめちゃくちゃ
重要ですめちゃくちゃ重要ですでそうすね
ちょっとじゃあそこの話しましょうか
えっとえっと正直ですねプロンプトは
そんなにです正直ねプロンプトなんとか
するぐらいだったらあのいいモデルをやっ
た方がいいですで私とかの場合はこれ
ぐらい書いてますねで基本的にはうちの今
サービスGPT3.5かGPT4だけなん
ですがえやっぱり3.5よりもやっぱ4の
方がいいのは間違いないのでプロンプトレ
頑張ろうってよりかはいいモデルに上げる
要はお金を使う方が圧倒的に精度上がり
やすいコスパがいいですクロも少ないです
なので今だとクロードのあのオーパスとか
ですねソネットとかハクとかあの辺の
モデルを使えるようにしようかなという風
に内部で検討してるところなん多分それに
よってもだいぶ精度変わってくると思い
ますただプロンプトはあそんなにえ重要で
はないと個人的には思っま重要なんです
けどそんなに重要じゃないと思っています
でえっと制度向上に関しては
やっぱりこの検索AIの
お部分ですねここで言うとでここが
よいしょじゃ
ない
はいこの資料では単純にまそのいわゆる
cos類自動って言われるえデータベース
なれえっとベクトルデータベースのお
ベクトルの値をユーザーからの質問分の
ベクトルの値と計算をして類字度が1番
高いものをえピックアップするっていう
ような図になってるんですけどちょっと
社外避はなかなか言えないんですが実際に
はやっぱりこれだけだと難しいですcos
類事だけだといい情報マッチできないです
ですので別な検索地方例えばキーワード
マッチングとかもそうかもしれませんし
最近だと検索結果を再度えAIまllmに
えっとランキング付けを再度させてえ1番
重要度の高いものを再評価させるとかって
いう手法がまリランとかリランキングと
かっていうのがあったりするんですがま
そういうことも言われてたりしますので
単純なルジ計算だけの仕組みだとちょっと
難しいっていうのはその通りなので検索
手法の見直しは必要だと思いますでもう1
つがえっとナレッジデータですねここで
言うと投入するデータのえっとチャンクの
切り方って話がありましたがチャンクの
切り方だけじゃなくどういうも形式で
入れれるかってのは結構大事ですで例えば
先ほどのgpdsでお見せしたようなま
こういうまこれはドキュメントですよね
ドキュメントなんですけど利用規約みたい
なこれをこの
まんまナレッジデータにしようと思うと
おっしゃっていただいたようにチャンクと
呼ばれるまどこで区切るかぐらいの話に
なっちゃうんですねで機械的にやろうと
すると例えば300も術に区切りますとか
え500も術区切りますとか機械的に
区切って例えばここまで区切りましたで次
のチャンクはこっからここまでですとか
ですね中途半端な区切りになってしまう
ことがありますので仮にこれこのまんま
使うにしてもちゃんとやっぱり上ごとにえ
条項ごとに分けるとかってことはした方が
いいです間違いなくでチャンクのサイズに
関しては確か500文字前後までがあの
最適と言われてるのでえ短すぎず長すぎず
500文字前後で切るのがいいと言われて
います
でもしかしたら皆さんの期待外れの回答か
もしれませんが私たちのおすめとしては
これ実際うちのチャットボットに使える
データの形なんですがやっぱりQAの形に
しておくのが最も制度がやっぱ出せます
チャットボットの場合ですとチャット
ボットの場合ではチャットボットの場合だ
とユーザーは質問してきます質問してき
ますでナレッジデータがもしさっきの
ドキュメントをただ切っただけのものだと
するとユーザーの質問分文章の類字とえ
文章ベクトルですね文書のベクトルとこの
利用規約上の文字列のベクトル比しても
近いものは必ずあるとは言えませ
ん例えばうん何
か料金等とかもそうかもしれですねえっと
この料金えこのサービスの料金はいくら
ですですかみたいな質問があった時にそう
いう文字っていうのはそもそもここには
存在してないですよねでもあと元のデータ
はちゃんとこう条文みたいな書方されてい
ますいう風になるとどうしてもルジの値が
そんなに上がらないっていうケースが発生
します質問分で使われてる言葉とナレッジ
データに入ってる言葉が違うからってこと
ですねちょっとややこしいですなので結局
のところはえっと検索キーワード的にです
ねやっぱり引っかけるためのワードが上に
ないと精度が高まりにくいで狙ったところ
に落とせないっていうのがありますので
やっぱり休A形式でデータを持たせる形が
1番いいですでそれがちょっと難しい
よっって話なんであればえっとやっぱ
チャンクの切り方の話になってくるのでえ
ちゃんと条項ごとに切るとかあとはAIが
やっぱりマークダウンとかあのそういう
形式の方が読みやすいってのがありますの
で1回まデータをあのそれこそクロードと
かに入れてマークダウン形式に出力し直さ
せてえデータベース化するとかですねそう
いう方っていうのが結構必要あの重要に
なってくるんじゃないかなという風に思い
ますはい回答になってれば嬉しいですはい
じゃまた次の質問に行きましょうはい
インストラクションとナレッジで賄える
文字数の情報であればMyGPで対応して
いいとことですありがとうございますそう
ですねはいえっと字数がはい
インストラクションで入るんだったらもう
それでいいと思います入らないんだったら
ナレッジデータにしちゃうっていうのが
あのいいと思いますgpdsで使うんで
あればはい
いうとこですねはいあとはチャットですね
あチャットの方で質問いただいてます長い
目で見るとコスト目を考えるなら
プロンプトより新規サービス試した方が
結果的にはいいということですかえ
ありがとうございますちょっと難しいです
よねロを試した方がいいのか
うん新規サービスの
うんプロンプとを試すま何を出力させたい
かによりますよねあの私がやってるような
サービスっていうのはチャットGPTの
学習データに入ってないことをどう回答さ
せるかというまず大前提がある中なので
プロンプトだけでやっぱどうしようもない
ところがあったりしますしえ先ほど
の例で計算例でお見せしたようにですね仮
に全部ぶち込めとした時にやっぱコスパが
悪いんですよね圧倒的にも本当に一応と
1500円のチャットボトってやばくない
ですか普通に考えてまやばいと思いますよ
ねめっちゃやばいと思いますあのうちの
サービスだと3万円とか10万円とかで
月額やってるんですが本当にこれだけでも
あの450万とかまそこまでいかないにし
ても100万とかかかれるとただGPT
使ってるだけなのに100万かかると結構
やばいと思いますんでえちょっとコスパが
悪いと思いますなんでラグの仕組みを自社
で構築してチャットボットを使われるで
あったりですとかま我々みたいな会社とか
そういうもうラグの仕組みもう最初の
フレームワークは最初からですですねえ
サービスに組み込まれてるようなもので
えっと自分たちがやりたいことができそう
なサービスを導入する方が多分簡単かなと
は思いますねはいでプロンプトだけでどう
にかしようてのは結構やっぱしんどい話な
ので検索の手法さっき入出たようなデータ
の作り方あとはもちろんプロンプとの組み
方この辺りも非常に重要になってまいり
ますま参考まで
に者のようなサービスですとこんな形で
えっとナレッジデータという画面があって
ですねこの中でExcelで投入するとか
PDFで投入するとかま色々あるんですが
私の場合はGoogleスプレッドシート
の連携の方式にしていてえっと自社のLP
とかに使ってるチャットMODは全部ここ
でえ入れてます今150個ぐらいQA入れ
てますけれどもまこんな感じで作ってます
でここで作ったナレッジデータを例えば
チャットボットで言うとチャットボットの
設定の方ですね
はいこっちで参照データ名っていうところ
さっき登録したナレッジデータみたいな
やつを何を使うかってのを紐付けています
で使うモデルをどれにするかを決めてで
最終的にプロンプとですねはいまこの変数
の中にこれ変数なんですけど中にはま同的
にちょっと情報が変わるようになっていて
ユーザーからの質問文が入ってきたりとか
え質問文とこれはアンサーなんでさっきの
ナレッジデータのQAをえここに挿入する
みたいなものになってるんですけどまそう
いうの仕方の関してもえマッチ度が1番
高いよ2番目に高いよってのはあえてえ
明治的にプロンプトにも記載をしてたり
するんですがまこんな感じぐらいなので
プロンプターは正直そこまでえ今日ご参加
いただいてようなリテラシの方々では
難しくないレベル感かなという風には思っ
たりもしております参考
まではいじゃ残り2分なんで今QA来てる
のでそれぐらいで終わりましょうかはいで
質問分が長い場合も類自動出すの出すのに
使う文章は質問文そのまま使うのでしょう
かえ長い文が入ったらその内容を質問文に
分けて分けた文章ごに理測った良かったし
ないかなあありがとうございますこの質問
文をそのままベクトルにするのか1度
llmにえ質問文からクエリを生成させる
検索ワードを生成させるというようなやり
方2種類ありますでそのままやるんじゃ
なく検索クエリに1度
え生成整形してですね検索クエリを
データベースを検索するものに使うという
やり方もあったりしますどっちもパターン
はありますのでえっとこの辺りはもし
サービスの導入をされる時にはどっちの
形式使ってるのとかってのも考えてみても
いいあの聞いてみてもいいかもしれない
ですでどっちがいい悪いってよりかこれ
データベースとな相性みたいなところにも
なるのでデータをどう作ってるかとその
そのままベクトル化したのか検索クエリー
を生成してからルジ測ってるのかこの辺の
相性にもよりますのでえっとそれぞれ点で
考えるとはあの線でしっかりと結んで考え
て運用していくのがいいという風には思っ
ておりますので参考にしてみて
くださいということでえっとたくさんご
質問等もいただいてえっとほとんど回答は
させていただけたかなと思いますが
ちょっともしかしたら一部え欲しい回答と
違ったなんてこともあるかもしれませんの
その時はあの個別にまたご連絡いただい
たりとかしていただければと思いますあの
Xとかもやってますしあのメディア
TalkGIIっていうサービスですねえ
こちらやってますのでWEBからお問合せ
いただいても結構ですのでえもしもう
ちょっと引いてみたいとかあればご連絡を
お待ちしております最後にじゃチャットに
専念だけサイトのリンクだけ送っておき
ますチャットボットボイスボットメール
ボットaifAQ検索ページと4つ
サービスやってますのでもしよければご覧
になくださいということでえっと今日は
ですねラグについてとコンテキストウンド
の拡大がラグに与える影響という話をさせ
ていただきましたまたあのこういった
テーマ興味あればですねえリクエスト
いただければお話ししたいなという風に
思いますのでまた是非よしお願いいたし
ますじゃ今日はあの祝日の夜えお忙しい
時間帯なくご参加いただきまして
ありがとうございましたまた是非よろしく
お願いいたしますそれでは失礼し
ます
Ver Más Videos Relacionados
最近よく耳にするRAGって何?社内AIチャットにおけるデータ連携の仕組みを解説
RAG From Scratch: Part 1 (Overview)
RAG Evaluation (Document Relevance) | LangSmith Evaluations - Part 14
GraphRAG: The Marriage of Knowledge Graphs and RAG: Emil Eifrem
RAG Evaluation (Answer Correctness) | LangSmith Evaluations - Part 12
Adding Agentic Layers to RAG
5.0 / 5 (0 votes)