LangChain Indexing API - Update your Embeddings SURGICALLY!

Summary

この動画は、リンクチェーンインデックスAPIの紹介とその大きなアップデートについて説明しています。このAPIは、ドキュメントの変更を追跡し、変更されたドキュメントだけを更新することで、インデックスを再作成するコストを削減することができます。また、データベースのアップデート方法や、PGベクターの使い方、そしてドキュメントの追跡と削除についても詳細に説明されています。このAPIの利用は、大規模なアプリケーションを構築する際に特に重要です。

Takeaways

• 🔗 リンクチェーンインデックスAPIの紹介: 大規模なアプリケーションにとって非常に重要なアップデートです。
• 📄 現在のワークフロー: ドキュメントを作成し、ベクトルストアに埋め込みを保存します。
• 🔄 データの更新がある場合: 古いインデックスを破棄し、新しい埋め込みを作成します。
• 🚀 インデックスAPIの利点: ドキュメントの変更を追跡し、変更されたドキュメントだけを更新することができます。
• 🐳 Dockerを使用してベクトルストアをホストし、Postgresデータベースを利用しています。
• 📦 PG Vector拡張機能をダウンロードして、init SQLスクリプトで作成します。
• 🛠️ コードデモ: Docker Composeを使用してベクトルストアを作成し、インデックスAPIを操作します。
• 📄 ドキュメントの作成: 'bellavista.txt'を読み込んで、テキストローダーとテキストスプリッターを使用します。
• 🔄 ドキュメントの更新と削除: クリーンアップ方法を使用して、ベクトルストア内のドキュメントを管理します。
• 🗑️ クリーンアップ方法: 'none'でスキップ、「incremental」で更新と削除、「full」で全てのドキュメントを再確認します。
• 🎯 アプリケーションのスケールアップやベクトルストアの管理に重要な役割を果たすインデックスAPIのアップデートについて学びました。

Q & A

Link ChainのインデックスAPIとは何ですか？

Link ChainのインデックスAPIは、ドキュメントの変更を追跡し、変更されたドキュメントだけを更新する機能です。これにより、インデックスを一旦捨てて再作成する必要がなくなります。

ベクトルストアとは何ですか？

ベクトルストアは、ドキュメントから生成されたベクトルを保存するためのデータベースです。これにより、類似性検索や情報検索などのタスクを効率的に行うことができます。

PG Vectorとは何ですか？

PG Vectorは、PostgreSQLデータベースにベクトル検索機能を提供するオープンソースの拡張機能です。ベクトルデータを効率的に管理し、類似性検索を可能にします。

インデックスAPIを使用するメリットは何ですか？

インデックスAPIを使用することで、ドキュメントの更新や削除を効率的に追跡し、無駄な処理やコストを削減することができます。また、大規模なアプリケーションの開発にも役立ちます。

どのようにしてベクトルストアを初期化しますか？

ベクトルストアを初期化するには、Docker-composeを使用してPostgreSQLデータベースをホストし、PG Vector拡張機能をインストールします。その後、init SQLスクリプトでベクトルストアを作成します。

ドキュメントをどのように分割しますか？

ドキュメントは、テキスト分割器（例：CharacterTextSplitter）を使用して分割されます。これにより、各分割された部分を個別のドキュメントとして扱うことができます。

SQLレコードマネージャーとは何ですか？

SQLレコードマネージャーは、ドキュメントを追跡するためのデータベースオブジェクトです。これにより、PG Vectorと組み合わせて使用することで、複数のデータベースを作成せずにドキュメントを管理できます。

cleanupオプションは何を制御しますか？

cleanupオプションは、ドキュメントの更新や削除時にベクトルストア内のベクトルの削除を制御します。'incremental'では変更されたドキュメントだけが削除されますが、'full'ではすべてのドキュメントがリストに含まれている必要があります。

ドキュメントの変更を追跡する方法は何ですか？

ドキュメントの変更を追跡する方法は、Source IDキーを使用して行います。このキーはメタデータ属性に含まれており、インデックス関数で参照されます。これにより、ドキュメントの変更や削除がベクトルストアに反映されます。

インデックスAPIを使用する際に、どのような種類のデータベースが使用できますか？

インデックスAPIを使用する際には、SQLベースのデータベースを使用することができます。このため、PostgreSQLなどのデータベースを使用して、ドキュメントの追跡や管理を効率的に行うことができます。

ベクトルストアとインデックスAPIを組み合わせて使用する利点は何ですか？

ベクトルストアとインデックスAPIを組み合わせて使用することで、ドキュメントの変更をリアルタイムで追跡し、更新されたベクトルのみを再計算することができます。これにより、処理時間とコストを大幅に削減し、アプリケーションのスケーラビリティを向上させることができます。

Outlines

00:00

🔗 リンクチェーンインデックスAPIの紹介

この段落では、リンクチェーンインデックスAPIの導入とその大きなアップデートについて説明されています。現在のワークフローでは、ドキュメントがVectorストアに作成、埋め込み、保存されています。生のデータが更新されると、インデックスを捨てて新しい埋め込みを作成します。 インデックスAPIは、変更されたドキュメントだけを追跡・更新することで、無駄な費用を削減できる機能です。コードを通じてこのAPIの使い方を見直し、Docker-composeを使用してVectorストアを作成し、PG Vector拡張を利用しています。 また、ドキュメントの追跡や埋め込みの方法についても詳細に説明されています。

05:02

📄 ドキュメントの更新とクリーンアップ

この段落では、ドキュメントの更新とクリーンアップのプロセスについて説明されています。まず、新しいドキュメントを作成し、既存のドキュメントを削除して更新します。クリーンアップ機能は、変更されていないドキュメントをスキップし、変更されたものや新たに追加されたもののみを扱います。 クリーンアップ方法には、'incremental'と'full'の2つのオプションがあります。'incremental'は、大きなデータセットに適しており、変更された部分のみをアップデートします。'full'は、全てのドキュメントを再アップデートするため、小規模なデータセットに適しています。 また、空のリストを提供することで、Vectorストアから全てのドキュメントを削除する方法も紹介されています。

Keywords

💡link chain indexing API

このAPIは、ドキュメントの変更を効率的に追跡し、インデックスを更新する際に不要なドキュメントを削除したり、新しい埋め込みを追加したりする機能を提供します。ビデオの主題である大規模なアプリケーション作成において、このAPIは非常に重要です。

💡Vector stores

ベクターストアは、ドキュメントを保存し、それらのベクター嵌入を作成し、検索や機械学習タスクで使用するためのデータ構造です。ビデオでは、ベクターストアを使用して、ドキュメントを保存し、更新された場合にのみ再処理する方法が説明されています。

💡embeddings

埋め込みは、高次元空間に存在するデータ点を低次元の連続ベクトルに変換するプロセスです。これにより、コンピュータが数字データをより効果的に処理できるようになります。ビデオでは、ドキュメントのテキストを埋め込みとして保存し、検索や分類タスクで使用する方法が説明されています。

💡PG Vector

PG Vectorは、PostgreSQLデータベースに組み込まれた拡張機能で、ベクター嵌入を効率的に管理、検索、更新することができます。ビデオでは、PG Vectorを使用して、ベクターストアをホストし、ドキュメントの変更を追跡する方法が説明されています。

💡record manager

レコードマネージャーは、データベース内のドキュメントを追跡し管理するためのソフトウェアコンポーネントです。ビデオでは、SQLレコードマネージャーを使用して、ベクトルストア内のドキュメントを追跡し、変更を効率的に更新する方法が説明されています。

💡metadata

メタデータは、データに関する情報です。これには、データの構造、形式、内容についての情報が含まれます。ビデオでは、ドキュメントのメタデータを使用して、ベクトルストア内のドキュメントを識別し、追跡する方法が説明されています。

💡cleanup

クリーンアップは、不要なデータやファイルを削除し、システムを効率的かつ整理された状態に保つプロセスです。ビデオでは、ベクトルストア内の古くなったベクトルを削除し、最新の情報を維持する方法が説明されています。

💡incremental

インクリメンタルは、システムの変更を徐々に適用し、一度に全てを更新するのではなく、変更が発生した部分だけを更新するプロセスです。ビデオでは、インクリメンタルクリーンアップを使用して、ベクトルストア内の変更されたドキュメントだけを更新する方法が説明されています。

💡full

フルは、システム内の全てのデータやファイルを一度に更新または削除するプロセスです。ビデオでは、フルクリーンアップを使用して、ベクトルストア内の全てのドキュメントを削除し、新しい状態から始めることもできます。

💡Docker

Dockerは、ソフトウェアアプリケーションをパッケージ化し、実行するためのオープンソースプラットフォームです。ビデオでは、Dockerを使用してPG Vector拡張機能をインストールし、ベクトルストアをホストする方法が説明されています。

💡SQL

SQLは、関係型データベースで使用される標準的な問い合わせ言語です。ビデオでは、SQLを使用して、ベクトルストア内のドキュメントを管理し、更新する方法が説明されています。

Highlights

Introduction to the link chain indexing API, a significant update for real-world applications.

Current workflow with Vector stores involves creating embeddings and storing documents, which can be costly if raw data frequently updates.

The indexing API allows tracking of documents and updating only changed documents, avoiding recreating the index or having outdated vectors.

Demonstration of using code to work with the indexing API, including setting up a Vector store and using Docker and a Postgres database.

Using Docker Compose to create and host the Vector store, with the postgres database file detailing the setup and installation of the PG Vector extension.

Explanation of the SQL record manager, which is essential for creating embeddings and storing documents in the Vector store, and its compatibility with PG Vector.

Process of creating a new Vector store collection by setting up a connection string and collection name, and the importance of the 'docs' parameter.

Loading and processing a text file (bellavista.txt) into multiple documents using the text loader and character text splitter.

Utilization of the document class with its 'page content' property and 'metadata' attribute, which is crucial for linking documents to their embeddings in the Vector store.

Explanation of the 'index' function, its parameters, and the 'clean' setup option, which determines how the API handles existing and new documents.

Demonstration of adding documents to the Vector store, noting that re-running the process does not add new documents if they already exist, thus saving resources.

Discussion on the 'cleanup' method, including 'none', 'incremental', and 'full' options, and their impact on document and vector management in the Vector store.

Example of updating and deleting documents and how the indexing API reflects these changes in the Vector store, ensuring the store remains up-to-date.

The 'full' cleanup method's role in treating the document list as the entire universe of documents, suitable for small datasets but not for larger ones.

Use of the 'cleanup' method with an empty list to delete all documents from the Vector store, a potential strategy for resetting the store.

The indexing API's importance for creating larger scale applications and its impact on the efficiency and cost-effectiveness of managing Vector stores.

Conclusion and appreciation for the audience, emphasizing the value of the new update and its significance for link chain applications.

Transcripts

hi everybody today I want to introduce

you to the link chain indexing API this

update is quite huge and very important

for real-world applications to

understand the benefits we have to take

a look at the current workflow with

Vector stores you have your documents

create your embeddings and store

everything in the vector store if the

raw data gets updated you dump the index

and create new embeddings if you've got

a lot of documents or frequently have to

update your documents for example if you

index data from a News website this may

get quite expensive the indexing API

lets you keep track of the documents and

only update the change documents without

dropping or recreating an index or if

you wouldn't drop the index having

outdated vectors in your store let's now

have a look at how this works with code

and as always you can follow along by

cloning the repository link is in the

description okay as you can see I'm in

vs code and this is the repository we've

got multiple files here the docker

compose yaml is responsible for creating

and hosting our Vector store we use the

postgres database here is the docker

file we inherit from postgres and

installed some packages here we download

the PG Vector extension and then create

the extension in that init SQL script so

we create the extension Vector here so

that's then the vector store and in the

code iPad notebook we've got the code to

work with the indexing API okay to make

that work we first have to run Docker

minus compose up

and then the vector store will be

downloaded and created and now we can

create our Vector store collection so we

set up our

connection string we set up the

collection name and then we create the

vector store here we pass in as docs

just an empty list because we won't

store any documents with this PG Vector

from documents method but we will use

the record manager to do so so we run

that

and then we've got our new Vector store

so okay let's first create some

documents and I will load this

bellavista.txt this is just a little q a

for a fictional restaurant here we can

see the question and the answers and we

will load that with the text loader and

then split it into multiple documents

with the character text splitter so if

we run this we can see we create our

chunks and we want to store that chunks

as embeddings in our store you can see

we've got seven documents so first we

have to import the SQL record manager

this is currently the only record

manager so we have to use a SQL database

for creating our record manager which

keeps track of the documents so this

works very well in combination with PG

Vector because you don't have to create

multiple databases okay now we have to

set up the record manager and we have to

pass in a namespace argument this is

just a string and we pass in here the

collection name from the vector database

and very important here we have to pass

in a connection string so since this is

PG Vector we can use the same connection

string as for the vector store so

nothing new will be created here

let's run this

of course we first have to import it

no let's run it

okay now we can run the create schema

method and this will set up our table

okay

so let's load the data here again

and we'll just take a look at it as you

can see we've got seven chunks again and

this makes use of the document class the

document class has got a page content

property and also we have to scroll a

little bit here

has got this meta data attribute so in

the metadata attribute we've got a

dictionary and in the dictionary we can

set up keys so link chain will

automatically set up this Source key and

we have to reference that Source key

in the index function so we pass the

docs to the index function we pass the

record manager and the vector store

setup is currently set to clean I will

explain in a few seconds what this means

and also we set this Source ID key so

there's a source because in the metadata

we have got this Source key so this will

be hashed now and now keep track of

changes in the documents so if you run

this here we can see that we added seven

documents to the vector store if we run

it again we can see that now we have

zero documents added this because in the

first run we created the documents once

and in the second run it identified that

the documents are already present in the

vector store so it didn't create new

embeddings and we saved some money here

okay now we've got this cleanup set to

none but what does this actually do I

will show you in the example I provide

you here and we create a new document so

first we update the first document we

will delete the document and we will

also append a new document

so now we've got an updated documents

list and if we run it again also with

cleanup none then we can see the

following we can see that five documents

were skipped and two documents were

added so despite we deleted the raw

documents they did not get deleted in

the vector store so this is now a little

bit out of sync but this can be

intentional if you want to keep track of

your old vectors but I think it's better

to use the cleanup incremental method

here so if you run that again we already

added these documents here so we can

just

see that we will delete this so we will

delete two documents and this is because

this was updated so we delete the old

vector and this was completely deleted

from the documents so this gets also

deleted from the vector store so every

time we update or delete the document

the vector will be deleted as well for

the cleanup method there is another

argument we can set and this is full so

the difference between incremental and

fullest that full expects this list of

documents to be the whole universe of

documents you want to store in your

vector database this can be comfortable

if you've got a small number of

documents but it's not very helpful if

you've got a large number of documents

because you don't want to store all of

your documents in memory so if you've

got large number of documents use

incremental if you've got small and

often changing documents then use full

if you want to clean up I will show you

what this does when you provide an empty

list so this will actually

delete every document in the vector

store so now we've got an empty Vector

store so this can be a little bit of

hack to actually drop all of your

vectors from the vector store so that's

it for the video I think that new update

the indexing API is a quite important

update for link chain especially if you

want to create larger scale applications

okay thank you very much for watching

please like the video and subscribe to

my channel see you bye bye