Adaptive Retrieval

Summary

このスクリプトは、アダプティブリトリーバーと呼ばれる技術の詳細な説明と、その応用方法について述べています。技術的核心は、データベースから低次元表現を用いて高速検索を実行し、その後高次元表現を用いて正確性を向上させることです。特に、検索性能の重要な指標であるMap@Kの改善に焦点を当てています。また、MRL、mre、ffkといった様々なモデルと、それらがどのように検索コストや性能に影響するかについても議論されています。最後に、検索システムの改良と最適化に関する興味深い洞察が提供されています。

Takeaways

• 🔍 アダプティブリトリーバー（AR）は、データベースから高速で正確な画像検索を行う技術です。
• 📈 ARは、クエリー画像に対する低次元の表出（DS）から始め、高次元の近似（2048次元）まで進化します。
• 🚀 ARの検索プロセスは2段階で、まず200個の候補画像（K200）を取得し、次にそれらをハイライトして再ランキングを行います。
• 🌐 検索性能を測定する指標として、Map@Kが使用され、サンプル数に応じたトップランキングの精度を求められます。
• 📊 MRL（多尺度ランキング）モデルは、レネット50のモデルと組み合わせて、画像検索性能を向上させます。
• 🔎 MRLとmre、ffkという3つのモデルがあり、それぞれ異なる特徴と最適な使用場面を持っています。
• 💡 ARは、計算コストを大幅に削減し、メモリーとディスク上の計算量も減らすことができるとされています。
• 📚 実験結果によると、ARは固定次元の表現を使用するシングルショット検索よりも効率的であり、特に大きなデータセットではその利点が目立ちます。
• 🌟 HNSW（階層的ナビゲートスモールワールド）は、効率的なグラフベースの検索アルゴリズムであり、FacebookのANNOYライブラリーと同様の役割を果たしています。
• 🔧 ARは、データベースの再構築やインデックス作成に時間がかかる場合がありますが、検索の速度と精度の向上をもたらします。
• 🔗 オープンソース技術の進化と協力が、検索アルゴリズムの開発において重要な役割を果たしています。

Q & A

アダプティブリトリーバーの基本的な考え方は何ですか？

アダプティブリトリーバーは、前回の検索結果をもとに高速にデータベースから候補を選び出し、再度ランキングを行い、最終的に絞り込んだ結果を出すプロセスです。これにより、計算量やメモリの使用を大幅に削減できます。

アダプティブリトリーバーで使用されるK200とは何ですか？

K200は、与えられたクエリー画像に対してデータベースから取得する200個の画像候補のことを指します。これらは、低い次元の表現を用いて短リスト化され、次に高次元の表現を用いて再ランキングされます。

アダプティブリトリーバーの検索性能を測定する指標は何ですか？

アダプティブリトリーバーの検索性能は、Map@Kという指標で測定されます。これは、クエリー集合全体で正しいラベルを持つ最近邻の平均検索精度を表しています。

MRL、mre、ffkという3つのモデルは何ですか？

MRL、mre、ffkは、論文中で使用される3種類のモデルです。MRLは、多様な粒度での正確な検索を可能にするために設計されたモデルです。mreは、MRLと同様の機能を持つが、FFという固定長の表現を使用します。ffkは、Kの値を変更することなく、異なる次元のデータベースを構築し、検索を実行するモデルです。

アダプティブリトリーバーの検索コストを減らすためのアルゴリズムは何ですか？

アダプティブリトリーバーの検索コストを減らすために使用されるアルゴリズムは、HNSW（Hierarchical Navigating Small World）です。これは、データベースを階層的に構築し、効率的な検索を可能にするためのアルゴリズムです。

アダプティブリトリーバーの検索パフォーマンスはどのように評価されていますか？

アダプティブリトリーバーの検索パフォーマンスは、Memory-Efficient Annoyというライブラリを使用して評価されています。これは、Facebookが開発したオープンソースのライブラリで、大規模なデータセットに対するベクトル検索を効率的に行うことができます。

アダプティブリトリーバーでの検索において、次元のスケーリングはどのように行われますか？

アダプティブリトリーバーでの検索では、最初の段階で低い次元の表現を使用して候補を選び出し、その後高次元の表現を用いて再ランキングを行います。これにより、計算量を節約しつつ、正確な検索結果を得ることができます。

アダプティブリトリーバーの検索において、どのようなデータセットが使用されていますか？

アダプティブリトリーバーの検索では、ImageNet-1KとImageNet-4Kという2つのデータセットが使用されています。ImageNet-1Kは約1.3Mのデータサイズで1000クラスを網羅し、ImageNet-4Kは約4.2Mのデータサイズで4200以上のラベルを持つものです。

アダプティブリトリーバーの検索において、どのようなインデックス構造が使用されていますか？

アダプティブリトリーバーの検索においては、HNSW（Hierarchical Navigating Small World）というインデックス構造が使用されています。これは、階層的に小規模な世界を構築し、最終的にカバーするという方法で、効率的な検索を実現します。

アダプティブリトリーバーの検索において、どのようなトレードオフが存在しますか？

アダプティブリトリーバーの検索においては、計算量とメモリ使用とのトレードオフが存在します。低次元の表記を用いることで計算量を削減できますが、次元を上げることでメモリ使用が増えることがあります。また、データベースのサイズが大きくなると、検索の難しさも増すことがあります。

アダプティブリトリーバーの検索において、なぜアダプティブな方法が採用されるのでしょうか？

アダプティブな方法が採用されるのは、固定次元の表現を使用する場合と比べて、より効率的な検索が可能になるためです。データベースのサイズや検索の目的に応じて、次元のスケーリングを行うことで、計算量やメモリ使用を最適化することができます。

Outlines

00:00

🔍 アダプティブリトリーバーの検索手法と性能

この段落では、アダプティブリトリーバーという検索手法について説明されています。基本的な考え方は、以前のデータから高速で検索を行うことを目指し、データベースから200個の画像候補を取得し、それらをクエリー画像と比較して高速にランキング付けることです。このプロセスは2段階で行われ、最終的に絞り込まれたトップランキングの性能が重要視されます。また、固定次元での検索とアダプティブリトリーバーの検索の計算量やメモリ消費量の比較も行われています。

05:02

📊 データセットと検索性能の評価

この段落では、画像検索性能の3種類のモデル（エフィシア、MRL、FFK）と、それらを評価するためのデータセット（ImageNet1KとImageNet4K）について説明されています。データセットのサイズやクエリー集合の構成、そして検索の計算コストについても触れられています。また、検索コストがデータベースのサイズに比例して増加する問題と、その解決策としてのアダプティブリトリーバーの利点が述べられています。

10:05

🏅 MRLモデルとアダプティブリトリーバーの優位性

この段落では、MRLモデルがどのようにアダプティブリトリーバーを利用して優れた検索性能を達成するかが説明されています。MRLは、レネット50のモデルに基づいて学習され、データベースから適切な画像を検索する能力を有しています。アダプティブリトリーバーは、固定長の表現を使用せずに、検索の粒度を調整できるという利点を持ち、その結果、計算量とメモリ消費量を大幅に削減できます。

15:08

🛠️ データベースのインデックスと検索手法

この段落では、データベースのインデックス作成と検索手法について説明されています。インデックスは、データベースを効率的に検索するために使用されるもので、この文脈ではHNSW（Hierarchical Navigable Small World）という階層的な小世界構造が用いられています。HNSWは、データベースの検索を階層的に進め、最終的に目標とするデータを見つけ出す方法です。また、この段落では、検索エンジンの役割や、Faissという検索ライブラリーの紹介も行われています。

20:08

🌐 グラフベースの検索アルゴリズムの進化

最後の段落では、グラフベースの検索アルゴリズムの進化と、それらがデータベース検索にどのように役立つかが説明されています。HNSWやAnnoyといったアルゴリズムは、データベースの検索を高速化し、効率化するための重要な技術となっています。また、FacebookのFaissライブラリーは、大規模なデータセットに対する高速な検索を可能にし、その力はオープンソースコミュニティでも広く認識されています。

Keywords

💡アダプティブリトリーバー

アダプティブリトリーバーは、データベース検索において、クエリー画像と相似する画像を効率的に検索する技術です。この技術は、低次元の表記から始め、データベースから候補を抽出し、その後高次元の表現を用いて再ランキングを行います。これにより、計算量を削減しながらも検索の正確性を確保することが可能です。

💡MRL

MRLとは、マルチルートリトリーバーの略で、異なる粒度のデータベース検索を1つのクエリーで実行できる技術です。MRLは、レネット50のモデルに基づいて学習され、複数のオフワードパスを追加することなく、ワンショットで正確な検索を実現します。

💡検索コスト

検索コストとは、データベース検索において、検索を実行するために必要な計算リソースや時間の消費を指します。検索コストは、データベースのサイズや検索アルゴリズムの効率性によって左右され、低減することが一般的に望まれます。

💡Map@K

Map@Kは、検索システムの性能を評価する指標の一つで、クエリー集合全体に対して正しいラベルを持つ最近邻の平均検索精度を表します。この指標は、検索システムがどの程度正確にクエリーに対応する候補を検索できるかを示し、Kの値によって何個の候補を返すかによって調整されます。

💡HNSW

HNSWとは、ハイパルキューブのスモールワールドと呼ばれる、高次元データの検索や索引を行うためのデータ構造です。HNSWは、階層的な小規模な世界を組み合わせることで、効率的な検索を実現します。

💡ベクトル検索

ベクトル検索は、データポイントを高次元のベクトル空間にマッピングし、そのベクトルに基づいて検索を行う方法です。画像やテキストデータをベクトル空間に変換し、類似するベクトルを見つけることで、検索の結果を得ることができます。

💡リザルト

リザルトとは、検索やクエリーの結果として得られるデータや情報のことを指します。検索システムにおいては、リザルトはユーザーが求める情報を含むものとして重要であり、システムの性能はそのリザルトの正確さと関連性によって評価されます。

💡インデックス

インデックスとは、データベース検索において、データの効率的な検索を可能にするために事前に作られる構造化された情報です。インデックスは、データベース内のアイテムを高速に検索するために設計されており、その効果はデータベースのサイズや検索の複雑性に応じて異なります。

💡GPU

GPUは、Graphical Processing Unitの略で、コンピュータのグラフィック処理を担当するハードウェアです。GPUは並列処理能力が高く、大量のデータ処理に適しています。最近では、GPUの高速な処理能力を利用した機械学習や深層学習のアルゴリズムが開発されており、検索システムの高速化にも貢献しています。

💡オープンソース

オープンソースとは、ソフトウェアのソースコードが公に公開され、誰でも自由に改良や再配布ができることを指すライセンス制度です。オープンソースソフトウェアは、世界中の開発者が共同で開発・改善していくことができ、多くの場合、高い柔軟性と信頼性を持っています。

💡検索エジ

検索エジとは、検索システムにおいて、クエリーとデータベースのベクトル表現を比較し、類似度が高い順に並べ替えるアルゴリズムやプロセスを指します。検索エジは、検索結果の品質を向上させるために重要な役割を果たし、検索システムの核心的な技術の一つです。

Highlights

アダプティブリトリーバーの話題を紹介

MRL論文用務の4回まで

基本的なアプローチは前回の高速化を目指す

16次元の低い次元の表現を使用

データベースから200個の画像候補を取得するプロセス

2048次元の高容量でのクエリー画像との近さのサイランキング

最終的な絞り込みプロセス

Map@Kで測定するトップランキングの性能の重要性

MRLのモデルには3種類存在

MRLとmreの違いとFFのモデル

検索の計算コストとレネット50の1回のフドパスにかかるフロップ

アダプティブリトリーバルの理論とその応用

MRLモデルがウブスケールのデータベースに対して正確な検索を実行できる

アダプティブリトリーバルの性能と計算量のトレードオフ

アダプティブリトリーバルの検索パイプラインとその改善

検索エジンとその役割

HNSWアルゴリズムとその特徴

オープンソースの力とFacebookの検索エジン

Transcripts

まるでマトレシカとトロピカルで今回は

あのMRL論文用務の4回まで

アダプティブリトリーバーの話をしようと

いう風に思いますで大まかな話から最初に

しようと思ってるんですけどこのアプティ

リーバルっていうのは基本的には前回

バクターサーチネアネイバーサーチNNS

の一層の高速は目指したものです基本的な

間はあの意外と簡単といは単なものでまず

与えれたクエリー画像に対しては16次元

のような低い次元の表これDSしてますを

用いてデータベースから例えば200個の

画像の候補を取得しますこれをショート

リストK200って呼んでますこれはこう

いうのは

あのあのベニングの原が低い分だ高速に

可能にありますで2段階で次に

この取得した200個の画像に対して今度

はあの2048円とかまそのギリギリ高い

容量で

でクエリー画像との近さのサイランキング

を行いますでこのこが高次元の2048

次元ですけれどもあの200画像ぐらい

だっったら素朴に再ラク付けするだけだっ

たら400フロップ費かからないという

ことですねでそして最終的に絞り込みを

行いますで実世界のシナリではトップ

ランキングの性能が重要なんで軽が限られ

Kとの要するにあのサンプルのあの数です

ねこのMap@Kで測定するとで最初から

固定次元後でねFFって言われてます

けれども固定次元最初から2048次元で

検索するよにでそれでシングルショットで

検索するよにも計算量とめに大幅に向上

することが分かりますでま後で色々出て

くるんですけれもそのいろんな言葉が出て

くる平均これもどう約しいいかミン

アベレージプレシジョンアベレージもミ

同じようなもんですけれどもあの要するに

アベレージ性格差の平均をまた平均を取っ

たものこれMapこれは基本的な

メトリックスになってますねで精度PK

ってのはそのコレクトプレッド長崎の

ショートリストを用いてクエリー集合全体

で正しいラベルを持つえ最近棒の平均検索

でそれをまた平均取ったものですねでこう

いうのででこの辺があの後ろにあの40

コード表が出てくるんですがその意味が

分からないとでこれあの大体このグリーン

の枠で囲ってあるところは後で表図を読む

上では多分役に立つことになると思います

でmlrのモデルなんですがあの基本的に

は3つありますMRLってやつとmre

ってやつとffkってやつですMRLと

mleの違いはあの先ほどのレネットの

あのサムみたいにこう実のあのCNな

けれど

もでそこのところのFC層この関数

ちょっと今回省略しちゃいましたけども

アルゴリズムあんまり不してもしょうが

ないなと思ってあのそこエフィシアのこう

フラグを下ろしたやつですねでまrle

ってそこのとこにあのフ基本的同じ関数な

んですけれどもそのフラグがシントが立っ

てるか立ってないかでMRLのでFFって

のはこれはあれですねあの若正直にその

固定であのKを決めうち

813248だとその半分半分半分半分と

いうような対数的にあの異なる系でで作っ

たモデルをあのFFと呼んでますでKはだ

からffkの経はだからその表現サイズを

表すことになりますねでこれもだからあの

表の中にたくさん出てくるんでこれもあの

名前は覚えといた方がいいと思います

でまこっからあの要するに論文即して話を

し4の3のリトリバルっていうところを

そのまま説明していきたいと思いますで

リトリーバールっての基本的にはその最近

棒探索NNあのSですねでこれがまこれは

あの前回簡単にあのバクターリサーチ

バクターサーチっていうのは何をする

かって話でしたと思いますけれどもでこれ

で時代学習されたレネット50のモデルと

画像検索性能をこれ今見たに3種類あるん

ですね

あの

あのなんだ

あのあのエフィシアと

あのあとifってやつの3種類なんですが

それはモデルですねもう1つは別にあのの

データセットをターゲットしてるのかって

いうと仕様にイメージネット1Kっていう

のとイメージネット4kを用いて説明して

ますこれもこうですねジネット1Kっての

はデータサイズは約

1.3mでクエリー集合は1000クラス

を網羅した50kmのサンプルで構成され

ていますイメージな4kっていうのは

データサイズは約

4.2mちょうど1件の4倍ぐらいですね

クリグはこれはだから要するにラベルが

あの要するに4200以上があるでそれを

漏らした200kgのサンプルこれも大体

4倍になってるわけですねそれがデータ

セットとしてあの使われてるわけこれも

名前覚えてと思ですねこれと先ほどの

モデルの

組み合わせですねMRLとMRLとffk

ってのは基本的なそれの縦横で大体できて

こと持ってけばいいと思いますで検索の

計算コストなんですがレネット50の1回

のフドパスに4gフロップかかると言い

ますただそれでイメジネット1Kに対し

正確な検索は1エリア2.6gフロップ

かかるで検索のオーバーヘッドは総行数の

40%ですが検索コストはあの

データベースのサNと言われたやつが

大きくれて直線的にリニアに増加してき

ますイでは正確な検索しようと思いこれは

ボトムネックになって1クエリーあたり

8.6gフロップこれだとメモリーや

ディスク上もこれだけの計算量だボルネに

なっちゃいますねでまそういう意味であの

ほとんどの実世界のアプリケーションでは

正確な計算コストってのはあのコストで

言うとdnoのDNDとNをかけたもの

ですねこれも回お話したと思いますでだ

けどHNswwのようなあのアロメネレス

ネバこれannsと言いますがでこれで

置き換えるとコストはDlogNでガとn

のとこはLNなるんでガクンと下がるん

ですねみんなこれでやろうということです

で改めてその検索の性能を見てみるとま

基本的にはその事前に学習されたモデル

から表現を用いてクエリーと同じクラスの

属する画を検索する

ことでここでまあの平均制度平均平均制度

Mapってやつですねと実行あの上から実

個あの集めてその検索性の比較しよという

やつ単位はMロップスですね

で全ての埋め込みは単位性化されてl2

メトリックス距離

メトリックス立距離ですねそれであの検索

されるってことを言ってますでそのKも

色々動くんですがKは10個25個50個

個のMAPKのKこれがだからサンプルの

数ですねこれとその時間をとその他をあの

付録E付録が長いんですよね表も多いしん

でまあ大体あの何を言ってるか大筋が

分かればいいのかもしれませんでこの図7

っていうのはイメージネット1Kで

レネット50の

MP@マ10個選ぶまあの1個選んでも

いいんです実を選んでこれをMRLmle

FFまだあるんですねブルネットワークと

SVDでこれちょっと説明略しちゃいまし

たけれもまそれを

あのあの比較しなものこういう表なんです

けれども大事なこの赤い四角で囲ってあり

ますけれどもこの要するにあのブルー濃い

ブルーのやつがmrそれからえっと破で

三角のオレンジのやつ

MRLでそしてFFFFは当然固定長で

やってるんです近いこの3つがま比較の

対象なんですがあのサイズを落としてくと

えっと下のSVにスリムネットの白

ランダムF白どんどん落ち込んできますね

あの次元が高くなればだけどあのもう早い

ところ大体

256もっと高いとか落ちてるのかな

あのどんどん下に落ちてくんですけれども

上に上げたこの3つについてFは当然です

ねあの固定調であのあのエンディング計算

してるんでそれに近づくのは当然だと思い

ますけどもFFよりもむしろあの成績いい

んですねこのあの深いブルーの方がで

マリシ表現が1番生後は高くてまベスナに

なってるFFよりも最大3%優れているで

ま分類と同様にあの他のやつはですね

256を下回るとあの大幅低下するという

これはまた後の付録にもこのあのイメージ

ネット4kのこれはイメージネット1Kの

例ですねまだから全然だから256以下で

はほと使いもならなくなってくるってこ

ですねでそういう意味ではMRLのモデ

ルっていうのはウブスケールの

データベースに対して複数のオフワード

パスを追加することなくてもワンショット

で様々な粒度で正確な検数を実行すること

できるでFFはあの独立したデータベース

をあの要するにベンディングの次元ごに

あのたくさん作るわけですよそれはその

保存や切り替えに膨大なコストのかこれは

実用的じゃないま比較のベーストラインと

して比較するにはいいと思いますけれども

実用のようには立たないということだと

思いますまト表現とこのアダプティブ

リトリーバル低いのであの候補を選んでま

それだけ性格とか分からないんで個や

200個の画像だったもの高い000とか

2000の次元のやつで戻してあのもう1

回近いかどうかあのクレリに近いかどうか

をさあの再ランキングあのあのラキ付けを

もう1回

やり直しでまそうすることでこのアダプト

リトーバルっていうのはフルキャパシティ

表が使う必要性をなくす使うとしてもあの

最初の段階で見つけたあの100個なり

200個のあのものに対してあのラキを

すればいいだけだっていうことですねま

あとそこからこのannsパイプラインの

あのベクトラシ技術のこれはトシカ表現と

よくあの相性が良くてさらに改善でき

るって話をしてます改めそのまアィあの

リトリーバルのこの論文の中の記述を見て

います当れたクエリーガードにてDS16

のような定次元を表現を持ちて

データベースから画像のシトリトK=

200200個の画像を定次元の表現を

持ちてピックアップするんですねでそれを

もう1度あのDrにあのSが最初の

スタートなのかなRは何でしょうリザルト

かしらあの最終的なやつはあのメにあの

次元を上げてま2000この例だった

248だたあのかレプテーション

ラーニングしたんでしょうね略2048の

ような高容量の表現を用いてもう1回

並べ替える並べ替えるってかそのその

クエリー画像に近いやつのもう1回調べる

ただこれは全部なめる必要なくてのK=

200だったら200個の中でやればいい

んで簡単できちゃうって話ですで世界の

シナリオではトップランキングの性能が前

と重複してますけども重要な目でありKが

限られた重要の流をカバーするMapアマ

Kこれが1だったらトップ1ですねでこれ

が5だったトップ5でもいいわけです

けれどもでアダプティブリトリーバルAR

と呼んでますけれどもこれは固定ジアの

表現によるシングルショット検索でも計算

量とメモリー大幅にあの向上するという

ことです最後にあの他の検索パイプライン

と同様にアダプティブ

[音楽]

ですけれども全ての実験についてクエリー

アの正確な検索こ報告するけれどもでここ

でパイプラインショートリストか

コンポーネントこれは前回もそのバクター

リサーチってのはいろんな仕様があって

特にインデックスを作るという

インデックスに当たるものまこの前のやつ

だとコードワードと呼んでましたけでそれ

をやるのがans特にhnsW&SWって

いうのは変な名前かもしこれハードウェア

ソフアだと思全然違っててHはハあの階層

的ハアでエは何だっけナビゲートと

スモールワールドSSWはあのスモール

ワールドですね階層的に小さな世界を回的

に積み重ねて絶対最終的にはカバーするん

ですけれどもでそこをナビゲートしてあの

目的のものを見つけるっていうこれは

なかなか面白かったですねだ難しかった

まだよく理解しないところあるんですけど

もあこういうものが背後あで動いてるん

だっていうのは多分ちょっと意識して

もらったらいいと思うしこの辺では

いろんな改良や改善が多分色々行われてる

んだろうという風に思いますでこれはフI

のところであのいろんな数字が出ています

これは

あのアダプティブ

リトル適用検索と呼んでありARって呼ん

でしてますが計算量対制度のトレードオフ

でこれをあの固定特集にシグショットと

比較してるでま明らかに全てのAR設定は

様々な表現サイズによいてシングショット

検索のフロンティアより上にあることが関

特にイメージネット1Kでは=1616で

見つけてDあの

202048でも1回見つけ直すっていう

のはこれはそのde=2048のシングル

ショット同等の制度を用いながらこれはだ

から128倍効率的で実際にはスピードで

言うと14倍

高速というこれがだからあれですねあの

なんだあの適応的アダプティブリトリバ

ルってやつですねただイジ4kではもう

ちょっとあのデータセットの数がデータの

数が多いんで16じゃちょっとあんまり

うまくいかなくてあの64で始め

て

でやってくこの場合だったらあの理論値で

32倍速で6倍の高速が得られたまあだ

からイジデータが増えれば増えるほどあま

難しさも増すということなんですねこの表

なんですがこれ真ん中ちょっと見にくいん

ですけれどもあのイメジ左側がイメジと1

K右側がイメージネト4kでその真ん中の

赤い線囲ってあるとがDSDで最初なんで

選んででDSがあれですね最初のあの

ユースケースっていうかあのショート

リストを作るの大きさなんですけどもDr

ってのがあの最終的に

あの

[音楽]

リアレディベロップメントこれこのDSを

増加させながらあのKNのシトリストを

改良するってこなんですけれどもでDSと

Drを指導で選択することはちょっとダサ

じゃないかということだと思いますけれど

もDSでショートリストまこれ低い次元

ですねショートリストを検索してDrを

これは要するに次元を上げながらサラク

するだけじゃなくてショートリスの長さも

縮小させるショート率の長さも縮小させ

るってのは候補を絞り込むってことですね

それを同時にやってショートリストを5回

再ランクすることで計算を得るっていう

手法を使ってるって話をしてましたあまり

詳しくこれの効果はちゃんと僕もあのどっ

かに気があったと思うんだけどちゃんと見

てまあ気持ちは分かりますいちいちDSD

指導であるよりも

あのランキングのカスケードをあの

繰り返すだけじゃなくてショートリスのも

絞り込んでくってやつを同時にやろうって

話だという風に思いますでアペックスの

膨大なんですけどもま重要なのはこの中で

1つはその各データーセットデータセッ

トってのはだからイメージネットの1Kと

かイメージネットの4Kとかでそれぞれに

対してデータベースを作り直してるんです

ね検索よでデータがN項クエリーが9項で

それに対して計算金棒のショートリスを足

する表現サイズをDSでそうするとデータ

スはNDS配列クエリーはqds金本集合

はqk配列で与えられるもこれ当然で大事

なことはあのフスとまHNswwこれは

アラルナビゲーションナビゲータル

スモールワールドちょっと怪しいですね

スモールワールドですあの階層的な

スモールワールドではどんどんあの

絞り込んでくってこのフェイスとをあの

HNswwを使ってるのが特徴なんです

これはだからあの前回見てやるとコード

ワードって言ってましたけども

インデックスを作るデータベース

この

ベクトルから構成され

てるデータのデータベースを検索するため

インデックスを作るこのフェスとHN

swwを使ってるってことですねでこれは

フェスインデックスフラットで

あのゆっくりと距離を使ってモラ的にあの

金棒を検索するそれからあの

インデクスhnswこれは近事的あの検索

を行うていう話をしてますで特に断りの中

M=32のhnswを使用して以後

hnsw32と呼ぶでまこれはあのあのえ

SSはGPUにフェスでは実はGPU逮捕

できてるんですけれどもhnswはこれは

ヒリを導入したら色々複雑なのかそのせな

のかあるいはGPUに乗りに行くよく僕は

分かんないですけどもGPUサポートが

ないためそれはCPUでやってるって話を

してますでこれはあのインデックス構築の

ための時間あるいはインデックスサイズと

そのあのそれをインデックスを作るための

手ですねそれの表がこれもだからアニクス

の経営で詳しく書いてあるという風に書い

てありますでちょっと最後にあのこの

マトリカプレラーニングの

検索であの特にあの大事な役割を果たして

いるエンジンあの検索エジですねこれ今見

たよフェスとあのhnsってやつなんです

けもそれ簡単に紹介しようという風に思い

ますこれ難しいんで僕もよくわからないと

これまず1つはですねフスての実は

オープンソースでFacebook多分

FACEスっていうのがすご読むんだろう

と思いますけれどもこれFacebook

のあのエリサーチが作ったものですねで

クラスタリングのためのライブラリーだ

検索あのあのグループにまとめてそこに

最初の検索落ちるっていうやつですねで

これは

あの大活躍あのワトか中で大活躍してるん

ですねこれは論文こういう論文があります

でそのインデックス構造を作

るっていうのをこのフェンスは多分あの

GPUを使ってあのインデックスを作

るってのは多分優れてるんだとこれ

2017年の論文ですけどもどんどん

バージョンアップしてて

であのまこれぐらいのパワーですね例えば

9500万画素に対するケグラフの構築を

30分10億個ベクトル連勝グラフの構築

を12時間未満で可能にしてでこれを

オープソースに来たまか強力なエンジン

ですねだからまもすごいと思ったんですが

トシかってそういう意味ではそういう

Facebookいや昨日のあの

あのGoogleベクタサーチのブログっ

てのよく見たらMicrosoftの

リサーチが出してるんですねGoogle

ののログでだから結構いろんなとが協力

し合ってやってるオープンソースの力だと

いう風に思いますそれからhnswこれ

ちょっと意外だっったのこれあのロシアの

人ロシアの研究

者ですねこれもなかなかテクニカルには

あの素晴らしいような完全なグラフベース

であのグラフあの荒い段階からどんどん

絞り込んでくってやつをやってるんですが

これもどんどんバジアンプして最初の

2016年で今2010あの2018年

まであと終えましたけれどもこの辺の一部

はだからもうフェースに取り込まれてるん

ですねオープンソの世界でロシアの研究者

が発表したこのあのHhnswについても

これは今はフェスフェスは17年2017

年始まったんです

かこのフェスの手法フェスじゃねえや

フェスのオープンソース実装ジハブの中に

このhnswtterのライブラも

ちゃんと取り込まれたでそれを丸々だから

あのマトしか利用してるんだと思いますで

まこれはですねスケールのまそれはあのH

階層的なあのNSあのナビゲートスモール

ワールドでこれはですねでま上位層から

あの検索を開始してで対数的な複雑の

スケーリングはこういう絵がありますこれ

面白いですねこの赤いところから始まっ

最高位から始まってこう最初は

あのブルーに向かってこれをグリーに

見つけようとするんですがでレヤを変える

と今度は違うターゲットに向かってってで

レヤが深まるにすれてノドの活は多くなる

んですがターゲットはでもあのあの

はっきりしてるんですねでこういう風に

階層に分けることによってまあの前回の

やつだとあのコードワードが2次元の場合

でしたけれども同じ平面上にあったんだ

けどこれ外で分けちゃおうっていう話です

面白そうですね

でヒリスクもあってでこういうことを書い

てましたけれどもあの2つのクラスターに

金棒選択するためにどういう比率がある

かっていうとこれはですねクラスターに

新しく要素が挿入され当然あるわけでその

場合はあのこうすればいいって話が書いた

だからよく考えられてるしでそういう技術

がまそのだからあのデータベースの

インデクスもいろんな技術があるん

でしょうけれどもそういうグラフ検索の

インデクシング作成についても基本的には

グラフベースでいろんなアルゴリズムが

開発されて

るってことですねだからマトリしか面白

いっていうだけじゃなくて本当はこういう

とこに関心を持ってあのまま新しい

アルゴリズムを考える人がいてもまいるん

でしょうねそういう風に考えてもらえば

いいと思いますえとちょっとあの

アルゴリズムあの細かい話してもしょうが

ないっていう気がしてきて実際にあの今度

は話が変わるんですけどオーAIのあの

エンディング3ってのはまさにこのマルシ

が使ってるんですよで実際にあそこのは

実際のサンプルコードも多いしあのスケス

も色々出てるんで実践的な利用のしエン

ベンディングの利用の仕方としてマリシを

利用したあのエディングのプログラム手法

の話を第2章でやりたいという風に思って

います