Adaptive Retrieval
Summary
TLDRこのスクリプトは、アダプティブリトリーバーと呼ばれる技術の詳細な説明と、その応用方法について述べています。技術的核心は、データベースから低次元表現を用いて高速検索を実行し、その後高次元表現を用いて正確性を向上させることです。特に、検索性能の重要な指標であるMap@Kの改善に焦点を当てています。また、MRL、mre、ffkといった様々なモデルと、それらがどのように検索コストや性能に影響するかについても議論されています。最後に、検索システムの改良と最適化に関する興味深い洞察が提供されています。
Takeaways
- 🔍 アダプティブリトリーバー(AR)は、データベースから高速で正確な画像検索を行う技術です。
- 📈 ARは、クエリー画像に対する低次元の表出(DS)から始め、高次元の近似(2048次元)まで進化します。
- 🚀 ARの検索プロセスは2段階で、まず200個の候補画像(K200)を取得し、次にそれらをハイライトして再ランキングを行います。
- 🌐 検索性能を測定する指標として、Map@Kが使用され、サンプル数に応じたトップランキングの精度を求められます。
- 📊 MRL(多尺度ランキング)モデルは、レネット50のモデルと組み合わせて、画像検索性能を向上させます。
- 🔎 MRLとmre、ffkという3つのモデルがあり、それぞれ異なる特徴と最適な使用場面を持っています。
- 💡 ARは、計算コストを大幅に削減し、メモリーとディスク上の計算量も減らすことができるとされています。
- 📚 実験結果によると、ARは固定次元の表現を使用するシングルショット検索よりも効率的であり、特に大きなデータセットではその利点が目立ちます。
- 🌟 HNSW(階層的ナビゲートスモールワールド)は、効率的なグラフベースの検索アルゴリズムであり、FacebookのANNOYライブラリーと同様の役割を果たしています。
- 🔧 ARは、データベースの再構築やインデックス作成に時間がかかる場合がありますが、検索の速度と精度の向上をもたらします。
- 🔗 オープンソース技術の進化と協力が、検索アルゴリズムの開発において重要な役割を果たしています。
Q & A
アダプティブリトリーバーの基本的な考え方は何ですか?
-アダプティブリトリーバーは、前回の検索結果をもとに高速にデータベースから候補を選び出し、再度ランキングを行い、最終的に絞り込んだ結果を出すプロセスです。これにより、計算量やメモリの使用を大幅に削減できます。
アダプティブリトリーバーで使用されるK200とは何ですか?
-K200は、与えられたクエリー画像に対してデータベースから取得する200個の画像候補のことを指します。これらは、低い次元の表現を用いて短リスト化され、次に高次元の表現を用いて再ランキングされます。
アダプティブリトリーバーの検索性能を測定する指標は何ですか?
-アダプティブリトリーバーの検索性能は、Map@Kという指標で測定されます。これは、クエリー集合全体で正しいラベルを持つ最近邻の平均検索精度を表しています。
MRL、mre、ffkという3つのモデルは何ですか?
-MRL、mre、ffkは、論文中で使用される3種類のモデルです。MRLは、多様な粒度での正確な検索を可能にするために設計されたモデルです。mreは、MRLと同様の機能を持つが、FFという固定長の表現を使用します。ffkは、Kの値を変更することなく、異なる次元のデータベースを構築し、検索を実行するモデルです。
アダプティブリトリーバーの検索コストを減らすためのアルゴリズムは何ですか?
-アダプティブリトリーバーの検索コストを減らすために使用されるアルゴリズムは、HNSW(Hierarchical Navigating Small World)です。これは、データベースを階層的に構築し、効率的な検索を可能にするためのアルゴリズムです。
アダプティブリトリーバーの検索パフォーマンスはどのように評価されていますか?
-アダプティブリトリーバーの検索パフォーマンスは、Memory-Efficient Annoyというライブラリを使用して評価されています。これは、Facebookが開発したオープンソースのライブラリで、大規模なデータセットに対するベクトル検索を効率的に行うことができます。
アダプティブリトリーバーでの検索において、次元のスケーリングはどのように行われますか?
-アダプティブリトリーバーでの検索では、最初の段階で低い次元の表現を使用して候補を選び出し、その後高次元の表現を用いて再ランキングを行います。これにより、計算量を節約しつつ、正確な検索結果を得ることができます。
アダプティブリトリーバーの検索において、どのようなデータセットが使用されていますか?
-アダプティブリトリーバーの検索では、ImageNet-1KとImageNet-4Kという2つのデータセットが使用されています。ImageNet-1Kは約1.3Mのデータサイズで1000クラスを網羅し、ImageNet-4Kは約4.2Mのデータサイズで4200以上のラベルを持つものです。
アダプティブリトリーバーの検索において、どのようなインデックス構造が使用されていますか?
-アダプティブリトリーバーの検索においては、HNSW(Hierarchical Navigating Small World)というインデックス構造が使用されています。これは、階層的に小規模な世界を構築し、最終的にカバーするという方法で、効率的な検索を実現します。
アダプティブリトリーバーの検索において、どのようなトレードオフが存在しますか?
-アダプティブリトリーバーの検索においては、計算量とメモリ使用とのトレードオフが存在します。低次元の表記を用いることで計算量を削減できますが、次元を上げることでメモリ使用が増えることがあります。また、データベースのサイズが大きくなると、検索の難しさも増すことがあります。
アダプティブリトリーバーの検索において、なぜアダプティブな方法が採用されるのでしょうか?
-アダプティブな方法が採用されるのは、固定次元の表現を使用する場合と比べて、より効率的な検索が可能になるためです。データベースのサイズや検索の目的に応じて、次元のスケーリングを行うことで、計算量やメモリ使用を最適化することができます。
Outlines
🔍 アダプティブリトリーバーの検索手法と性能
この段落では、アダプティブリトリーバーという検索手法について説明されています。基本的な考え方は、以前のデータから高速で検索を行うことを目指し、データベースから200個の画像候補を取得し、それらをクエリー画像と比較して高速にランキング付けることです。このプロセスは2段階で行われ、最終的に絞り込まれたトップランキングの性能が重要視されます。また、固定次元での検索とアダプティブリトリーバーの検索の計算量やメモリ消費量の比較も行われています。
📊 データセットと検索性能の評価
この段落では、画像検索性能の3種類のモデル(エフィシア、MRL、FFK)と、それらを評価するためのデータセット(ImageNet1KとImageNet4K)について説明されています。データセットのサイズやクエリー集合の構成、そして検索の計算コストについても触れられています。また、検索コストがデータベースのサイズに比例して増加する問題と、その解決策としてのアダプティブリトリーバーの利点が述べられています。
🏅 MRLモデルとアダプティブリトリーバーの優位性
この段落では、MRLモデルがどのようにアダプティブリトリーバーを利用して優れた検索性能を達成するかが説明されています。MRLは、レネット50のモデルに基づいて学習され、データベースから適切な画像を検索する能力を有しています。アダプティブリトリーバーは、固定長の表現を使用せずに、検索の粒度を調整できるという利点を持ち、その結果、計算量とメモリ消費量を大幅に削減できます。
🛠️ データベースのインデックスと検索手法
この段落では、データベースのインデックス作成と検索手法について説明されています。インデックスは、データベースを効率的に検索するために使用されるもので、この文脈ではHNSW(Hierarchical Navigable Small World)という階層的な小世界構造が用いられています。HNSWは、データベースの検索を階層的に進め、最終的に目標とするデータを見つけ出す方法です。また、この段落では、検索エンジンの役割や、Faissという検索ライブラリーの紹介も行われています。
🌐 グラフベースの検索アルゴリズムの進化
最後の段落では、グラフベースの検索アルゴリズムの進化と、それらがデータベース検索にどのように役立つかが説明されています。HNSWやAnnoyといったアルゴリズムは、データベースの検索を高速化し、効率化するための重要な技術となっています。また、FacebookのFaissライブラリーは、大規模なデータセットに対する高速な検索を可能にし、その力はオープンソースコミュニティでも広く認識されています。
Mindmap
Keywords
💡アダプティブリトリーバー
💡MRL
💡検索コスト
💡Map@K
💡HNSW
💡ベクトル検索
💡リザルト
💡インデックス
💡GPU
💡オープンソース
💡検索エジ
Highlights
アダプティブリトリーバーの話題を紹介
MRL論文用務の4回まで
基本的なアプローチは前回の高速化を目指す
16次元の低い次元の表現を使用
データベースから200個の画像候補を取得するプロセス
2048次元の高容量でのクエリー画像との近さのサイランキング
最終的な絞り込みプロセス
Map@Kで測定するトップランキングの性能の重要性
MRLのモデルには3種類存在
MRLとmreの違いとFFのモデル
検索の計算コストとレネット50の1回のフドパスにかかるフロップ
アダプティブリトリーバルの理論とその応用
MRLモデルがウブスケールのデータベースに対して正確な検索を実行できる
アダプティブリトリーバルの性能と計算量のトレードオフ
アダプティブリトリーバルの検索パイプラインとその改善
検索エジンとその役割
HNSWアルゴリズムとその特徴
オープンソースの力とFacebookの検索エジン
Transcripts
まるでマトレシカとトロピカルで今回は
あのMRL論文用務の4回まで
アダプティブリトリーバーの話をしようと
いう風に思いますで大まかな話から最初に
しようと思ってるんですけどこのアプティ
リーバルっていうのは基本的には前回
バクターサーチネアネイバーサーチNNS
の一層の高速は目指したものです基本的な
間はあの意外と簡単といは単なものでまず
与えれたクエリー画像に対しては16次元
のような低い次元の表これDSしてますを
用いてデータベースから例えば200個の
画像の候補を取得しますこれをショート
リストK200って呼んでますこれはこう
いうのは
あのあのベニングの原が低い分だ高速に
可能にありますで2段階で次に
この取得した200個の画像に対して今度
はあの2048円とかまそのギリギリ高い
容量で
でクエリー画像との近さのサイランキング
を行いますでこのこが高次元の2048
次元ですけれどもあの200画像ぐらい
だっったら素朴に再ラク付けするだけだっ
たら400フロップ費かからないという
ことですねでそして最終的に絞り込みを
行いますで実世界のシナリではトップ
ランキングの性能が重要なんで軽が限られ
Kとの要するにあのサンプルのあの数です
ねこのMap@Kで測定するとで最初から
固定次元後でねFFって言われてます
けれども固定次元最初から2048次元で
検索するよにでそれでシングルショットで
検索するよにも計算量とめに大幅に向上
することが分かりますでま後で色々出て
くるんですけれもそのいろんな言葉が出て
くる平均これもどう約しいいかミン
アベレージプレシジョンアベレージもミ
同じようなもんですけれどもあの要するに
アベレージ性格差の平均をまた平均を取っ
たものこれMapこれは基本的な
メトリックスになってますねで精度PK
ってのはそのコレクトプレッド長崎の
ショートリストを用いてクエリー集合全体
で正しいラベルを持つえ最近棒の平均検索
でそれをまた平均取ったものですねでこう
いうのででこの辺があの後ろにあの40
コード表が出てくるんですがその意味が
分からないとでこれあの大体このグリーン
の枠で囲ってあるところは後で表図を読む
上では多分役に立つことになると思います
でmlrのモデルなんですがあの基本的に
は3つありますMRLってやつとmre
ってやつとffkってやつですMRLと
mleの違いはあの先ほどのレネットの
あのサムみたいにこう実のあのCNな
けれど
もでそこのところのFC層この関数
ちょっと今回省略しちゃいましたけども
アルゴリズムあんまり不してもしょうが
ないなと思ってあのそこエフィシアのこう
フラグを下ろしたやつですねでまrle
ってそこのとこにあのフ基本的同じ関数な
んですけれどもそのフラグがシントが立っ
てるか立ってないかでMRLのでFFって
のはこれはあれですねあの若正直にその
固定であのKを決めうち
813248だとその半分半分半分半分と
いうような対数的にあの異なる系でで作っ
たモデルをあのFFと呼んでますでKはだ
からffkの経はだからその表現サイズを
表すことになりますねでこれもだからあの
表の中にたくさん出てくるんでこれもあの
名前は覚えといた方がいいと思います
でまこっからあの要するに論文即して話を
し4の3のリトリバルっていうところを
そのまま説明していきたいと思いますで
リトリーバールっての基本的にはその最近
棒探索NNあのSですねでこれがまこれは
あの前回簡単にあのバクターリサーチ
バクターサーチっていうのは何をする
かって話でしたと思いますけれどもでこれ
で時代学習されたレネット50のモデルと
画像検索性能をこれ今見たに3種類あるん
ですね
あの
あのなんだ
あのあのエフィシアと
あのあとifってやつの3種類なんですが
それはモデルですねもう1つは別にあのの
データセットをターゲットしてるのかって
いうと仕様にイメージネット1Kっていう
のとイメージネット4kを用いて説明して
ますこれもこうですねジネット1Kっての
はデータサイズは約
1.3mでクエリー集合は1000クラス
を網羅した50kmのサンプルで構成され
ていますイメージな4kっていうのは
データサイズは約
4.2mちょうど1件の4倍ぐらいですね
クリグはこれはだから要するにラベルが
あの要するに4200以上があるでそれを
漏らした200kgのサンプルこれも大体
4倍になってるわけですねそれがデータ
セットとしてあの使われてるわけこれも
名前覚えてと思ですねこれと先ほどの
モデルの
組み合わせですねMRLとMRLとffk
ってのは基本的なそれの縦横で大体できて
こと持ってけばいいと思いますで検索の
計算コストなんですがレネット50の1回
のフドパスに4gフロップかかると言い
ますただそれでイメジネット1Kに対し
正確な検索は1エリア2.6gフロップ
かかるで検索のオーバーヘッドは総行数の
40%ですが検索コストはあの
データベースのサNと言われたやつが
大きくれて直線的にリニアに増加してき
ますイでは正確な検索しようと思いこれは
ボトムネックになって1クエリーあたり
8.6gフロップこれだとメモリーや
ディスク上もこれだけの計算量だボルネに
なっちゃいますねでまそういう意味であの
ほとんどの実世界のアプリケーションでは
正確な計算コストってのはあのコストで
言うとdnoのDNDとNをかけたもの
ですねこれも回お話したと思いますでだ
けどHNswwのようなあのアロメネレス
ネバこれannsと言いますがでこれで
置き換えるとコストはDlogNでガとn
のとこはLNなるんでガクンと下がるん
ですねみんなこれでやろうということです
で改めてその検索の性能を見てみるとま
基本的にはその事前に学習されたモデル
から表現を用いてクエリーと同じクラスの
属する画を検索する
ことでここでまあの平均制度平均平均制度
Mapってやつですねと実行あの上から実
個あの集めてその検索性の比較しよという
やつ単位はMロップスですね
で全ての埋め込みは単位性化されてl2
メトリックス距離
メトリックス立距離ですねそれであの検索
されるってことを言ってますでそのKも
色々動くんですがKは10個25個50個
個のMAPKのKこれがだからサンプルの
数ですねこれとその時間をとその他をあの
付録E付録が長いんですよね表も多いしん
でまあ大体あの何を言ってるか大筋が
分かればいいのかもしれませんでこの図7
っていうのはイメージネット1Kで
レネット50の
MP@マ10個選ぶまあの1個選んでも
いいんです実を選んでこれをMRLmle
FFまだあるんですねブルネットワークと
SVDでこれちょっと説明略しちゃいまし
たけれもまそれを
あのあの比較しなものこういう表なんです
けれども大事なこの赤い四角で囲ってあり
ますけれどもこの要するにあのブルー濃い
ブルーのやつがmrそれからえっと破で
三角のオレンジのやつ
MRLでそしてFFFFは当然固定長で
やってるんです近いこの3つがま比較の
対象なんですがあのサイズを落としてくと
えっと下のSVにスリムネットの白
ランダムF白どんどん落ち込んできますね
あの次元が高くなればだけどあのもう早い
ところ大体
256もっと高いとか落ちてるのかな
あのどんどん下に落ちてくんですけれども
上に上げたこの3つについてFは当然です
ねあの固定調であのあのエンディング計算
してるんでそれに近づくのは当然だと思い
ますけどもFFよりもむしろあの成績いい
んですねこのあの深いブルーの方がで
マリシ表現が1番生後は高くてまベスナに
なってるFFよりも最大3%優れているで
ま分類と同様にあの他のやつはですね
256を下回るとあの大幅低下するという
これはまた後の付録にもこのあのイメージ
ネット4kのこれはイメージネット1Kの
例ですねまだから全然だから256以下で
はほと使いもならなくなってくるってこ
ですねでそういう意味ではMRLのモデ
ルっていうのはウブスケールの
データベースに対して複数のオフワード
パスを追加することなくてもワンショット
で様々な粒度で正確な検数を実行すること
できるでFFはあの独立したデータベース
をあの要するにベンディングの次元ごに
あのたくさん作るわけですよそれはその
保存や切り替えに膨大なコストのかこれは
実用的じゃないま比較のベーストラインと
して比較するにはいいと思いますけれども
実用のようには立たないということだと
思いますまト表現とこのアダプティブ
リトリーバル低いのであの候補を選んでま
それだけ性格とか分からないんで個や
200個の画像だったもの高い000とか
2000の次元のやつで戻してあのもう1
回近いかどうかあのクレリに近いかどうか
をさあの再ランキングあのあのラキ付けを
もう1回
やり直しでまそうすることでこのアダプト
リトーバルっていうのはフルキャパシティ
表が使う必要性をなくす使うとしてもあの
最初の段階で見つけたあの100個なり
200個のあのものに対してあのラキを
すればいいだけだっていうことですねま
あとそこからこのannsパイプラインの
あのベクトラシ技術のこれはトシカ表現と
よくあの相性が良くてさらに改善でき
るって話をしてます改めそのまアィあの
リトリーバルのこの論文の中の記述を見て
います当れたクエリーガードにてDS16
のような定次元を表現を持ちて
データベースから画像のシトリトK=
200200個の画像を定次元の表現を
持ちてピックアップするんですねでそれを
もう1度あのDrにあのSが最初の
スタートなのかなRは何でしょうリザルト
かしらあの最終的なやつはあのメにあの
次元を上げてま2000この例だった
248だたあのかレプテーション
ラーニングしたんでしょうね略2048の
ような高容量の表現を用いてもう1回
並べ替える並べ替えるってかそのその
クエリー画像に近いやつのもう1回調べる
ただこれは全部なめる必要なくてのK=
200だったら200個の中でやればいい
んで簡単できちゃうって話ですで世界の
シナリオではトップランキングの性能が前
と重複してますけども重要な目でありKが
限られた重要の流をカバーするMapアマ
Kこれが1だったらトップ1ですねでこれ
が5だったトップ5でもいいわけです
けれどもでアダプティブリトリーバルAR
と呼んでますけれどもこれは固定ジアの
表現によるシングルショット検索でも計算
量とメモリー大幅にあの向上するという
ことです最後にあの他の検索パイプライン
と同様にアダプティブ
[音楽]
ですけれども全ての実験についてクエリー
アの正確な検索こ報告するけれどもでここ
でパイプラインショートリストか
コンポーネントこれは前回もそのバクター
リサーチってのはいろんな仕様があって
特にインデックスを作るという
インデックスに当たるものまこの前のやつ
だとコードワードと呼んでましたけでそれ
をやるのがans特にhnsW&SWって
いうのは変な名前かもしこれハードウェア
ソフアだと思全然違っててHはハあの階層
的ハアでエは何だっけナビゲートと
スモールワールドSSWはあのスモール
ワールドですね階層的に小さな世界を回的
に積み重ねて絶対最終的にはカバーするん
ですけれどもでそこをナビゲートしてあの
目的のものを見つけるっていうこれは
なかなか面白かったですねだ難しかった
まだよく理解しないところあるんですけど
もあこういうものが背後あで動いてるん
だっていうのは多分ちょっと意識して
もらったらいいと思うしこの辺では
いろんな改良や改善が多分色々行われてる
んだろうという風に思いますでこれはフI
のところであのいろんな数字が出ています
これは
あのアダプティブ
リトル適用検索と呼んでありARって呼ん
でしてますが計算量対制度のトレードオフ
でこれをあの固定特集にシグショットと
比較してるでま明らかに全てのAR設定は
様々な表現サイズによいてシングショット
検索のフロンティアより上にあることが関
特にイメージネット1Kでは=1616で
見つけてDあの
202048でも1回見つけ直すっていう
のはこれはそのde=2048のシングル
ショット同等の制度を用いながらこれはだ
から128倍効率的で実際にはスピードで
言うと14倍
高速というこれがだからあれですねあの
なんだあの適応的アダプティブリトリバ
ルってやつですねただイジ4kではもう
ちょっとあのデータセットの数がデータの
数が多いんで16じゃちょっとあんまり
うまくいかなくてあの64で始め
て
でやってくこの場合だったらあの理論値で
32倍速で6倍の高速が得られたまあだ
からイジデータが増えれば増えるほどあま
難しさも増すということなんですねこの表
なんですがこれ真ん中ちょっと見にくいん
ですけれどもあのイメジ左側がイメジと1
K右側がイメージネト4kでその真ん中の
赤い線囲ってあるとがDSDで最初なんで
選んででDSがあれですね最初のあの
ユースケースっていうかあのショート
リストを作るの大きさなんですけどもDr
ってのがあの最終的に
あの
[音楽]
リアレディベロップメントこれこのDSを
増加させながらあのKNのシトリストを
改良するってこなんですけれどもでDSと
Drを指導で選択することはちょっとダサ
じゃないかということだと思いますけれど
もDSでショートリストまこれ低い次元
ですねショートリストを検索してDrを
これは要するに次元を上げながらサラク
するだけじゃなくてショートリスの長さも
縮小させるショート率の長さも縮小させ
るってのは候補を絞り込むってことですね
それを同時にやってショートリストを5回
再ランクすることで計算を得るっていう
手法を使ってるって話をしてましたあまり
詳しくこれの効果はちゃんと僕もあのどっ
かに気があったと思うんだけどちゃんと見
てまあ気持ちは分かりますいちいちDSD
指導であるよりも
あのランキングのカスケードをあの
繰り返すだけじゃなくてショートリスのも
絞り込んでくってやつを同時にやろうって
話だという風に思いますでアペックスの
膨大なんですけどもま重要なのはこの中で
1つはその各データーセットデータセッ
トってのはだからイメージネットの1Kと
かイメージネットの4Kとかでそれぞれに
対してデータベースを作り直してるんです
ね検索よでデータがN項クエリーが9項で
それに対して計算金棒のショートリスを足
する表現サイズをDSでそうするとデータ
スはNDS配列クエリーはqds金本集合
はqk配列で与えられるもこれ当然で大事
なことはあのフスとまHNswwこれは
アラルナビゲーションナビゲータル
スモールワールドちょっと怪しいですね
スモールワールドですあの階層的な
スモールワールドではどんどんあの
絞り込んでくってこのフェイスとをあの
HNswwを使ってるのが特徴なんです
これはだからあの前回見てやるとコード
ワードって言ってましたけども
インデックスを作るデータベース
この
ベクトルから構成され
てるデータのデータベースを検索するため
インデックスを作るこのフェスとHN
swwを使ってるってことですねでこれは
フェスインデックスフラットで
あのゆっくりと距離を使ってモラ的にあの
金棒を検索するそれからあの
インデクスhnswこれは近事的あの検索
を行うていう話をしてますで特に断りの中
M=32のhnswを使用して以後
hnsw32と呼ぶでまこれはあのあのえ
SSはGPUにフェスでは実はGPU逮捕
できてるんですけれどもhnswはこれは
ヒリを導入したら色々複雑なのかそのせな
のかあるいはGPUに乗りに行くよく僕は
分かんないですけどもGPUサポートが
ないためそれはCPUでやってるって話を
してますでこれはあのインデックス構築の
ための時間あるいはインデックスサイズと
そのあのそれをインデックスを作るための
手ですねそれの表がこれもだからアニクス
の経営で詳しく書いてあるという風に書い
てありますでちょっと最後にあのこの
マトリカプレラーニングの
検索であの特にあの大事な役割を果たして
いるエンジンあの検索エジですねこれ今見
たよフェスとあのhnsってやつなんです
けもそれ簡単に紹介しようという風に思い
ますこれ難しいんで僕もよくわからないと
これまず1つはですねフスての実は
オープンソースでFacebook多分
FACEスっていうのがすご読むんだろう
と思いますけれどもこれFacebook
のあのエリサーチが作ったものですねで
クラスタリングのためのライブラリーだ
検索あのあのグループにまとめてそこに
最初の検索落ちるっていうやつですねで
これは
あの大活躍あのワトか中で大活躍してるん
ですねこれは論文こういう論文があります
でそのインデックス構造を作
るっていうのをこのフェンスは多分あの
GPUを使ってあのインデックスを作
るってのは多分優れてるんだとこれ
2017年の論文ですけどもどんどん
バージョンアップしてて
であのまこれぐらいのパワーですね例えば
9500万画素に対するケグラフの構築を
30分10億個ベクトル連勝グラフの構築
を12時間未満で可能にしてでこれを
オープソースに来たまか強力なエンジン
ですねだからまもすごいと思ったんですが
トシかってそういう意味ではそういう
Facebookいや昨日のあの
あのGoogleベクタサーチのブログっ
てのよく見たらMicrosoftの
リサーチが出してるんですねGoogle
ののログでだから結構いろんなとが協力
し合ってやってるオープンソースの力だと
いう風に思いますそれからhnswこれ
ちょっと意外だっったのこれあのロシアの
人ロシアの研究
者ですねこれもなかなかテクニカルには
あの素晴らしいような完全なグラフベース
であのグラフあの荒い段階からどんどん
絞り込んでくってやつをやってるんですが
これもどんどんバジアンプして最初の
2016年で今2010あの2018年
まであと終えましたけれどもこの辺の一部
はだからもうフェースに取り込まれてるん
ですねオープンソの世界でロシアの研究者
が発表したこのあのHhnswについても
これは今はフェスフェスは17年2017
年始まったんです
かこのフェスの手法フェスじゃねえや
フェスのオープンソース実装ジハブの中に
このhnswtterのライブラも
ちゃんと取り込まれたでそれを丸々だから
あのマトしか利用してるんだと思いますで
まこれはですねスケールのまそれはあのH
階層的なあのNSあのナビゲートスモール
ワールドでこれはですねでま上位層から
あの検索を開始してで対数的な複雑の
スケーリングはこういう絵がありますこれ
面白いですねこの赤いところから始まっ
最高位から始まってこう最初は
あのブルーに向かってこれをグリーに
見つけようとするんですがでレヤを変える
と今度は違うターゲットに向かってってで
レヤが深まるにすれてノドの活は多くなる
んですがターゲットはでもあのあの
はっきりしてるんですねでこういう風に
階層に分けることによってまあの前回の
やつだとあのコードワードが2次元の場合
でしたけれども同じ平面上にあったんだ
けどこれ外で分けちゃおうっていう話です
面白そうですね
でヒリスクもあってでこういうことを書い
てましたけれどもあの2つのクラスターに
金棒選択するためにどういう比率がある
かっていうとこれはですねクラスターに
新しく要素が挿入され当然あるわけでその
場合はあのこうすればいいって話が書いた
だからよく考えられてるしでそういう技術
がまそのだからあのデータベースの
インデクスもいろんな技術があるん
でしょうけれどもそういうグラフ検索の
インデクシング作成についても基本的には
グラフベースでいろんなアルゴリズムが
開発されて
るってことですねだからマトリしか面白
いっていうだけじゃなくて本当はこういう
とこに関心を持ってあのまま新しい
アルゴリズムを考える人がいてもまいるん
でしょうねそういう風に考えてもらえば
いいと思いますえとちょっとあの
アルゴリズムあの細かい話してもしょうが
ないっていう気がしてきて実際にあの今度
は話が変わるんですけどオーAIのあの
エンディング3ってのはまさにこのマルシ
が使ってるんですよで実際にあそこのは
実際のサンプルコードも多いしあのスケス
も色々出てるんで実践的な利用のしエン
ベンディングの利用の仕方としてマリシを
利用したあのエディングのプログラム手法
の話を第2章でやりたいという風に思って
います
関連動画をさらに表示
5.0 / 5 (0 votes)