LightRAG: A More Efficient Solution than GraphRAG for RAG Systems?

Summary

في هذا الفيديو، يتم تقديم تقنية LightRAG الجديدة، وهي طريقة لتوليد استرجاع معزز تعتمد على الرسوم البيانية للمعرفة. يتم مقارنة LightRAG بـ GraphRAG، مع التركيز على الأداء والتكلفة والكفاءة. تتضمن عملية LightRAG استخراج الكيانات والعلاقات من النصوص وإنشاء رسومات معرفية مضغوطة، مما يحسن من دقة الاسترجاع والتوليد. كما يتطرق الفيديو إلى كيفية إعداد النظام على جهازك المحلي خطوة بخطوة، مع عرض كيفية استخدام مجموعات بيانات متنوعة وتجربة أنماط استرجاع متعددة للحصول على أفضل النتائج، مما يجعل LightRAG خيارًا مثاليًا من حيث التكلفة والكفاءة.

Takeaways

• 😀 تقنية Light RAG هي طريقة حديثة لتوليد المحادثات باستخدام استرجاع معزز للمعلومات، تجمع بين الرسوم البيانية المعرفية وآليات الاسترجاع القائمة على التضمين.
• 😀 مقارنةً بتقنية Graph RAG التي طورتها مايكروسوفت، تعتبر Light RAG أكثر كفاءة من حيث الأداء وأقل تكلفة للتشغيل.
• 😀 Light RAG مفتوحة المصدر، ويمكنك إعدادها على جهازك المحلي بسهولة، وهو ما يعزز من سهولة الوصول إليها والتفاعل معها.
• 😀 تعتمد تقنيات RAG التقليدية على هيكل بيانات مسطح، مما يسبب فقدان الكثير من المعلومات السياقية، وهو ما يعالجته Light RAG باستخدام الرسوم البيانية المعرفية.
• 😀 في عملية فهرسة Light RAG، يتم استخراج الكيانات والعلاقات من النصوص، وتحويلها إلى أزواج مفتاح-قيمة، ويتم تخزينها في قاعدة بيانات تضمين.
• 😀 تمتاز Light RAG بخطوة إزالة التكرار في الرسوم البيانية المعرفية، مما ينتج عنه رسم بياني معرفي مضغوط.
• 😀 تستخدم Light RAG أيضًا استرجاعًا مزدوجًا على مستويين، استرجاع منخفض المستوى لاستعلامات دقيقة، واسترجاع مرتفع المستوى لموضوعات أوسع.
• 😀 الأداء مقارنةً بـ Graph RAG يظهر تفوق Light RAG في العديد من المجالات مثل الزراعة والقانون.
• 😀 تكلفة التشغيل لاستخدام Graph RAG تكون مرتفعة بسبب العدد الكبير من الاستدعاءات التي يتم إجراؤها عبر API، بينما Light RAG أقل تكلفة بشكل ملحوظ.
• 😀 في حالة إضافة بيانات جديدة، يمكن لـ Light RAG دمج البيانات مع الرسم البياني المعرفي الحالي دون الحاجة إلى إعادة إنشائه بالكامل، مما يجعلها أكثر تكلفة فعالية من Graph RAG.

Q & A

ما هو Light Rag؟

Light Rag هو تقنية حديثة للجمع بين استرجاع المعلومات والتوليد المعزز (RAG)، التي تستخدم الرسوم البيانية المعرفية وتقنيات الاسترجاع المعتمدة على التضمين. تهدف هذه التقنية إلى تحسين أداء الاسترجاع والجمع مقارنة بتقنيات سابقة مثل Graph Rag.

ما الفرق بين Light Rag و Graph Rag؟

Graph Rag هي تقنية قديمة تعتمد على الرسوم البيانية المعرفية، لكنها باهظة التكلفة بسبب استهلاكها الكبير للموارد. بالمقابل، يعتبر Light Rag أكثر فعالية من حيث التكلفة والأداء، حيث يمكنه إضافة بيانات إلى الرسم البياني المعرفي بدون الحاجة لإعادة إنشائه من الصفر.

لماذا يعتبر Light Rag أقل تكلفة من Graph Rag؟

يعتبر Light Rag أقل تكلفة لأنه يسمح بإضافة بيانات جديدة إلى الرسم البياني المعرفي دون الحاجة لإعادة إنشائه بالكامل، مما يقلل من استهلاك الموارد مقارنة بـ Graph Rag الذي يتطلب إعادة بناء الرسم البياني عند إضافة بيانات جديدة.

كيف يتم إنشاء الرسم البياني المعرفي في Light Rag؟

يتم إنشاء الرسم البياني المعرفي في Light Rag عبر تحديد الكيانات والعلاقات بين هذه الكيانات باستخدام نموذج لغة مثل GPT-4 Mini، ومن ثم يتم دمج هذه المعلومات في رسم بياني منظم يحتوي على أزواج قيمة مفتاح للكائنات والعلاقات.

ما هي المزايا الرئيسية لـ Light Rag مقارنة بتقنيات RAG الأخرى؟

أهم مزايا Light Rag تشمل الأداء المحسن بتكلفة منخفضة، القدرة على إضافة بيانات جديدة دون إعادة إنشاء الرسم البياني المعرفي، وأداء أفضل في اختبارات متعددة مقارنة بـ Graph Rag في مجالات مثل الزراعة والقانون.

كيف يتم تنفيذ الاسترجاع في Light Rag؟

يتم الاسترجاع في Light Rag عبر عملية من مستويين: الاسترجاع المحلي الذي يعتمد على الكيانات الأقرب في الرسم البياني، والاسترجاع العالي الذي يركز على العلاقات العالمية بين الكيانات. يمكن أيضاً استخدام الاسترجاع الهجين الذي يجمع بين الاثنين للحصول على أفضل النتائج.

ما هي الفروق بين الاسترجاع المحلي والعالمي في Light Rag؟

الاسترجاع المحلي يركز على الكيانات الأقرب ضمن الرسم البياني المعرفي، بينما الاسترجاع العالمي يبحث في العلاقات الأوسع والأكثر عمومية بين الكيانات. الجمع بين الاثنين في الاسترجاع الهجين يتيح أفضل أداء.

كيف يمكن إعداد Light Rag على جهاز محلي؟

يمكن إعداد Light Rag عن طريق استنساخ المستودع (Repo) من GitHub وتثبيت الحزم المطلوبة باستخدام Python وPip. كما يمكن أيضاً تثبيت Light Rag كحزمة Pip لتسهيل التثبيت.

ما هي المعلمات التي يمكن تعديلها أثناء استخدام Light Rag؟

من بين المعلمات التي يمكن تعديلها: حجم الكتل (chunk size)، نموذج اللغة المستخدم (مثل GPT-4 Mini أو غيره)، وحجم التوكنات (tokens) الذي يمكن أن يؤثر على دقة الاسترجاع والتوليد.

هل يمكن إضافة بيانات جديدة إلى قاعدة البيانات في Light Rag؟

نعم، يمكن إضافة بيانات جديدة إلى قاعدة البيانات في Light Rag باستخدام دالة الإدراج (insert) دون الحاجة لإعادة إنشاء الرسم البياني المعرفي بالكامل، مما يقلل من التكاليف ويزيد من كفاءة النظام.