Data Pipelines Explained

IBM Technology

16 Jun 202208:28

Summary

TLDRتتناول هذه الفيديو مفهوم خطوط البيانات في المؤسسات باستخدام تشبيه خطوط المياه. يبدأ الفيديو بشرح كيفية انتقال المياه من المصادر إلى أماكن الاستخدام عبر شبكات معقدة من الأنابيب، مما يعكس كيفية تدفق البيانات من مصادرها إلى المستخدمين النهائيين. يشرح الفيديو كيفية استخدام تقنيات مثل استخراج وتحويل وتحميل البيانات (ETL)، استنساخ البيانات، وتجسيد البيانات في خطوط البيانات لتنظيف وتحويل البيانات وتحميلها إلى مستودعات جاهزة للاستخدام. أخيرًا، يتم تسليط الضوء على كيف يمكن استخدام البيانات في الذكاء التجاري وتعلم الآلة لاتخاذ قرارات أكثر ذكاءً.

Takeaways

😀 مفهوم خطوط أنابيب البيانات مشابه لأنابيب المياه التي تنقل المياه من المصدر إلى المكان الذي نحتاجه.
😀 البيانات تبدأ من مصادر مثل البحيرات والأنهار، ولكنها بحاجة إلى معالجة وتنظيف قبل استخدامها.
😀 معالجة البيانات تتم باستخدام عمليات مثل استخراج وتحويل وتحميل البيانات (ETL) لتنظيفها وتحويلها إلى صيغة قابلة للاستخدام.
😀 عملية ETL تتضمن استخراج البيانات من مصادرها، تحويلها (تنظيفها وتحويلها) ثم تحميلها إلى مستودع مركزي مثل مستودع البيانات المؤسسي.
😀 معالجة البيانات قد تتم عبر معالجة الدفعات، حيث يتم تحميل البيانات إلى الأدوات الخاصة بالمعالجة وفقاً لجدول زمني.
😀 من الممكن أيضاً استخدام تدفق البيانات المستمر، حيث يتم معالجة البيانات وتحميلها بشكل مستمر في الوقت الفعلي.
😀 تكرار البيانات هو عملية نسخ البيانات بشكل مستمر إلى مستودع آخر لضمان الأداء العالي أو لأغراض النسخ الاحتياطي.
😀 من خلال تكرار البيانات، يمكن ضمان استمرارية العمليات في حالة توقف مصدر البيانات.
😀 الافتراضية في البيانات تتيح الوصول إلى البيانات دون الحاجة إلى نسخها، مما يسمح بالاستعلامات الفورية دون إنشاء مشاريع تحويل بيانات كبيرة.
😀 تستخدم تقنيات افتراضية البيانات لاختبار الحالات الجديدة دون الحاجة إلى بناء خطوط أنابيب بيانات دائمة في البداية.
😀 بعد تجهيز البيانات، يمكن استخدامها في تطبيقات مثل تقارير ذكاء الأعمال أو في تدريب نماذج التعلم الآلي لتحسين اتخاذ القرارات.

Q & A

ما هي أنابيب البيانات؟
-أنابيب البيانات هي العمليات التي تُستخدم لنقل البيانات من مصادرها المختلفة (مثل بحيرات البيانات، قواعد البيانات، أو البيانات المتدفقة) عبر مراحل متعددة من التنظيف والتحويل، بحيث تصبح جاهزة للاستخدام في اتخاذ قرارات الأعمال أو التطبيقات الأخرى.
كيف يمكن مقارنة أنابيب البيانات بأنابيب المياه؟
-كما أن أنابيب المياه تنقل المياه من مصادرها إلى المنازل بعد تنقيتها، فإن أنابيب البيانات تنقل البيانات من مصادرها إلى مستودعات البيانات بعد تنظيفها وتحويلها، بحيث تصبح جاهزة للاستخدام.
ما هي عمليات ETL في أنابيب البيانات؟
-ETL هي اختصار لـ Extract (استخراج)، Transform (تحويل)، و Load (تحميل). في هذه العملية، يتم استخراج البيانات من المصدر، تحويلها وتنظيفها، ثم تحميلها إلى مستودع بيانات بحيث تصبح جاهزة للاستخدام.
ما الفرق بين المعالجة الدفعية (Batch Processing) والمعالجة المتدفقة (Stream Processing)؟
-المعالجة الدفعية تقوم بمعالجة البيانات على فترات مجدولة، بينما المعالجة المتدفقة تتعامل مع البيانات بشكل مستمر وفي الوقت الفعلي، مما يجعلها مثالية للبيانات التي تحتاج إلى معالجات فورية مثل بيانات أجهزة الاستشعار.
ما هو تكرار البيانات (Data Replication) ولماذا يُستخدم؟
-تكرار البيانات هو عملية نسخ البيانات بشكل مستمر إلى مستودع آخر. يتم ذلك لتحسين الأداء أو لأغراض النسخ الاحتياطي والتعافي من الكوارث، بحيث يمكن تشغيل الأعمال حتى في حال حدوث عطل في المصدر الأصلي.
ما هي تقنيات الافتراضية للبيانات (Data Virtualization) وكيف تُستخدم؟
-تقنية الافتراضية للبيانات تسمح بالوصول إلى البيانات من مصادر متعددة دون الحاجة إلى نقلها أو نسخها إلى مستودع آخر، مما يتيح اختبار الحالات الجديدة دون بناء أنابيب بيانات دائمة.
ما هي بعض الاستخدامات الرئيسية للبيانات التي تمر عبر أنابيب البيانات؟
-من بين الاستخدامات الرئيسية للبيانات المعدة في أنابيب البيانات: منصات الذكاء التجاري (Business Intelligence) لتوليد التقارير، وتدريب نماذج التعلم الآلي (Machine Learning) لتطوير قرارات أكثر ذكاءً للأعمال.
كيف يمكن تحسين الأداء باستخدام تكرار البيانات؟
-تحسين الأداء باستخدام تكرار البيانات يكون من خلال تكرار البيانات إلى مستودعات بيانات أخرى لتوفير وصول أسرع وأعلى أداء للتطبيقات التي تحتاج إلى استجابة فورية أو متطلبات أداء عالية.
هل يمكن استخدام الافتراضية للبيانات في حالات الإنتاج؟
-في العادة، لا يتم استخدام الافتراضية للبيانات في حالات الإنتاج الدائمة، ولكنها تُستخدم لاختبار الحالات الجديدة قبل بناء أنابيب بيانات دائمة يمكنها دعم حجم البيانات الكبير في بيئات الإنتاج.
ما هي أنواع البيانات التي يمكن أن تكون جزءًا من أنابيب البيانات؟
-البيانات التي يمكن أن تكون جزءًا من أنابيب البيانات تشمل البيانات التي تأتي من بحيرات البيانات، قواعد البيانات، التطبيقات السحابية، والبيانات المتدفقة مثل بيانات الاستشعار من المصانع أو الأجهزة الأخرى.