How to Do Data Cleaning (step-by-step tutorial on real-life dataset)

Mısra Turp

30 May 202123:41

Summary

TLDRفي هذا الفيديو، يتناول المتحدث عملية تنظيف البيانات في مجال علوم البيانات. يبدأ بتوضيح أهمية استكشاف البيانات وفهم المشكلات التي قد توجد في مجموعة البيانات. ثم ينتقل إلى تنظيف البيانات باستخدام خطوات عملية مثل إزالة الأعمدة غير الضرورية، معالجة القيم المفقودة، وتحديد القيم الشاذة. يناقش كيفية ملء القيم المفقودة باختيار القيم الأكثر شيوعًا أو استبدالها بقيم جديدة مثل 'غير قابل للتطبيق'. كما يوضح كيفية التعامل مع القيم المتطرفة في البيانات ويختتم بتوجيهات حول كيفية تبسيط هذه العمليات باستخدام تقنيات الأتمتة. يتناول الفيديو أيضًا أهمية المرونة في التعامل مع البيانات أثناء تحليلها.

Takeaways

😀 أهمية استكشاف البيانات لفهمها بشكل أفضل وتحديد المشكلات المحتملة في المجموعة البيانية.
😀 عند تنظيف البيانات، من المهم معالجة القيم المفقودة، سواء عن طريق حذف أو ملء القيم المفقودة بناءً على السياق.
😀 يمكن تصنيف الأعمدة المفقودة على أنها 'غير قابلة للتطبيق' في حالات مثل الأشجار الميتة أو الجذوع.
😀 يمكن أن يساعد استخدام دالة 'fillna' في التعامل مع القيم المفقودة بشكل مرن وفعال.
😀 من الأفضل تجنب ملء القيم المفقودة إذا كانت تؤثر على مجموعة بيانات كبيرة بشكل غير منطقي.
😀 في حالة وجود قيم غير قياسية في الأعمدة التصنيفية، يمكن تغييرها لجعل البيانات أكثر اتساقًا.
😀 من الممكن إزالة البيانات التي تحتوي على قيم مفقودة أو استبدالها بالقيم الأكثر شيوعًا في الأعمدة.
😀 يجب دائمًا الانتباه إلى التعامل مع القيم الشاذة (outliers) بشكل يتناسب مع السياق، سواء بحذفها أو تعديلها.
😀 عند التعامل مع القيم الشاذة في بيانات مثل قطر الأشجار، يمكن استخدام طريقة لتقليص القيم التي تفوق الحدود المعقولة.
😀 إذا كانت البيانات تحتوي على عدد قليل من القيم المفقودة أو الشاذة، يمكن معالجتها يدويًا، ولكن مع البيانات الكبيرة يُفضل أتمتة العملية.

Q & A

ما هو الهدف من تنظيف البيانات؟
-هدف تنظيف البيانات هو تصحيح المشكلات التي تم اكتشافها أثناء استكشاف البيانات. يتضمن ذلك التعامل مع القيم المفقودة أو غير المتناسقة أو القيم غير الصالحة من خلال اتخاذ الإجراءات المناسبة مثل ملء القيم المفقودة أو حذف السجلات غير الضرورية.
لماذا يتم إزالة بعض الأعمدة من مجموعة البيانات؟
-تم إزالة بعض الأعمدة المتعلقة بموقع الأشجار لأن هذه البيانات لم تكن ضرورية للتحليل ولا تضيف قيمة للمجموعة النهائية من البيانات التي سيتم العمل عليها.
ما هي القيم غير القياسية في الأعمدة التصنيفية؟
-القيم غير القياسية هي القيم التي تختلف عن القيم المتوقعة أو المتعارف عليها. على سبيل المثال، في عمود 'المشرف'، قد تظهر قيم غير متوافقة مثل أرقام غير صحيحة بدلاً من القيم المتوقعة مثل '1' أو '2'.
كيف يتم التعامل مع الأشجار الميتة أو الأشجار التي تم قطعها؟
-يتم تغيير القيم المفقودة أو غير المعروفة (مثل 'غير معروف' أو 'مفقود') في عمود الصحة للأشجار الميتة أو الأشجار المقطوعة إلى 'غير قابل للتطبيق' لأن الحالة الصحية لا تنطبق عليها.
ماذا تفعل إذا كانت هناك قيم مفقودة في البيانات؟
-يمكن ملء القيم المفقودة بقيم معروفة أو متوقعة، مثل ملء القيم المفقودة في عمود الصحة بأكثر القيم شيوعًا مثل 'جيد' أو ملء القيم المفقودة في عمود 'الضرر' بأكثر القيم شيوعًا مثل 'لا ضرر'.
ما هو الفرق بين القيم 'None' و 'NaN' في البيانات؟
-القيم 'None' تشير إلى عدم وجود قيمة أو غياب القيمة في البيانات، بينما 'NaN' (ليس رقمًا) تشير إلى أن القيمة غير معروفة أو غير صالحة رقميًا.
لماذا يتم تصنيف بعض الأعمدة على أنها 'غير قابل للتطبيق'؟
-يتم تصنيف الأعمدة مثل عمود 'الصحة' كـ 'غير قابل للتطبيق' في حالة الأشجار الميتة أو المقطوعة، لأن الحالة الصحية لا تنطبق عليها، وبالتالي لا يمكن تصنيفها كجيدة أو متوسطة أو سيئة.
كيف يتم التعامل مع القيم الشاذة في البيانات مثل القيم العالية جدًا أو المنخفضة جدًا؟
-تتم معالجة القيم الشاذة عن طريق إما حذفها أو تعديلها. في بعض الحالات، يمكن تعديل القيم العالية جدًا أو المنخفضة جدًا لتصبح ضمن الحدود المقبولة بناءً على البيانات الأخرى مثل المتوسط أو المدى.
ما هو النهج الأفضل للتعامل مع القيم المفقودة عندما يكون هناك العديد من السجلات؟
-النهج الأفضل هو أتمتة العملية، مثل ملء القيم المفقودة باستخدام القيم الأكثر شيوعًا في الأعمدة أو حذف السجلات التي تحتوي على قيم مفقودة غير مهمة لتحليل البيانات.
كيف يمكن تجنب استخدام القيم غير المناسبة في التحليل؟
-لتجنب استخدام القيم غير المناسبة في التحليل، يجب التأكد من أن البيانات يتم تنظيفها وتصفيتها قبل البدء في التحليل الفعلي، مثل تحديد القيم الشاذة أو المفقودة أو غير المتوافقة وتحديد كيفية معالجتها بدقة.