שליטה בניקוי נתוני Python Pandas: מדריך גלובלי לטיפול בערכים חסרים

בתחום ניתוח נתונים ולמידת מכונה, איכות הנתונים היא בעלת חשיבות עליונה. אחד האתגרים הנפוצים ביותר הוא נוכחותם של ערכים חסרים. אלה יכולים לנבוע ממקורות שונים, כולל שגיאות בהזנת נתונים, תקלות בחיישנים או סקרים לא שלמים. טיפול יעיל בנתונים חסרים הוא שלב קריטי בתהליך ניקוי הנתונים, המבטיח שהניתוחים שלך יהיו חזקים והמודלים שלך מדויקים. מדריך זה ילווה אותך בטכניקות חיוניות לניהול ערכים חסרים באמצעות ספריית Python Pandas העוצמתית, המיועדת לקהל גלובלי.

מדוע טיפול בערכים חסרים כל כך קריטי?

נתונים חסרים יכולים לעוות משמעותית את התוצאות שלך. אלגוריתמים אנליטיים ומודלים סטטיסטיים רבים אינם מיועדים לטיפול בערכים חסרים, מה שמוביל לשגיאות או לתוצאות מוטות. לדוגמה:

• ממוצעים מוטים: אם ערכים חסרים מרוכזים בקבוצות ספציפיות, חישוב ממוצעים עלול להציג בצורה שגויה את המאפיינים האמיתיים של האוכלוסייה.
• גודל מדגם מופחת: פשוט מחיקת שורות או עמודות עם ערכים חסרים יכולה להפחית באופן דרסטי את מערך הנתונים שלך, מה שעלול להוביל לאובדן מידע יקר וכן לכוח סטטיסטי.
• הידרדרות ביצועי המודל: מודלים של למידת מכונה שאומנו על נתונים לא שלמים עשויים להציג ביצועי חיזוי ירודים ויכולות הכללה.
• המחשות מטעות: תרשימים וגרפים יכולים להציג תמונה לא מדויקת אם נקודות נתונים חסרות אינן נלקחות בחשבון.

הבנה וטיפול בערכים חסרים הם מיומנות בסיסית עבור כל איש מקצוע בתחום הנתונים, ללא קשר למיקומם הגיאוגרפי או לתעשייה שלהם.

זיהוי ערכים חסרים ב-Pandas

Pandas מספקת שיטות אינטואיטיביות לאיתור נתונים חסרים. הייצוגים העיקריים לערכים חסרים הם NaN (לא מספר) עבור נתונים מספריים ו-None עבור סוגי נתונים של אובייקטים. Pandas מתייחסת לשניהם כחסרים.

השיטות isnull() ו-notnull()

השיטה isnull() מחזירה DataFrame בוליאני באותו צורה, המציין True כאשר ערך חסר ו-False אחרת. לעומת זאת, notnull() מחזירה True עבור ערכים שאינם חסרים.

            import pandas as pd
import numpy as np

# Sample DataFrame with missing values
data = {'col1': [1, 2, np.nan, 4, 5],
        'col2': [np.nan, 'b', 'c', 'd', 'e'],
        'col3': [6, 7, 8, np.nan, 10]}
df = pd.DataFrame(data)

print("Original DataFrame:")
print(df)

print("\nChecking for null values:")
print(df.isnull())

print("\nChecking for non-null values:")
print(df.notnull())

            

              
                Copy
              
            
          

ספירת ערכים חסרים

כדי לקבל סיכום של ערכים חסרים לפי עמודה, אתה יכול לשרשר את isnull() עם השיטה sum():

            print("\nNumber of missing values per column:")
print(df.isnull().sum())

            

              
                Copy
              
            
          

פלט זה יראה לך בדיוק כמה ערכים חסרים קיימים בכל עמודה, ויספק סקירה מהירה של היקף הבעיה.

המחשת נתונים חסרים

עבור מערכי נתונים גדולים יותר, המחשת נתונים חסרים יכולה להיות מאוד מעמיקה. ספריות כמו missingno יכולות לעזור לך לזהות דפוסים בחסר.

            # You might need to install this library:
# pip install missingno

import missingno as msno
import matplotlib.pyplot as plt

print("\nVisualizing missing data:")
msno.matrix(df)
plt.title("Missing Data Matrix")
plt.show()

            

              
                Copy
              
            
          

תבנית המטריצה מציגה סרגל צפוף עבור כל עמודה שבה נתונים קיימים וסרגל דליל במקום שבו הוא חסר. זה יכול לחשוף אם חסר הוא אקראי או עוקב אחר דפוס.

אסטרטגיות לטיפול בערכים חסרים

ישנן מספר אסטרטגיות נפוצות להתמודדות עם נתונים חסרים. הבחירה באסטרטגיה תלויה לעתים קרובות באופי הנתונים, ביחס הערכים החסרים ובמטרות הניתוח שלך.

1. אסטרטגיות מחיקה

מחיקה כרוכה בהסרת נקודות נתונים שיש להן ערכים חסרים. למרות שזה נראה פשוט, חשוב להבין את ההשלכות שלו.

א. מחיקת שורות (מחיקה לפי רשימה)

זו הגישה הפשוטה ביותר: הסר שורות שלמות המכילות לפחות ערך חסר אחד.

            print("\nDataFrame after dropping rows with any missing values:")
df_dropped_rows = df.dropna()
print(df_dropped_rows)

            

              
                Copy
              
            
          

יתרונות: פשוט ליישום, מביא למערך נתונים נקי עבור אלגוריתמים שאינם יכולים לטפל בערכים חסרים.

חסרונות: עלול להוביל להפחתה משמעותית בגודל מערך הנתונים, אובדן פוטנציאלי של מידע יקר והכנסת הטיה אם החסר אינו אקראי לחלוטין (MCAR - Missing Completely At Random).

ב. מחיקת עמודות

אם לעמודה מסוימת יש אחוז גבוה מאוד של ערכים חסרים ואינה קריטית לניתוח שלך, ייתכן שתשקול למחוק את העמודה כולה.

            # Example: Drop 'col1' if it had too many missing values (hypothetically)
# For demonstration, let's create a scenario with more missing data in col1
data_high_missing = {'col1': [1, np.nan, np.nan, np.nan, 5],
                   'col2': [np.nan, 'b', 'c', 'd', 'e'],
                   'col3': [6, 7, 8, np.nan, 10]}
df_high_missing = pd.DataFrame(data_high_missing)

print("\nDataFrame with potentially high missingness in col1:")
print(df_high_missing)
print("\nMissing values per column:")
print(df_high_missing.isnull().sum())

# Let's say we decide to drop col1 due to high missingness
df_dropped_col = df_high_missing.drop('col1', axis=1) # axis=1 indicates dropping a column
print("\nDataFrame after dropping col1:")
print(df_dropped_col)

            

              
                Copy
              
            
          

יתרונות: יעיל אם עמודה אינה אינפורמטיבית ברובה עקב נתונים חסרים.

חסרונות: אובדן פוטנציאלי של תכונות יקרות. הסף ל"יותר מדי ערכים חסרים" הוא סובייקטיבי.

2. אסטרטגיות השלמה

השלמה כרוכה בהחלפת ערכים חסרים בערכים משוערים או מחושבים. זה מועדף לעתים קרובות על מחיקה מכיוון שהוא שומר על גודל מערך הנתונים.

א. השלמה ממוצעת/חציונית/מצב

זוהי טכניקת השלמה נפוצה ופשוטה. עבור עמודות מספריות, אתה יכול להחליף ערכים חסרים בממוצע או בחציון של הערכים הלא חסרים באותה עמודה. עבור עמודות קטגוריות, משתמשים במצב (הערך השכיח ביותר).

• השלמה ממוצעת: מתאימה לנתונים המופצים בדרך כלל. רגיש לאאוטליירים.
• השלמה חציונית: חזקה יותר לאאוטליירים מאשר השלמה ממוצעת.
• השלמה לפי מצב: משמשת לתכונות קטגוריות.

            # Using the original df with some NaN values
print("\nOriginal DataFrame for imputation:")
print(df)

# Impute missing values in 'col1' with the mean
mean_col1 = df['col1'].mean()
df['col1'].fillna(mean_col1, inplace=True)

# Impute missing values in 'col3' with the median
median_col3 = df['col3'].median()
df['col3'].fillna(median_col3, inplace=True)

# Impute missing values in 'col2' with the mode
mode_col2 = df['col2'].mode()[0] # mode() can return multiple values if there's a tie
df['col2'].fillna(mode_col2, inplace=True)

print("\nDataFrame after mean/median/mode imputation:")
print(df)

            

              
                Copy
              
            
          

יתרונות: פשוט, שומר על גודל מערך הנתונים.

חסרונות: עלול לעוות את השונות ואת ה-covariance של הנתונים. מניח שהממוצע/חציון/מצב הוא ערך מייצג טוב לנתונים החסרים, אשר ייתכן שלא תמיד יהיה נכון.

ב. מילוי קדימה ומילוי אחורה

שיטות אלה שימושיות במיוחד עבור נתוני סדרות זמן או נתונים עם סדר טבעי.

• מילוי קדימה (ffill): ממלא ערכים חסרים בתצפית התקפה האחרונה הידועה.
• מילוי אחורה (bfill): ממלא ערכים חסרים בתצפית החוקית הבאה הידועה.

            # Recreate a DataFrame with missing values suitable for ffill/bfill
data_time_series = {'value': [10, 12, np.nan, 15, np.nan, np.nan, 20]}
df_ts = pd.DataFrame(data_time_series)

print("\nOriginal DataFrame for time-series imputation:")
print(df_ts)

# Forward fill
df_ts_ffill = df_ts.fillna(method='ffill')
print("\nDataFrame after forward fill:")
print(df_ts_ffill)

# Backward fill
df_ts_bfill = df_ts.fillna(method='bfill')
print("\nDataFrame after backward fill:")
print(df_ts_bfill)

            

              
                Copy
              
            
          

יתרונות: שימושי עבור נתונים מסודרים, שומר על יחסי זמן.

חסרונות: עלול להפיץ ערכים שגויים אם יש פערים ארוכים של נתונים חסרים. ffill אינו מביא בחשבון מידע עתידי, ו- bfill אינו מביא בחשבון מידע מהעבר.

ג. השלמה באמצעות Groupby

גישה מתוחכמת יותר היא להשלים ערכים חסרים המבוססים על סטטיסטיקות קבוצתיות. זה שימושי במיוחד כאשר אתה חושד שחסר קשור לקטגוריה או קבוצה ספציפית בתוך הנתונים שלך.

            data_grouped = {
    'category': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
    'value': [10, 20, np.nan, 25, 15, 30, 12, np.nan]
}
df_grouped = pd.DataFrame(data_grouped)

print("\nOriginal DataFrame for grouped imputation:")
print(df_grouped)

# Impute missing 'value' based on the mean 'value' of each 'category'
df_grouped['value'] = df_grouped.groupby('category')['value'].transform(lambda x: x.fillna(x.mean()))

print("\nDataFrame after grouped mean imputation:")
print(df_grouped)

            

              
                Copy
              
            
          

יתרונות: מביא בחשבון וריאציות בין קבוצות, מה שמוביל לרוב להשלמות מדויקות יותר מהממוצע/חציון/מצב גלובלי.

חסרונות: דורש משתנה קיבוץ רלוונטי. יכול להיות עתיר חישובים עבור מערכי נתונים גדולים מאוד.

ד. טכניקות השלמה מתקדמות יותר

עבור תרחישים מורכבים יותר, במיוחד בצנרות למידת מכונה, שקול שיטות מתקדמות אלה:

• K-Nearest Neighbors (KNN) Imputer: משלים ערכים חסרים באמצעות הערכים של K השכנים הקרובים ביותר שלהם שנמצאו בקבוצת האימונים.
• Iterative Imputer (למשל, באמצעות MICE - Multiple Imputation by Chained Equations): מדל כל תכונה עם ערכים חסרים כפונקציה של תכונות אחרות ומשתמש בהשלמה מטריצתית בייזיאנית איטרטיבית להשלמה.
• השלמת רגרסיה: חוזה ערכים חסרים באמצעות מודלי רגרסיה.

שיטות אלה זמינות בדרך כלל בספריות כמו Scikit-learn.

            # Example using Scikit-learn's KNNImputer
from sklearn.impute import KNNImputer

# KNNImputer works on numerical data. We'll use a sample numerical DataFrame.
data_knn = {'A': [1, 2, np.nan, 4, 5],
            'B': [np.nan, 20, 30, 40, 50],
            'C': [100, np.nan, 300, 400, 500]}
df_knn = pd.DataFrame(data_knn)

print("\nOriginal DataFrame for KNN imputation:")
print(df_knn)

imputer = KNNImputer(n_neighbors=2) # Use 2 nearest neighbors
df_knn_imputed_arr = imputer.fit_transform(df_knn)
df_knn_imputed = pd.DataFrame(df_knn_imputed_arr, columns=df_knn.columns)

print("\nDataFrame after KNN imputation:")
print(df_knn_imputed)

            

              
                Copy
              
            
          

יתרונות: יכול לספק השלמות מדויקות יותר על ידי התחשבות ביחסים בין תכונות.

חסרונות: יקר יותר מבחינה חישובית, דורש יישום זהיר, ויש לעמוד בהנחות לגבי יחסי תכונות.

טיפול בערכים חסרים בנתונים קטגוריים

נתונים קטגוריים מציגים סט אתגרים משלהם. בעוד שהשלמת מצב נפוצה, אסטרטגיות אחרות יעילות גם הן:

• השלמה לפי מצב: כפי שהוצג קודם, מילוי בקטגוריה השכיחה ביותר.
• יצירת קטגוריה חדשה: התייחס לערכים חסרים כקטגוריה נפרדת (למשל, "לא ידוע", "חסר"). זה שימושי אם העובדה שהנתונים חסרים היא בפני עצמה אינפורמטיבית.
• השלמה המבוססת על תכונות אחרות: אם יש קשר חזק בין תכונה קטגורית לתכונות אחרות, אתה יכול להשתמש בסיווג כדי לחזות את הקטגוריה החסרה.

            data_cat = {'Product': ['A', 'B', 'A', 'C', 'B', 'A', np.nan],
            'Region': ['North', 'South', 'East', 'West', 'North', np.nan, 'East']}
df_cat = pd.DataFrame(data_cat)

print("\nOriginal DataFrame for categorical handling:")
print(df_cat)

# Strategy 1: Mode imputation for 'Region'
mode_region = df_cat['Region'].mode()[0]
df_cat['Region'].fillna(mode_region, inplace=True)

# Strategy 2: Create a new category for 'Product'
df_cat['Product'].fillna('Unknown', inplace=True)

print("\nDataFrame after categorical imputation:")
print(df_cat)

            

              
                Copy
              
            
          

שיטות עבודה מומלצות ושיקולים לקהל גלובלי

בעת עבודה עם נתונים ממקורות מגוונים ולקהל גלובלי, שקול את הדברים הבאים:

• הבן את מקור הנתונים: מדוע הערכים חסרים? האם זו בעיה מערכתית באיסוף נתונים באזור או בפלטפורמה ספציפית? ידיעת המקור יכולה להנחות את האסטרטגיה שלך. לדוגמה, אם פלטפורמת סקר נכשלת באופן עקבי ללכוד דמוגרפיה ספציפית במדינה מסוימת, ייתכן שחסר זה אינו אקראי.
• הקשר הוא המפתח: הדרך ה"נכונה" לטפל בערכים חסרים תלויה בהקשר. מודל פיננסי עשוי לדרוש השלמה קפדנית כדי להימנע אפילו מהטיות קטנות, בעוד שניתוח חקר מהיר עשוי להספיק בשיטות פשוטות יותר.
• ניואנסים תרבותיים בנתונים: שיטות איסוף נתונים עשויות להיות שונות בין תרבויות. לדוגמה, האופן שבו מדווח על "הכנסה" או האם "לא ישים" היא תגובה נפוצה יכולים להשתנות. זה יכול להשפיע על האופן שבו ערכים חסרים מתפרשים ומטופלים.
• אזורי זמן ופיגור נתונים: עבור נתוני סדרות זמן שמקורם מאזורי זמן שונים, ודא שהנתונים סטנדרטיים (למשל, ל-UTC) לפני החלת שיטות השלמה מבוססות זמן כמו ffill/bfill.
• מטבע ויחידות: בעת השלמת ערכים מספריים הכוללים מטבעות או יחידות שונות, ודא עקביות או המרה מתאימה לפני ההשלמה.
• תעד את ההחלטות שלך: תמיד תעד את השיטות שבהן השתמשת לטיפול בנתונים חסרים. שקיפות זו חיונית לשחזור ולאחרים להבין את הניתוח שלך.
• תהליך איטרטיבי: ניקוי נתונים, כולל טיפול בערכים חסרים, הוא לרוב תהליך איטרטיבי. אתה עשוי לנסות שיטה אחת, להעריך את ההשפעה שלה, ולאחר מכן לחדד את הגישה שלך.
• השתמש בספריות בחוכמה: Pandas הוא הכלי העיקרי שלך, אבל להשלמה מורכבת יותר, Scikit-learn הוא יקר ערך. בחר את הכלי הנכון עבור העבודה.

סיכום

ערכים חסרים הם חלק בלתי נמנע מעבודה עם נתוני עולם אמיתיים. Python Pandas מציעה סט גמיש ועוצמתי של כלים לזיהוי, ניתוח וטיפול בערכים חסרים אלה. בין אם תבחר במחיקה או בהשלמה, לכל שיטה יש פשרות משלה. על ידי הבנת טכניקות אלה והתחשבות בהקשר הגלובלי של הנתונים שלך, אתה יכול לשפר משמעותית את האיכות והאמינות של ניתוח הנתונים שלך ומודלים של למידת מכונה. שליטה במיומנויות ניקוי נתונים אלה היא אבן יסוד להפוך לאיש מקצוע יעיל בתחום הנתונים בכל חלק בעולם.

נקודות מרכזיות:

• זהה: השתמש ב- df.isnull().sum() ובהמחשות.
• מחק: השתמש ב- dropna() בזהירות, מודע לאובדן נתונים.
• השלם: השתמש ב- fillna() עם ממוצע, חציון, מצב, ffill, bfill או טכניקות מתקדמות יותר מ-Scikit-learn.
• הקשר חשוב: האסטרטגיה הטובה ביותר תלויה בנתונים ובמטרות שלך.
• מודעות גלובלית: שקול ניואנסים תרבותיים ומקורות נתונים.

המשך לתרגל את הטכניקות האלה, ותבנה בסיס איתן לתהליכי עבודה חזקים בתחום מדעי הנתונים.