獨家 | 識別并解決數據質量問題的數據科學家指南

作者：Arunn Thevapalan

翻譯：陳超

校對：王紫岳

在你的下一個項目之前早點這么做將會讓你免于幾周的辛苦和壓力。

如果你在處理現實數據的AI行業(yè)工作，那么你會理解這種痛苦。無論數據收集過程多么精簡 ，我們用于建模的數據總是一片狼藉。

就像IBM描述的那樣，80/20規(guī)則在數據科學領域同樣適用。數據科學家80%的寶貴時間都花費在發(fā)現、清洗以及組織數據上。僅僅留下了20%的時間用于真正的數據分析。

整理數據并不有趣。對于“垃圾輸入進去，垃圾輸出出來”這句話，我知道它的重要性，但是我真的不能享受清洗空白格，修正正則表達式，并且解決數據中無法預料的問題的過程。

根據谷歌研究：“每個人都想做建模工作，而不是數據工作”——我對此感到非常愧疚。另外 ，本文介紹了一種叫做數據級聯（data cascade）的現象，這種現象是指由底層數據問題引發(fā)的不利的后續(xù)影響的混合事件。實際上，該問題目前有三個方面 ：

  絕大多數數據科學技術并不喜歡清理和整理數據；

  只有20%的時間是在做有用的分析；

  數據質量問題如果不盡早處理，將會產生級聯現象并影響后續(xù)工作。

只有解決了這些問題才能確保清理數據是容易，快捷，自然的。我們需要工具和技術來幫助我們這些數據科學家快速識別并解決數據質量問題，并以此將我們寶貴的時間投入到分析和AI領域——那些我們真正喜歡的工作當中。

在本文當中，我將呈現一種幫助我們基于預期優(yōu)先級來提前識別數據質量問題的開源工具（https://github.com/ydataai/ydata-quality）。我很慶幸有這個工具存在，并且我等不及要跟你們分享它。

ydata-quality庫拯救數據質量

作者截圖

Ydata-quality是一個開源的Python庫，用于數據管道發(fā)展的多個階段來評估數據質量。該庫是直觀、易用的，并且你可以直接將其整合進入你的機器學習工作流。

對我個人而言，這個庫的好處在于它可以基于數據質量問題（接下來展開）的優(yōu)先級排序。在我們時間有限時，這是很有幫助的，并且我們也想優(yōu)先處理對我們數據質量影響較大的問題。

讓我向你們展示一下如何使用一團亂麻的數據的現實例子。在這個例子當中，我們將會：

1.   加載一個混亂的數據集；

2.   分析數據質量問題；

3.   進一步挖掘警告信息；

4.   應用策略來減輕這些問題；

5.   檢查在半清洗過后的數據的最終質量分析報告。

在安裝任何庫之前，最好使用venv或者conda來為項目創(chuàng)建虛擬環(huán)境，一旦這一步完成，在你的終端輸入下面這行代碼來安裝庫：

pip install ydata-quality

現在你的環(huán)境已經準備就緒，讓我們轉移到數據上吧。

現實生活中混亂的數據

在這個例子當中我們將會使用變換的人口普查數據，你可以從Github 庫（https://github.com/ydataai/ydata-quality/blob/master/datasets/transformed/census_10k.csv）下載。你可以在這個Jupyter Notebook（https://github.com/ydataai/ydata-quality/blob/master/tutorials/main.ipynb）當中找到本教程當中所有的代碼。我推薦你復制這個庫或者下載這個notebook來跟上這個例子。

第一步：加載數據集

第一步中，我們將會加載數據集以及必要的庫。注意，這個庫有多個模塊（偏差&公正，數據期望，數據關系，漂移分析，錯誤數據，標簽，缺失值）用于單獨的數據質量問題，但是我們可以從DataQuality引擎開始，該引擎把所有的個體引擎打包成了一個類。

from ydata_quality import DataQuality
import pandas as pd
df = pd.read_csv('../datasets/transformed/census_10k.csv')

第二步：分析數據質量問題

這是一個漫長的過程，但是DataQuality引擎在抽取所有細節(jié)方面確實做的很好 。只要簡單地創(chuàng)建主類并使用evaluate() 方法。

# create the main class that holds all quality modules
dq = DataQuality(df=df)
# run the tests
results = dq.evaluate()

我們將收到一個數據質量問題的報告。

Warnings:
  TOTAL: 5 warning(s)
  Priority 1: 1 warning(s)
  Priority 2: 4 warning(s)
Priority 1 - heavy impact expected:
  * [DUPLICATES - DUPLICATE COLUMNS] Found 1 columns with exactly the same feature values as other columns.
Priority 2 - usage allowed, limited human intelligibility:
  * [DATA RELATIONS - HIGH COLLINEARITY - NUMERICAL] Found 3 numerical variables with high Variance Inflation Factor (VIF>5.0). The variables listed in results are highly collinear with other variables in the dataset. These will make model explainability harder and potentially give way to issues like overfitting. Depending on your end goal you might want to remove the highest VIF variables.
  * [ERRONEOUS DATA - PREDEFINED ERRONEOUS DATA] Found 1960 ED values in the dataset.
  * [DATA RELATIONS - HIGH COLLINEARITY - CATEGORICAL] Found 10 categorical variables with significant collinearity (p-value < 0.05). The variables listed in results are highly collinear with other variables in the dataset and sorted descending according to propensity. These will make model explainability harder and potentially give way to issues like overfitting. Depending on your end goal you might want to remove variables following the provided order.
  * [DUPLICATES - EXACT DUPLICATES] Found 3 instances with exact duplicate feature values.

讓我們來仔細分析一下這個報告：

警告（Warning）：其中包括數據質量分析過程中檢測到的問題細節(jié)。

優(yōu)先級（Priority）：對每一個檢測到的問題，基于該問題預期的影響來分配一個優(yōu)先級（越低的值表明越高的優(yōu)先性）。

模塊（Modules）：每個檢測到的問題與某一個模塊（例如：數據關系，重復值，等）執(zhí)行的數據質量檢驗相關聯。

把所有的東西聯系在一起，我們注意到有五個警告被識別出來，其中之一就是高優(yōu)先級問題。它被“重復值”模塊被檢測出來，這意味著我們有一整個重復列需要修復。為了更深入地處理該問題，我們使用get_warnings()  方法。

輸入下方內容：

dq.get_warnings(test="DuplicateColumns")

我們可以看到針對我們想解決問題的詳細輸出。

[QualityWarning(category='Duplicates', test='Duplicate Columns', description='Found 1 columns with exactly the same feature values as other columns.', priority=<Priority.P1: 1>, data={'workclass': ['workclass2']})]

根據這一結果，我們可以看到列workclass和workclass2是完全重復的[37] ，這可能會產生嚴重后果。

第三步：使用特定的模塊分析數據質量問題

數據質量的全貌需要多個角度分析，因此我們需要八個不同的模塊。雖然它們被封裝在DataQuality 類當中，但一些模塊并不會運行，除非我們提供特定的參數。

例如，DataQuality類不會執(zhí)行偏差與公正（Bias & Fairness）質量檢驗，因為我們并沒有指出敏感性特征。但是這個庫的妙處在于，我們可以將其作為獨立的檢驗并執(zhí)行它。

讓我們來通過運行偏差與公正檢驗來更好地理解它。

from ydata_quality.bias_fairness import BiasFairness
#create the main class that holds all quality modules
bf = BiasFairness(df=df, sensitive_features=['race', 'sex'], label='income')
# run the tests
bf_results = bf.evaluate()

當我們運行以上代碼的時候，我們將會收到一份針對選定模塊的相似的報告。

Warnings:
  TOTAL: 2 warning(s)
  Priority 2: 2 warning(s)
Priority 2 - usage allowed, limited human intelligibility:
  * [BIAS&FAIRNESS - PROXY IDENTIFICATION] Found 1 feature pairs of correlation to sensitive attributes with values higher than defined threshold (0.5).
  * [BIAS&FAIRNESS - SENSITIVE ATTRIBUTE REPRESENTATIVITY] Found 2 values of 'race' sensitive attribute with low representativity in the dataset (below 1.00%).

從該報告中，我們了解到我們可能有一個泄露一種敏感性屬性信息的代理特征，并且敏感性屬性的特征嚴重不足。為了調查第一個Warning，我們可以利用篩選特定測試的get_warnings()方法來獲得更多詳細信息。

bf.get_warnings(test='Proxy Identification')

我們可以看到我們想要解決的問題的詳細描述：

[QualityWarning(category='Bias&Fairness', test='Proxy Identification', description='Found 1 feature pairs of correlation to sensitive attributes with values higher than defined threshold (0.5).', priority=<Priority.P2: 2>, data=features
 relationship_sex    0.650656
 Name: association, dtype: float64)]

基于詳細的Warning，我們檢查了relationship和sex列，并且注意到一些關系狀態(tài)（例如，丈夫，妻子）是基于特定性別的，從而影響了相關性。我們可以將這些分類值改成性別中立（例如，已婚）。

第四步：解決識別的問題

讓我們實際一點兒。我們永遠不會擁有100%清洗過的數據。我們所要做的是在有限的時間內解決對數據影響最大的問題。對數據科學家來說，這是一個需要你根據當前情景的限制做出的決策。

對這個例子來說，讓我們聚焦于消滅高優(yōu)先級（P1）問題并解決至少一個偏差和公正Warning?；趙arning的簡單的數據清理函數如下：

def improve_quality(df: pd.DataFrame):
    """Clean the data based on the Data Quality issues found previously."""
    # Bias & Fairness
    df = df.replace({'relationship': {'Husband': 'Married', 'Wife': 'Married'}}) # Substitute gender-based 'Husband'/'Wife' for generic 'Married'
    # Duplicates
    df = df.drop(columns=['workclass2']) # Remove the duplicated column
    df = df.drop_duplicates()            # Remove exact feature value duplicates
    return df
clean_df = improve_quality(df.copy())

我們可以放棄重復列work_class2并且替代 relationship 列的值為更通用且性別中立的。

如果你想進一步地數據清理，請繼續(xù)你的工作。如果你選擇繼續(xù)，我想看看數據清理是什么樣的。記住，你是數據科學家——決策掌握在你的手中。

第五步：運行最后的質量檢驗

你可能會跳過這一步，但是當我使用額外的最終檢驗來檢查我處理過的數據時，我會感到安心。我非常推薦你也這樣做，這樣你會知道在完成數據清洗轉換之后，你的數據的狀態(tài)。

你可以先簡單地調用質量引擎，然后調用evaluate()方法來再次檢索示例報告。下面是清理數據后DataQuality引擎和BiasFairness引擎的報告。

*DataQuality Engine Report:*
Warnings:
  TOTAL: 3 warning(s)
  Priority 2: 3 warning(s)
Priority 2 - usage allowed, limited human intelligibility:
  * [ERRONEOUS DATA - PREDEFINED ERRONEOUS DATA] Found 1360 ED values in the dataset.
  * [DATA RELATIONS - HIGH COLLINEARITY - NUMERICAL] Found 3 numerical variables with high Variance Inflation Factor (VIF>5.0). The variables listed in results are highly collinear with other variables in the dataset. These will make model explainability harder and potentially give way to issues like overfitting. Depending on your end goal you might want to remove the highest VIF variables.
  * [DATA RELATIONS - HIGH COLLINEARITY - CATEGORICAL] Found 9 categorical variables with significant collinearity (p-value < 0.05). The variables listed in results are highly collinear with other variables in the dataset and sorted descending according to propensity. These will make model explainability harder and potentially give way to issues like overfitting. Depending on your end goal you might want to remove variables following the provided order.
*Bias & Fairness Report:*
Warnings:
  TOTAL: 1 warning(s)
  Priority 2: 1 warning(s)
Priority 2 - usage allowed, limited human intelligibility:
  * [BIAS&FAIRNESS - SENSITIVE ATTRIBUTE REPRESENTATIVITY] Found 2 values of 'race' sensitive attribute with low representativity in the dataset (below 1.00%).

我們可以從上面的兩個報告當中推斷出，我們的高優(yōu)先級問題已經被解決了，并且另外一個低優(yōu)先級問題已經如我們所預料地解決了。

結束寄語

因為ydata-quality的存在我太輕松了（圖片由Cookie_studio制作來自Freepik）

看，雖然我們痛恨清理數據，但是這并不意味著我們不會做這項工作。這就是為什么它是機器學習工作流（https://towardsdatascience.com/the-machine-learning-workflow-explained-557abf882079）當中的一個不可分割的階段，而它的解決方法就是整合像ydata-quality（https://github.com/ydataai/ydata-quality）這樣有價值的工具和庫進入到我們的工作流里。

在這篇文章中，我們學到如何使用開源包來評估數據集的數據質量，用 DataQuality 主引擎和特定的模塊引擎（例如BiasFairness）。進一步地，我們看到QualityWarning 如何提供高水平的嚴重性評定并向我們指出產生Warning的原始數據。

在這之后，我們基于數據質量問題定義數據清理管道，同時對混亂的數據進行轉換，并觀察它如何解決我們的目標Warning的。

YData團隊開發(fā)了這個庫，這個團隊的使命就是改善人工智能行業(yè)的數據質量。更多問題請加入友好的slack社區(qū)并然后直接向開發(fā)團隊詢問所有問題（你也可以在那里找到我?。?/p>

我們一起肯定可以改善這個庫，你的反饋將意味著這個庫解決了你在未來的大部分緊迫問題。我迫不及待地想看到你使用這個ydata-Quality，并得到你在社區(qū)內的反饋。

原文標題：

A Data Scientist’s Guide to Identifyand Resolve Data Quality Issues

原文鏈接：

https://towardsdatascience.com/a-data-scientists-guide-to-identify-and-resolve-data-quality-issues-1fae1fc09c8d?gi=cbccd2061ee2