323
矽穀資深數據科學家教你認清探索性數據分析（EDA）的價值
首發地址：https://yq.aliyun.com/articles/73880
領英：https://www.linkedin.com/in/chloemawer/
編者注：Chloe Mawer（SVDS成員）在4TDWI 上發言，可以從上獲取更多的信息。
從外表來看，數據科學通常被認為完全是由高等EDAEDA(深入機器學習或統計建模之前，EDA是一個重要的步驟，這是因為它提供了為現有問題開發適當模型並正確解釋其結果所需的來龍去脈。
但隨著工具的興起，隻需要簡單的將數據提供給黑盒就可以輕鬆實現強大的機器學習算法，因此略過EDA這一步將變得異常誘惑。然而簡單地將數據提供給黑盒並不總是一個好主意——EDA具有關鍵價值。
EDA而言是有價值的，這是因為EDA確保他們生成的結果是有效的、能被正確解析以及適用於所需的業務環境。在確保技術交付成果EDA還通過確認正在提出正確的問題而不是基於假設調查以及通過提供問題的背景來確保數據科學家的輸的出潛在的價值可以最大化。
EDA項目數據科學操作中的關鍵一部分。
EDA
EDA於1977的“中已經創造了這個詞並發展了這個領域。概括來講EDA理解EDA並利用一些定量方法來描述數據。
EDA幾種方法的組合：
原始數據集中每個字段的單變量可視化和匯總統計1
圖1
-
匯總統計（例如，時間流失2）
圖2
-
可視化以3
圖3
-
以了解數據中的字段，這些字段占據了觀察值之間的最大差異，並允許處理減少的數據量。
-
讓4
圖4
通過這些方法，數據科學家驗證假設並識別有助於理解問題和模型選擇的模式，為數據建立直覺以確保高質量分析，並驗證數據是按預期的方式生成。
EDA，這是很重要的。首先，數據科學家可以驗證在構建模型時可能已經做出的任何假設，或者是使用某些算法所必需的假設。其次，對數據的自由假設探索可以幫助識別模式以及觀察到行為的潛在原因，這可能有助於回答遇到的問題或告知建模的選擇。
通常有兩種類型的假設可能影響分析的有效性：技術和商業。正確使用特定的分析模型和算法依賴於具體的技術假設是否正確，例如變量之間沒有共線性、EDA中，評估各種技術假設以幫助選擇對手頭數據和任務而言的最佳模型。如果沒有這樣的評估，可以使用一個模型來違反那些假設使得該模型不再適用於有關數據，並可能導致對組織有負麵影響的不良預測和不正確的結論。
第二種假設，商業假設有點更難以捉摸。通過對模型的了解，數據科學家知道每種類型的假設必須對其使用有效並可以係統地檢查它們。另一方麵，商業假設可以完全無法識別並深深地糾纏於問題及其框架。有一次，我們正在與一位正在試圖了解用戶與他們的應用程序如何進行互動以及發生什麼交互信號可能會流失的用戶的客戶進行合作，他們深深地嵌入在假設出現問題的框架中，他們的假設是用戶群是由有經驗的廚師組成，並希望通過複雜的食譜提高他們的烹飪水平。事實上，用戶群主要由無經驗的用戶組成，試圖找到快速、易於準備的食物的食譜。當我們發現客戶假設是錯誤後，他們不得不開始理解一整套新的問題以告知之後的應用開發。
在驗證這些技術和商業假設的同時，數據科學家將係統地評估每個數據字段的內容及其與其他變量的相互作用，特別是表示企業想要了解或預測的行為的關鍵度量（例如使用生命周期、支出）。人類是自然模式識別器，通過以不同的方式對數據進行詳盡的可視化，並將這些可視化策略性地配置在一起，數據科學家可以利用其模式識別能力來識別行為的潛在原因、識別潛在的有問題或虛假的數據點以及開發可以通知其分析和模式的假設。
EDA是數據科學家需要親自熟練掌握數據，並為培養一種對數據是什麼的直覺，這種直覺對於能夠快速識別何時出現問題尤為重要。比如在EDA中，繪製使用壽命與年齡曲線並進行比較，可以發現年輕用戶傾向於停留某個產品的時間更長，那麼結論是當年齡下降時會增加使用周期。如果訓練的模型顯示不同的行為，就會很快意識到應該調查發生了什麼，並確保沒有犯任何的錯誤。EDA數據突出的問題或模型的實施中的錯誤會被長時間忽視，這可能會導致基於錯誤信息做出決策。
Tukey中，分析師通常很清楚他們分析的數據是如何生成的。然而，現在隨著組織內部生成大量數據集以及獲取的第三方數據，分析師通常遠離數據生成的過程。如果數據不是你認為的那樣，那麼你的結果可能會受到不良影響，更糟的是誤解後采取的行動。
這個例子會展示數據生成的方式可能被誤解，讓我們來具體看看該例子：A瞄準其產品定位。他們正在努力開發一個模型，但每次嚐試都會導致糟糕的預測結果EDA他們最初認為這是沒有必要的。但結果表明，預測的用戶是控製員工訂閱的產品的較大企業賬戶的一部分。這種控製意味著用戶可以以各種方式在數據中看起來完全相同，但具有不同的目標結果，這意味著個人層麵的數據幾乎沒有能力告知預測。在這種情形中，EDA暴露了所采取方法的技術問題，而且還表明出現的錯誤問題。如果用戶的行為受到其組織的控製，則無法對用戶進行定位。該公司需要瞄準並預測新產品訂閱的企業帳戶。
我們已經看到數據生成過程中被錯誤地假設的其他例子：
- 數據在產品的相同版本或跨平台上生成。
-
X的跨時區被蓋上時間戳。
- 記錄所有活動的數據，但僅在用戶登錄時記錄。
-
或標識符唯一。
EDAEDA4TDWIEDA有一些EDA的EDA
The Value of Exploratory Data AnalysisChloe Mawerpdf。
原文
最後更新：2017-07-12 22:11:21