跨境電商數(shù)據(jù)清洗是發(fā)現(xiàn)并糾正跨境電商數(shù)據(jù)文件中可識別的錯誤的最后一道程序，包括檢查數(shù)據(jù)一致性、處理無效值和缺失值等。

與問卷審核不同，數(shù)據(jù)清理一般由計算機而不是人工完成。

1.跨境電商數(shù)據(jù)清洗的概念數(shù)據(jù)清洗( Data cleaning)對數(shù)據(jù)進行重新審查和校驗，目的在于刪除重復(fù)信息、糾正存在的錯誤，并保證數(shù)據(jù)一致性。

從名字上看，跨境電商數(shù)據(jù)清洗就是把跨境電商數(shù)據(jù)中“臟”的部分“洗掉”，因為數(shù)據(jù)庫中的數(shù)據(jù)是某一主題數(shù)據(jù)的集合，這些數(shù)據(jù)從多個業(yè)務(wù)系統(tǒng)中抽取而來，而且包含歷史數(shù)據(jù)這樣就會出現(xiàn)有的數(shù)據(jù)是錯誤數(shù)據(jù)、有的數(shù)據(jù)相互之間有沖突等情況，這些錯誤的或有沖突的數(shù)據(jù)顯然是我們不想要的，被稱為“臟數(shù)據(jù)”。

我們要按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”，這就是跨境電商數(shù)據(jù)清洗。

而跨境電商數(shù)據(jù)清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù)，將過濾的結(jié)果交給業(yè)務(wù)主管部門，確認是過濾還是由業(yè)務(wù)主管部門修正之后再進行抽取。

跨境電商數(shù)據(jù)清洗是一個反復(fù)進行的過程，不可能在幾天內(nèi)完成，需要不斷地發(fā)現(xiàn)問題、解決問題。

數(shù)據(jù)是否過濾、是否修正，一般要求客戶確認。

對于過濾數(shù)據(jù)，一般要求寫入 Excel 文件中或者將過濾數(shù)據(jù)寫入數(shù)據(jù)表中。

在 ETL 開發(fā)的初期，可以每天向業(yè)務(wù)主管部門發(fā)送過濾數(shù)據(jù)的郵件，促使他們盡快地修正錯誤，同時可以將其作為將來的驗證依據(jù)。

跨境電商數(shù)據(jù)清洗需要注意的是不要將有用的數(shù)據(jù)過濾，對每個過濾規(guī)則都應(yīng)認真進行驗證，并要求客戶確認。

2.跨境電商數(shù)據(jù)清洗的原理跨境電商數(shù)據(jù)清洗原理是指利用有關(guān)技術(shù)，如數(shù)理統(tǒng)計、數(shù)據(jù)挖掘或預(yù)定義的清理規(guī)則將“臟數(shù)據(jù)”轉(zhuǎn)化為滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)。