數(shù)據(jù)標(biāo)準(zhǔn)化程度低是隱藏的利潤(rùn)殺手。當(dāng)客戶姓名、產(chǎn)品或銷售數(shù)據(jù)在不同系統(tǒng)(甚至在同一個(gè)應(yīng)用程序中)以不同格式出現(xiàn)時(shí)，這會(huì)妨礙決策、增加運(yùn)營(yíng)成本并使企業(yè)面臨不必要的風(fēng)險(xiǎn)。
數(shù)據(jù)不一致會(huì)減慢從日常運(yùn)營(yíng)到高級(jí)分析的所有速度，并使組織容易犯代價(jià)高昂的錯(cuò)誤。然而，對(duì)于依賴多個(gè) SaaS 平臺(tái)和內(nèi)部應(yīng)用程序的企業(yè)來說，系統(tǒng)間的數(shù)據(jù)差異幾乎是不可避免的。這就是數(shù)據(jù)標(biāo)準(zhǔn)化勢(shì)在必行的原因。
通過實(shí)施數(shù)據(jù)標(biāo)準(zhǔn)化，企業(yè)可以消除這些差異，簡(jiǎn)化數(shù)據(jù)缺陷，并確保每個(gè)決策都基于一致、高質(zhì)量的信息。結(jié)果不僅是數(shù)據(jù)更清晰，而且效率更高、洞察力更準(zhǔn)確，數(shù)據(jù)驅(qū)動(dòng)的結(jié)果更強(qiáng)大。
什么是數(shù)據(jù)標(biāo)準(zhǔn)化?
在數(shù)據(jù)世界中，標(biāo)準(zhǔn)是指給定域中的所有數(shù)據(jù)值必須遵循的統(tǒng)一格式或結(jié)構(gòu)。數(shù)據(jù)標(biāo)準(zhǔn)化 是將不正確或不可接受的數(shù)據(jù)表示形式轉(zhuǎn)換為可接受形式的過程。
了解什么是“可接受的”的最簡(jiǎn)單方法是了解您的業(yè)務(wù)需求。理想情況下，組織必須確保大多數(shù)(如果不是全部)應(yīng)用程序使用的數(shù)據(jù)模型應(yīng)符合其業(yè)務(wù)需求。實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化的最 佳方法是使數(shù)據(jù)表示、結(jié)構(gòu)和定義與組織要求保持一致。
與許多人的想法相反，數(shù)據(jù)標(biāo)準(zhǔn)化不僅僅是整理數(shù)據(jù)庫(kù)中的信息，而是要構(gòu)建干凈、可靠的數(shù)據(jù)基礎(chǔ)，以推動(dòng)增長(zhǎng)。標(biāo)準(zhǔn)化數(shù)據(jù)的呈現(xiàn)方式可確保所有系統(tǒng)都使用同一種語言。這使得數(shù)據(jù)專業(yè)人員更容易提取有意義的見解、做出準(zhǔn)確的決策、改善客戶體驗(yàn)并簡(jiǎn)化運(yùn)營(yíng)。
數(shù)據(jù)標(biāo)準(zhǔn)化錯(cuò)誤的類型和示例
從格式不匹配到結(jié)構(gòu)不一致，非標(biāo)準(zhǔn)化數(shù)據(jù)可以以各種形式表現(xiàn)出來，從而減慢流程并難以提取價(jià)值。以下是一些常見的數(shù)據(jù)標(biāo)準(zhǔn)化錯(cuò)誤示例：
1.數(shù)據(jù)類型不一致：
當(dāng)不同的系統(tǒng)將相同的信息存儲(chǔ)為不同的數(shù)據(jù)類型時(shí)，就會(huì)發(fā)生這種情況。例如，一個(gè)系統(tǒng)可能將客戶的電話號(hào)碼存儲(chǔ)為帶有破折號(hào)或括號(hào)等字符的字符串(文本)，而另一個(gè)系統(tǒng)只允許將其存儲(chǔ)為正好 10 位的數(shù)字。這種不一致可能導(dǎo)致數(shù)據(jù)集成和處理過程中出現(xiàn)錯(cuò)誤。
2.結(jié)構(gòu)不一致：
當(dāng)系統(tǒng)間數(shù)據(jù)字段的格式或組織不同時(shí)，就會(huì)發(fā)生結(jié)構(gòu)不一致。例如，一個(gè)應(yīng)用程序可能將客戶姓名存儲(chǔ) 為單個(gè)字段，而另一個(gè)應(yīng)用程序則將其分解為名字、中間名和姓氏。這種數(shù)據(jù)不一致使得難以有效地組合或分析數(shù)據(jù)。
3.格式不一致：
當(dāng)同一類型的數(shù)據(jù)在不同系統(tǒng)中以不同的格式呈現(xiàn)時(shí)，就會(huì)出現(xiàn)這種數(shù)據(jù)標(biāo)準(zhǔn)化錯(cuò)誤。例如，客戶的出生日期在一個(gè)系統(tǒng)中可能采用MM/DD/YYY(數(shù)字格式 - 例如 09/15/2024)格式，而在另一個(gè)系統(tǒng)中則采用月日年(文本格式，例如 2024 年 9 月 15 日)格式。如果不采用一致的標(biāo)準(zhǔn)，這些不同的格式可能會(huì)使跨系統(tǒng)比較、匯總或分析數(shù)據(jù)變得困難。
4. 域值不一致：
當(dāng)數(shù)據(jù)值在不同系統(tǒng)中的表示方式不同時(shí)，就會(huì)發(fā)生域值不一致。例如，客戶性別在一個(gè)系統(tǒng)中可能被列為“女性”或“男性”，而另一個(gè)系統(tǒng)則使用“F”或“M”。這會(huì)在數(shù)據(jù)分析過程中造成混亂。
5.人為錯(cuò)誤和數(shù)據(jù)輸入錯(cuò)誤：
除了這些常見情況之外，拼寫錯(cuò)誤、縮寫、打字錯(cuò)誤、轉(zhuǎn)錄錯(cuò)誤以及缺乏驗(yàn)證約束也會(huì)增加數(shù)據(jù)標(biāo)準(zhǔn)化錯(cuò)誤并導(dǎo)致數(shù)據(jù)集不完整或不準(zhǔn)確。
為什么需要標(biāo)準(zhǔn)化數(shù)據(jù)?
每個(gè)系統(tǒng)都有自己的一套限制和約束，這導(dǎo)致了獨(dú)特的數(shù)據(jù)模型及其定義。因此，組織可能需要轉(zhuǎn)換數(shù)據(jù)，然后才能被任何業(yè)務(wù)流程正確使用。標(biāo)準(zhǔn)化也是必要的，以解決不一致和錯(cuò)誤，并獲得準(zhǔn)確、可靠的數(shù)據(jù)，以便做出有效的決策。
數(shù)據(jù)標(biāo)準(zhǔn)化不僅僅是技術(shù)上的需要，也是任何希望充分發(fā)揮數(shù)據(jù)潛力的企業(yè)的戰(zhàn)略要求。以下是數(shù)據(jù)標(biāo)準(zhǔn)化至關(guān)重要的主要原因：
1. 確認(rèn)傳入或傳出數(shù)據(jù)
組織經(jīng)常與外部利益相關(guān)者(例如供應(yīng)商或合作伙伴)交換數(shù)據(jù)點(diǎn)。這通過多個(gè)接口完成。如果沒有標(biāo)準(zhǔn)化，傳入和傳出數(shù)據(jù)的格式和結(jié)構(gòu)可能會(huì)有所不同，并帶來集成挑戰(zhàn)和數(shù)據(jù)質(zhì)量問題。例如，如果您的 CRM 系統(tǒng)從合作伙伴處收到不同格式的客戶數(shù)據(jù)(例如，電話號(hào)碼為文本而不是數(shù)字)，則數(shù)據(jù)集中可能會(huì)出現(xiàn)不一致的情況。
標(biāo)準(zhǔn)化數(shù)據(jù)可確保所有傳入和傳出信息遵循相同的格式和定義。它可確保一致性、減少錯(cuò)誤并簡(jiǎn)化數(shù)據(jù)集成流程。
2. 為商業(yè)智能(BI)或分析準(zhǔn)備數(shù)據(jù)
如上所述，相同的數(shù)據(jù)可以用多種方式表示。但是，大多數(shù) BI 工具并非專門用于處理數(shù)據(jù)值的每種可能表示。因此，它最終可能會(huì)以不同的方式處理相同的數(shù)據(jù)。這可能會(huì)導(dǎo)致有偏差或不準(zhǔn)確的 BI 結(jié)果。因此，在將數(shù)據(jù)輸入 BI 系統(tǒng)之前，必須對(duì)其進(jìn)行 清理、標(biāo)準(zhǔn)化和重復(fù)數(shù)據(jù)刪除，以確保提供正確、有價(jià)值的見解，從而推動(dòng)更好的決策和戰(zhàn)略制定。
3. 合并實(shí)體以消除重復(fù)
數(shù)據(jù)重復(fù)是企業(yè)面臨的最大數(shù)據(jù)質(zhì)量隱患之一。為了實(shí)現(xiàn)高效、無錯(cuò)誤的業(yè)務(wù)運(yùn)營(yíng)，您必須 消除 屬于同一實(shí)體(無論是客戶、產(chǎn)品、位置還是員工)的 重復(fù)記錄，而有效的數(shù)據(jù)重復(fù)刪除 流程需要您遵守?cái)?shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。
標(biāo)準(zhǔn)化有助于整合記錄，消除冗余，并確保每個(gè)實(shí)體只出現(xiàn)一次，從而提高數(shù)據(jù)準(zhǔn)確性和運(yùn)營(yíng)效率。
4. 部門間共享數(shù)據(jù)
為了使數(shù)據(jù)在部門之間互操作，數(shù)據(jù)必須采用每個(gè)人都能理解的格式。然而，實(shí)際上，組織內(nèi)的不同部門可能使用不同的數(shù)據(jù)系統(tǒng)和格式。這可能會(huì)延遲任務(wù)完成并阻礙團(tuán)隊(duì)生產(chǎn)力。
數(shù)據(jù)標(biāo)準(zhǔn)化有利于實(shí)現(xiàn)數(shù)據(jù)的無縫共享和交流，確保信息在各部門之間可互操作。
數(shù)據(jù)標(biāo)準(zhǔn)化的好處
數(shù)據(jù)標(biāo)準(zhǔn)化具有一系列優(yōu)勢(shì)，對(duì)于任何旨在改進(jìn)和優(yōu)化數(shù)據(jù)管理實(shí)踐的組織來說，這都是一個(gè)必不可少的過程。它確保：
一致性：數(shù)據(jù)標(biāo)準(zhǔn)化將所有數(shù)據(jù)條目轉(zhuǎn)換為相同的格式，減少錯(cuò)誤并提高準(zhǔn)確性。
效率：標(biāo)準(zhǔn)化數(shù)據(jù)極大地加快了各種業(yè)務(wù)流程，并避免了因手動(dòng)更正數(shù)據(jù)而造成的代價(jià)高昂的延誤。
互操作性：數(shù)據(jù)標(biāo)準(zhǔn)化實(shí)現(xiàn)跨部門和系統(tǒng)之間的無縫數(shù)據(jù)共享。
合規(guī)性：標(biāo)準(zhǔn)化數(shù)據(jù)有助于滿足某些行業(yè)對(duì)數(shù)據(jù)處理和治理的監(jiān)管要求。
數(shù)據(jù)標(biāo)準(zhǔn)化可以從根本上改變組織的運(yùn)作方式。
標(biāo)準(zhǔn)化數(shù)據(jù)可實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的決策，提高運(yùn)營(yíng)效率，并確保遵守行業(yè)法規(guī)和協(xié)議。這是一項(xiàng)投資，可通過降低與數(shù)據(jù)管理不善相關(guān)的成本并為組織取得成功奠定基礎(chǔ)，從而產(chǎn)生長(zhǎng)期收益。
數(shù)據(jù)清理與數(shù)據(jù)標(biāo)準(zhǔn)化
數(shù)據(jù)清理和數(shù)據(jù)標(biāo)準(zhǔn)化這兩個(gè)術(shù)語經(jīng)常互換使用。但兩者之間還是有細(xì)微差別的。
數(shù)據(jù)清理
數(shù)據(jù)清理是識(shí)別不正確或臟數(shù)據(jù)并用正確值替換的過程。這涉及以下任務(wù)：
刪除重復(fù)項(xiàng)：識(shí)別和消除重復(fù)記錄以確保每個(gè)數(shù)據(jù)點(diǎn)都是唯一的。
糾正錯(cuò)誤：修復(fù)印刷錯(cuò)誤、拼寫錯(cuò)誤和不正確的輸入。
填充缺失數(shù)據(jù)：通過輸入缺失值(在適當(dāng)?shù)那闆r下)或使用數(shù)據(jù)插補(bǔ)技術(shù)來解決數(shù)據(jù)集中的空白。
數(shù)據(jù)標(biāo)準(zhǔn)化
數(shù)據(jù)標(biāo)準(zhǔn)化是指將數(shù)據(jù)值轉(zhuǎn)換為不同系統(tǒng)和數(shù)據(jù)集中可接受的一致格式的過程。這涉及：
一致的格式：確保數(shù)據(jù)以統(tǒng)一的格式表示，例如在所有系統(tǒng)中使用相同的日期或電話號(hào)碼格式。
統(tǒng)一定義：協(xié)調(diào)定義和價(jià)值觀，例如使用標(biāo)準(zhǔn)化代碼或術(shù)語來表示類別，如使用“男性”或“M”表示性別。
盡管存在這些差異，但這兩個(gè)過程的目的(和結(jié)果)是相似的——消除數(shù)據(jù)集中的不準(zhǔn)確性和不一致性。這兩個(gè)過程對(duì)于 數(shù)據(jù)質(zhì)量管理 計(jì)劃都至關(guān)重要，必須齊頭并進(jìn)。
如何標(biāo)準(zhǔn)化數(shù)據(jù)?
數(shù)據(jù)標(biāo)準(zhǔn)化是一個(gè)結(jié)構(gòu)化的過程，可確保數(shù)據(jù)集的一致性。它包括四個(gè)簡(jiǎn)單的步驟：定義、測(cè)試、轉(zhuǎn)換和重新測(cè)試。讓我們更詳細(xì)地介紹每個(gè)步驟。
1. 定義標(biāo)準(zhǔn)
數(shù)據(jù)標(biāo)準(zhǔn)化過程的第一步是建立符合組織需求的明確標(biāo)準(zhǔn)。定義標(biāo)準(zhǔn)的最 佳方式是為您的企業(yè)設(shè)計(jì)數(shù)據(jù)模型。該數(shù)據(jù)模型將代表某個(gè)實(shí)體的數(shù)據(jù)值必須符合的最理想狀態(tài)。
設(shè)計(jì)數(shù)據(jù)模型包括：
識(shí)別關(guān)鍵數(shù)據(jù)資產(chǎn)： 確定對(duì)您的業(yè)務(wù)運(yùn)營(yíng)至關(guān)重要的數(shù)據(jù)元素，例如客戶詳細(xì)信息、產(chǎn)品信息或財(cái)務(wù)記錄。
定義數(shù)據(jù)字段和結(jié)構(gòu)：概述每個(gè)數(shù)據(jù)字段應(yīng)包含哪些信息以及應(yīng)如何構(gòu)建。例如，客戶資料可能包括姓名、地址、電子郵件和電話號(hào)碼字段 - 其中姓名字段跨越三個(gè)字段，地址字段跨越兩個(gè)字段。
設(shè)置數(shù)據(jù)類型和限制：為資產(chǎn)中標(biāo)識(shí)的每個(gè)字段分配數(shù)據(jù)類型。例如，名稱字段是字符串值，電話號(hào)碼是整數(shù)值，等等。此外，指定字符或數(shù)字限制。例如，電話號(hào)碼可能限制為 10 位數(shù)字，姓名可能限制為 15 個(gè)字符，等等。您還可以設(shè)置最小字符限制。
建立模式和格式：確定數(shù)據(jù)字段必須遵循的模式和格式——這可能不適用于所有字段。例如，每個(gè)客戶的電子郵件地址都應(yīng)遵循正則表達(dá)式：[chars]@[chars].[chars]，或日期必須遵循 MM/DD/YYYY 格式。
定義數(shù)值的測(cè)量單位(如果適用)：例如，客戶的年齡以年份來衡量。
創(chuàng)建值域：為具有預(yù)定義選項(xiàng)的字段定義可接受的值，例如客戶年齡必須是 18 到 50 之間的數(shù)字、性別必須是男或女、狀態(tài)必須是活躍或不活躍，等等。
設(shè)計(jì)完成后，可以將數(shù)據(jù)模型放置在 ERD 類圖中，以幫助可視化每個(gè)數(shù)據(jù)資產(chǎn)的定義標(biāo)準(zhǔn)以及它們之間的關(guān)系。零售公司的標(biāo)準(zhǔn)化數(shù)據(jù)模型示例可以是：
2. 標(biāo)準(zhǔn)測(cè)試
實(shí)際的數(shù)據(jù)標(biāo)準(zhǔn)化從第二步開始，因?yàn)榈谝徊街魂P(guān)注定義標(biāo)準(zhǔn)——一次性完成或每隔一段時(shí)間逐步審查和更新。
定義標(biāo)準(zhǔn)后，下一步就是評(píng)估當(dāng)前數(shù)據(jù)與標(biāo)準(zhǔn)的符合程度。下面，我們將介紹多種技術(shù)，用于測(cè)試數(shù)據(jù)值的標(biāo)準(zhǔn)化誤差，并生成一份標(biāo)準(zhǔn)化報(bào)告，突出顯示不一致之處，從而可用于解決問題。
a.解析記錄和屬性
設(shè)計(jì)數(shù)據(jù)模型是數(shù)據(jù)管理中最重要的部分。但不幸的是，許多組織沒有及時(shí)設(shè)計(jì)數(shù)據(jù)模型和設(shè)置通用數(shù)據(jù)標(biāo)準(zhǔn)，或者他們使用的應(yīng)用程序沒有可自定義的數(shù)據(jù)模型——導(dǎo)致他們以不同的字段名稱和結(jié)構(gòu)捕獲數(shù)據(jù)。
當(dāng)您從不同的系統(tǒng)收集信息時(shí)，您可能會(huì)注意到，有些記錄會(huì)將客戶姓名作為單個(gè)字段返回，而其他記錄則會(huì)返回三個(gè)甚至四個(gè)字段，涵蓋客戶姓名。因此，在對(duì)任何數(shù)據(jù)集進(jìn)行錯(cuò)誤篩查之前，您必須先解析記錄和字段，以獲得需要進(jìn)行標(biāo)準(zhǔn)化測(cè)試的組件。
解析記錄和屬性有助于了解數(shù)據(jù)在不同系統(tǒng)中的存儲(chǔ)(結(jié)構(gòu))方式并發(fā)現(xiàn)不一致的數(shù)據(jù)模型。
示例：一個(gè)系統(tǒng)可能將客戶姓名列為單個(gè)字段，而另一個(gè)系統(tǒng)則將其分為“名字”和“姓氏”字段。解析這些記錄可讓您識(shí)別不匹配的情況并確保數(shù)據(jù)在各個(gè)系統(tǒng)中遵循統(tǒng)一的結(jié)構(gòu)。
b.生成數(shù)據(jù)配置文件報(bào)告
下一步是通過分析系統(tǒng)運(yùn)行已解析的組件。 數(shù)據(jù)分析工具 會(huì)報(bào)告有關(guān)數(shù)據(jù)屬性的不同統(tǒng)計(jì)信息，例如：
一列中有多少個(gè)值符合所需的數(shù)據(jù)類型、格式和模式?
一列中存在的平均字符數(shù)。
數(shù)字列中存在的最小值和最大值。
列中最常見的值及其頻率(它們出現(xiàn)的次數(shù)?)
數(shù)據(jù)剖析報(bào)告提供了有關(guān)數(shù)據(jù)質(zhì)量的重要見解。最重要的是，它揭示了可能不太明顯的不一致之處。
示例：數(shù)據(jù)剖析報(bào)告可能會(huì)顯示，客戶地址列的 20% 包含的值超出了標(biāo)準(zhǔn)中定義的最大字符長(zhǎng)度，這表明需要進(jìn)一步清理。
c.匹配和驗(yàn)證模式
模式匹配對(duì)于驗(yàn)證數(shù)據(jù)是否符合既定標(biāo)準(zhǔn)至關(guān)重要。
盡管數(shù)據(jù)分析工具確實(shí)會(huì)報(bào)告模式匹配，但我們會(huì)單獨(dú)討論它(更深入一點(diǎn))，因?yàn)樗菙?shù)據(jù)標(biāo)準(zhǔn)化測(cè)試的重要組成部分。模式不匹配可能會(huì)揭示需要修復(fù)的不一致或不正確的數(shù)據(jù)條目。
要匹配模式，您需要先為字段定義一個(gè)標(biāo)準(zhǔn)正則表達(dá)式 (regex)。這有助于在測(cè)試期間標(biāo)記任何不符合此模式的條目。
示例：對(duì)于電子郵件地址，可以應(yīng)用正則表達(dá)式(如 ^[a-zA-Z0-9+_.-]+@[a-zA-Z0-9.-]+$)來識(shí)別不符合給定模式的電子郵件地址。
d.使用字典進(jìn)行驗(yàn)證
可以通過將值與字典或知識(shí)庫(kù)進(jìn)行比較來測(cè)試某些數(shù)據(jù)字段的標(biāo)準(zhǔn)化程度。您還可以將它們與自定義創(chuàng)建的字典進(jìn)行比較。這樣做通常是為了識(shí)別需要更正的不一致之處，例如拼寫錯(cuò)誤、非標(biāo)準(zhǔn)縮寫或縮寫名稱。
示例：公司名稱通常包含 LLC、Inc.、Ltd. 和 Corp. 等術(shù)語。將它們與充滿此類標(biāo)準(zhǔn)術(shù)語的詞典進(jìn)行對(duì)照，有助于識(shí)別哪些術(shù)語不符合要求的標(biāo)準(zhǔn)或拼寫錯(cuò)誤。
e.測(cè)試專業(yè)領(lǐng)域
在測(cè)試數(shù)據(jù)以進(jìn)行標(biāo)準(zhǔn)化時(shí)，您可能需要測(cè)試專門的字段，例如位置或地址。
地址標(biāo)準(zhǔn)化涉及根據(jù)權(quán)威數(shù)據(jù)庫(kù)(例如 USPS(在美國(guó))或其他郵政服務(wù))檢查地址格式，并將地址信息轉(zhuǎn)換為可接受的標(biāo)準(zhǔn)化格式。
標(biāo)準(zhǔn)化地址應(yīng)正確拼寫、格式化、縮寫、地理編碼，并附加準(zhǔn)確的 ZIP+4 值。所有不符合要求標(biāo)準(zhǔn)的地址(尤其是應(yīng)該接收快遞和貨物的地址)都必須標(biāo)記，以便根據(jù)需要進(jìn)行轉(zhuǎn)換。
地址測(cè)試工具可以驗(yàn)證數(shù)據(jù)是否符合郵政標(biāo)準(zhǔn)。這可確保貨物被送往正確的地點(diǎn)，并有助于避免不必要的延誤或成本。
對(duì)于不一致的地址記錄，企業(yè)內(nèi)容解決方案的匹配率比其他供應(yīng)商高出 24%。
3. 轉(zhuǎn)換
在數(shù)據(jù)標(biāo)準(zhǔn)化過程的第三步中，最終需要實(shí)施數(shù)據(jù)標(biāo)準(zhǔn)并將不合格的值轉(zhuǎn)換為標(biāo)準(zhǔn)化格式。這可以包括：
轉(zhuǎn)換字段數(shù)據(jù)類型，例如，將存儲(chǔ)為字符串的電話號(hào)碼轉(zhuǎn)換為整數(shù)，并消除電話號(hào)碼中存在的任何字符或符號(hào)以獲得 10 位數(shù)字。
轉(zhuǎn)換數(shù)據(jù)模式和格式，例如將日期格式從 DD/MM/YYYY 或月日年轉(zhuǎn)換為 MM/DD/YYYY。
更新計(jì)量單位，例如將產(chǎn)品價(jià)格轉(zhuǎn)換為美元等一致貨幣。目的是標(biāo)準(zhǔn)化計(jì)量單位。
擴(kuò)展縮寫 以完成表格，例如將 NY 替換為 New York，將 NJ 替換為 New Jersey 等等。
消除 數(shù)據(jù)值中的噪聲以獲取更有意義的信息，例如從公司名稱中刪除 LLC、Inc. 和 Corp. 以獲取沒有任何噪聲的實(shí)際名稱。目的是從數(shù)據(jù)字段中消除冗余、不相關(guān)或無用的信息。
以標(biāo)準(zhǔn)化格式重建值 ，以防需要將它們映射到新的應(yīng)用程序或數(shù)據(jù)中心(如 主數(shù)據(jù)管理系統(tǒng))。
所有這些轉(zhuǎn)換都可以手動(dòng)完成。然而，這將是一個(gè)耗時(shí)且低效的過程。值得慶幸的是，有一些自動(dòng)化工具可以通過自動(dòng)化標(biāo)準(zhǔn)測(cè)試和轉(zhuǎn)換階段來幫助簡(jiǎn)化任務(wù)并為您清理數(shù)據(jù)。
4. 重新測(cè)試以達(dá)到標(biāo)準(zhǔn)化
轉(zhuǎn)換過程完成后，重新測(cè)試數(shù)據(jù)集的標(biāo)準(zhǔn)化錯(cuò)誤是一種很好的做法。
為此，比較標(biāo)準(zhǔn)化前后的報(bào)告，以了解配置的流程修復(fù)數(shù)據(jù)錯(cuò)誤的程度(評(píng)估轉(zhuǎn)換過程的有效性)以及需要改進(jìn)的領(lǐng)域，以獲得更好的結(jié)果。
