Trinity Data Quality

由於企業業務的發展與IT的技術演進都是漸進性的,因此企業服務的電腦化一定是從無到有、由簡至繁,逐漸形成眾多彼此相關(往往也已建置了某種程度的資料交換)的應用系統。為了將這些分散於各業務中共用的資料保持一致性與完整性,商業智能領域產生了一項重要的應用—主資料管理(MDM,Master Data Management),尤其在多變多樣的BigData導入企業分析之後,可預見其角色益趨重要。不論企業投入MDM的程度如何或採用何種方案,資料品質實為其核心議題。

資料品質管理循環
除了MDM需求之外,針對龐雜的外來資料源,於建置BI系統的過程中建立資料品質管理機制也極為重要。TrinityDQ資料品質管理系統可以與TrinityETL整合,藉由「Data Profiling」、「Data Auditing」、「Data Cleansing」、「Data Quality Monitoring」四個模組功能的循環來管理資料品質。

1.資料現況描述 (Data Profiling)
戡定資料的樣貌,瞭解資料需求以及取得方式、分析資訊的環境、評估資料的品質與其影響層面。
 
2.資料稽核 (Data Auditing)
根據設定的資料規則,對資料進行稽核,列出不符合規則的比例及分布;針對不符資料規則的資料,調查其原因、發展改善計畫。
 
3.資料清理 (Data Cleansing)
清理現有資料中的問題,以ETL程序依預定方式過濾、更正之;或作例外處理,如交由資料擁有者決定清理方式。
 
4.資料品質持續監控 (Data Quality Monitoring)
設計控制機制,持續監控資料品質是否有落差,並定期做出資料的健康狀況報告。透過監控儀表板,可快速而清楚的掌握目前的資料品質狀況,以作為調整資料品質維護策略的依據。