trinity, Trinity, etl, ETL, hadoop, Hadoop, big data, Big Data,

Trinity 推出新版 3.7,支援 Big Data

Trinity 於本月推出3.7新版,新增對Big Data的支援。

隨著各式商業服務的 Web 化及行動化,不只網站業者,一般企業的Unstructured Data也正快速累積。這些日益增大的資料若需進行儲存與分析,已經無法使用傳統資料庫的架構來有效解決;因此Big Data的浪潮正襲向商業智慧產業,成為當今顯學。針對前述的需求,Trinity Data 研發主管謝鎮澤先生表示:

「事實上 Big Data 的內涵並非只是資料量而已,其本質包含 3 個 V:

●大小 (Volume) — 資料量的大小動輒以 Terabyte 計;

●速度 (Velocity) — 從批次、即時到串流,線上廣告要在40毫秒內決定回應內容,而授信系統必須在一毫秒裡面完成客戶信評的計算;

●多樣性 (Variety) — 資料的樣式包括結構化、非結構化以及半結構化,以及以上各種型式的組合。

我們定位為資料管理最佳幫手的產品 Trinity,於新版本緊隨業界趨勢,發表 Big Data 的介接及處理功能,以協助客戶因應資料屬性多元化、資料量與處理效能需求所帶來的挑戰,充分發揮 Big Data於企業的價值。」

目前 Big Data 解決方案最成熟的技術為 Hadoop,但其架構在應用與維護上存在特定的技術難度。Trinity Data技術總監吳承諭先生表示:「雖然 Hadoop 最大的強項是資料的平行處理能力,但資料必須先載入至 Hadoop 環境中才能進行處理。如何有效的在傳統分析資料庫系統與 Hadoop 架構間進行數據交換與處理,則是一大挑戰。本公司透過Trinity獨特的組件擴充架構,開發出 BigData Adaptor,無縫的將 Hadoop 大數據量的處理能力與傳統 ETL 作業融合在一起。使用者無需具備 Hadoop高深的管理技術,即能在現有 ETL 系統上輕鬆加入對 Hadoop 相關應用的處理能力;可保障既有系統的投資又同時能夠使用到 Hadoop 所帶來對大數據量強大的處理能力。」

除了上述作為傳統 ETL 作業與 Hadoop 架構間的數據交換橋樑外,Trinity的Hadoop Data Adaptor模組尚提供下列功能:

●簡化對 HDFS資料讀寫操作。提供HDFS Reader/Writer 組件,直接對HDFS的檔案進行讀寫動作。

●整合 HBase資料庫。提供HBase Reader/Writer 組件,直接對HBase資料庫進行讀寫動作。

●Hive 與 Pig 的整合。提供 Hive 與 Pig 語言的執行組件。