金融業巨量資料解決方案之歷史帳單查詢

商業挑戰
銀行面臨互聯網金融挑戰的今天,對用戶需求回應的時效性非常關鍵,是面向客戶轉型的重要基礎。傳統銀行歷史資料查詢基於成本考量,多以光碟儲存建置,系統架構已無法負擔快速線上查詢的挑戰。

舉例某銀行既有的客戶歷史交易資料查詢體系,由核心業務系統提供最近13個月的客戶歷史交易明細,單次查詢時間段跨度最長為13 個月;由光碟查詢系統提供13 個月以上的客戶歷史交易明細,單次查詢時間段最長為1個月。目前光碟查詢系統極需解決的問題如下:

● 光碟查詢庫中資料不完整,所能提供的單次查詢時間段期限較短,客戶要求查詢歷史明細時間跨度較長(如5-10 年);

● 同時查詢客戶數較多時,系統回應緩慢;

● 光碟查詢庫中資料來源於多個系統,資料格式不統一,客戶感受度較差,這已經嚴重影響了客戶體驗;

● 光碟查詢無法做到即時,需要過多的人工介入。

而因應新時代資料應用之趨勢,金融業歷史交易資料查詢系統須具備:

● 處理與集成非結構化資料的能力

除了傳統歷史交易資料(櫃檯傳統交易、ATM、信用卡交易、貸款記錄等),尚須包括非結構化文檔資料(Call Center語音資料、各類文檔、郵件、對公新聞),客戶非結構化交易資料(社交資料、手機銀行/證券、網路商城等)。

● 平衡資料爆炸式增長的處理效能與成本

傳統歷史交易資料累計越來越大,除歸檔成本高昂外,亦導致性能瓶頸,難以讓客戶查詢一年以上的交易帳單;須以合理成本提供大容量儲存與高效能數據處理。

預期目標
以巨量資料技術平臺汰換光碟儲存架構,新一代客戶歷史交易資料查詢系統全面解決:

  • ● 海量資料儲存 — 核心系統所有客戶歷史交易明細資料的全線上儲存
  • ● 長時間段查詢 — 單次查詢不再有13 個月的週期限制
  • ● 統一客戶體驗 — 資料的統一儲存、統一資料格式、統一客戶體驗
  • ● 多樣查詢選擇 — 可按帳號或客戶號查詢,可單筆或批量查詢

解決方案

總體架構

解決方案說明

1.歷史資料歸檔儲存

● 資料範圍:根據應用需要,圈定歷史歸檔範圍(各類帳單,交易明細)和載入策略(全量,增量,歷史資料連續性等)。內部操作型系統非結構化(公文、郵件、Call Center音訊等)、半結構化資料一般通過資料交換收集至巨量資料平臺;外部系統的非結構化(微博、新聞、網路商店等)、半結構化資料(網路日誌)通過批量收集至巨量資料平臺;再根據巨量資料應用需要,從資料集成平臺為分析探勘批量補充結構化資料參考;

● 資料服務:以巨量資料海量查詢、批量資料整合計算服務、分析探勘服務為主,提供週期更長,更明細的即時查詢服務(比如歷史帳單,歷史交易等)。

● 資料探索及預測:深入的資料服務,為未來的資料分析(輿情分析,客戶360度,反詐欺等)提供更完善的視角;提供深度的,更為準確的針對客戶的預測性服務(包括客戶價值,信用風險等)。

2.傳統資料庫與Hadoop有機集成:巨量資料整合工具Trinity

● 歸檔平臺和當前資料倉庫的資料無縫流動

● 業務系統和歸檔平臺的資料導入和匯出

3.即時訪問

● 針對Hbase進行壓縮,加速以提供更好的相應速度,實現即時訪問歷史帳單資料

● WibiData提供自訂查詢報表介面,供IT支援人員支撐變化多樣的業務需求

4.擴展性與安全性

● 儲存性能的擴展性

● PC Server線性擴展,並有高安全性(快照,HA等)

● 未來非結構化資料應用的低成本擴展性

系統綜合效益
    1.低延時回應:某實際案例可達6TB 資料、120 億條記錄,實現2000 併發平均40 毫秒的查詢回應速度。

2.高架構擴展性:建成集成、共用的巨量資料基礎平臺,原生態Hadoop2.2支援超過10000個節點,可以支援的儲存多達100PB+。

3.降低成本:傳統MPP為 60000美元/TB,Hadoop為1000美元/TB。

4.增進資料價值(資料資產):歸檔平臺提供巨量資料完整解決方案,讓龐大的歷史資料成為資產而不是儲存和維護負擔。

Why Trinity
和傳統的資料處理工具相比,Trinity提供豐富的資料轉換功能、高效能運算、高可靠性可擴展架構、資料加密與完整稽核軌跡之安全性,以及強大的作業排程式控制管,特別適於本案的資料集成應用。

Trinity更提供巨量資料功能(BDM, Big Data Management) 與Hadoop系統緊密結合,在傳統資料庫與歷史資料歸檔儲存平臺之間資料無縫流動,建立一個易於管理,易於使用,穩定可靠的資料整合平臺。