電信業巨量資料解決方案之歷史話單查詢

商業挑戰
隨著國內3G網路的成熟以及4G網路的來臨,目前電信業遇到一個世紀問題:隨著流量的增長,3G通信費的爭議也迅速增加。現在流量方面的投訴達到了3G業務總投訴的7-10%,並且呈現迅猛的上升趨勢,某些省份已高達20%。例如安卓手機用戶,安卓4.0新版自動更新即有200Mb的流量產生,可能導致超量費用的帳單。若用戶不察,即可能對運營商投訴流量破表異常,要求檢核網路使用紀錄。

提供流量報告的需求對於運營商造成極高的作業與IT成本,而快速處理海量的上網記錄資料也形成極大的技術挑戰;以某中等省份運營商為例,日均上網記錄達到10億條、每月的資料近9T,並且持續快速增長中。

傳統的IT架構無法滿足前述商業需求,如何建置一套新系統以有效提供海量資料的平價存儲和快速查詢,成為移動通信業者的嚴峻挑戰!

解決方案
新通聯記錄查詢(傳統CDR通聯記錄,網路記錄及流量紀錄)系統須達成降低投訴作業處理成本,提升用戶滿意度:

1. 降低海量資料存儲和計算系統的建設成本;

2. 提高其處理效能,記錄檢索的回應時間在硬體支援的條件下達到秒級;

3. 平衡各新建系統的安全及訪問的便捷性。

系統架構
導入大資料處理平臺,核心為Trinity資料整合軟體與Hadoop分散式存儲和計算系統,整體架構如下圖:

綜合說明如下:

1. 降低資料存儲和計算的系統建設與維運成本

● 採用X86 架構分散式運算實現方式比傳統小型電腦主機+資料庫的實現方式使擴充變得透明和更加價廉物美;

● 採用Hadoop 計算框架實現大資料的存儲和運算,並提供架構級別的安全,資料冗餘,節約資料安全,擴展方面的人力投入;

● 具有平滑擴充的良好特徵,後續升級簡單。

2. 提高資料處理效能

● 單個使用者查詢上網日誌僅需要秒級,讓網路明細單對公眾客戶開放查詢成為可能,並可以提供較傳統的查詢週期更長的時段,以獲取更好的客戶體驗回饋。

3. 兼顧系統的安全及訪問的便捷性

● 通過SOA的集成,利用現有CRM系統的安全管理的各項功能,有效的解決前臺使用過程中的單點登錄問題,兼顧系統安全與使用便捷,提升了客戶滿意度。

系統綜合效益
● 為客戶提供了滿意的上網話單查詢服務,從而有效降低投訴案件;每日提供電信使用者上網查詢日誌,能大大減少因客戶投訴無證據的退費。

● 平臺的建制可以為未來電信公司提供更加深入的客戶行為分析,客戶偏好;在此基礎上更好的服務客戶,甚至依此提供更加準確的精准行銷,比如:西班牙移動基於此順勢建立大資料部門,給週邊廠商提供資料服務。

Why Trinity?
和傳統的資料處理工具相比,Trinity提供豐富的資料轉換功能、高效能運算、高可靠性可擴展架構、資料加密與完整稽核軌跡之安全性,以及強大的作業排程式控制管,特別適於本案的雲端架構。

1. Trinity提供巨量資料功能(BDM, Big Data Management) 與Hadoop系統緊密結合,在傳統資料庫,傳統檔,非結構化檔和Hadoop下HDFS、NoSQL資料庫、統計分析平臺之間,建立一個易於管理、易於使用、穩定可靠的資料整合平臺。

2. Trinity針對巨量資料處理(Mapreduce,Mahout)提供圖形化設計介面,可透過拖拉的方式解決需要寫SQL/Perl/Java腳本才能解決的技術問題;讓客戶得以簡化程式開發作業,而將精力專注於業務的分析和拓展上,這才是資料分析師的價值所在。