技安電子大數據平臺解決方案

項目概述

根據集團信息化規劃，遵循“互聯(lián)網(wǎng)+”的理念，建設集團大數據平臺，實(shí)現集團數據資源的集中及整合，構建集團統一的數據模型，提高企業(yè)數據的處理效率與共享程度。實(shí)現對集團企業(yè)內部數據和外部數據的分析挖掘，對內對外提供數據服務(wù)。為全網(wǎng)提供決策支持、產(chǎn)品創(chuàng )新、交叉營(yíng)銷(xiāo)、服務(wù)支撐、風(fēng)險管控以及流程優(yōu)化等支撐服務(wù)。

集團大數據平臺將在Hadoop和云計算等技術(shù)的基礎上，對金融大數據平臺、量收系統、生產(chǎn)系統、CRM系統、電商平臺、數據分析綜合服務(wù)平臺的歷史數據、數據模型、報表應用等進(jìn)行移植，全面整合集團業(yè)務(wù)數據。數據來(lái)源涵蓋集團所有的生產(chǎn)和管理系統，并可接入同業(yè)及相關(guān)市場(chǎng)甚至互聯(lián)網(wǎng)信息，建立從業(yè)務(wù)層到管理層到?jīng)Q策層的智能分析體系，模擬量化風(fēng)險和收益，實(shí)現對集團各種業(yè)務(wù)數據進(jìn)行分類(lèi)、管理、統計和分析等功能，給各級管理人員提供各類(lèi)準確的統計分析預測數據，使其能夠及時(shí)掌握全面的經(jīng)營(yíng)狀況，為宏觀(guān)決策提供支持；為基層業(yè)務(wù)人員提供詳盡的數據，供其對各自的工作目標、當前和歷史狀況進(jìn)行準確的把握，對業(yè)務(wù)活動(dòng)進(jìn)行有效支撐；滿(mǎn)足集團經(jīng)營(yíng)管理及決策支持，建設國內一流，世界領(lǐng)先的大數據平臺。

系統功能

統一運維監控

本方案提供統一的運維監控服務(wù)。本方案涉及到的所有軟件的部署都通過(guò)Docker打包成鏡像文件，以便非?？旖莸牟渴饘?shí)施。內部系統通過(guò)鏡像數據接口交互層進(jìn)行交互。通過(guò)外部接口層納入集團運維平臺進(jìn)行統一監控

Hadoop集群自動(dòng)化部署

一站式大數據平臺提供集群自動(dòng)化部署服務(wù)。用戶(hù)只需要安裝管理平臺軟件，就可以在友好的圖形化界面上安裝、部署、配置所需要的服務(wù)。整個(gè)安裝過(guò)程不需要用戶(hù)使用任何終端命令或者代碼。

平臺提供了強大的在線(xiàn)擴容功能，不需要宕機停庫，不需要停止業(yè)務(wù)，就可以添加新的節點(diǎn)，實(shí)現擴容。節點(diǎn)添加完成之后可以立即對新添加的節點(diǎn)進(jìn)行角色的分配，一旦配置成功，則新加的節點(diǎn)就會(huì )馬上投入運算。擴容之后的數據節點(diǎn)也不需要停機進(jìn)行數據重分布，系統自動(dòng)選擇空閑的時(shí)間進(jìn)行數據的重新分布。同時(shí)，擴容的操作可以方便的在界面進(jìn)行操作。

Hadoop集群性能監控

平臺通過(guò)專(zhuān)門(mén)的監控服務(wù)對集群的狀態(tài)進(jìn)行監控，包括服務(wù)器CPU、內存、網(wǎng)絡(luò )和磁盤(pán)的利用率和健康狀態(tài)，以及分布式應用系統的狀態(tài)，并在故障發(fā)生或者某項指標超過(guò)預設閥值時(shí)時(shí)提供告警功能。管理員可通過(guò)瀏覽器訪(fǎng)問(wèn)集群的監控和管理界面進(jìn)行日常的監控和維護，系統提供圖標信息展示。管理員可以便捷了解到集群的計算資源是否處于空閑狀態(tài)、哪些服務(wù)器的負載過(guò)高，甚至判斷集群的組網(wǎng)及機架安排是否合理等。管理員也可通過(guò)對各個(gè)節點(diǎn)的各個(gè)角色的日志信息進(jìn)行檢索，獲得更加精確的信息。

Hadoop集群資源管理

平臺提供計算任務(wù)管理和作業(yè)管理，包括作業(yè)的上傳、配置、啟動(dòng)、停止、刪除和狀態(tài)查看等功能。

在平臺中，資源可以從多個(gè)方面進(jìn)行管理。從資源管理模塊的層面，用戶(hù)通過(guò)配置不同的Scheduler來(lái)定義不一樣的資源使用策略，目前支持FIFO Scheduler、Fair Scheduler以及Capacity Scheduler，實(shí)現作業(yè)動(dòng)態(tài)調整，支持對任務(wù)系統資源占用進(jìn)行實(shí)時(shí)調配，改變作業(yè)調度優(yōu)先級等操作。

與集團運維監控平臺對接

通過(guò)集群監控系統向集團運維監控平臺發(fā)送監控消息，提供對接接口，實(shí)現大數據平臺與集團運維監控平臺的互通，實(shí)現統一監控。

平臺通過(guò)專(zhuān)門(mén)的監控服務(wù)對集群的狀態(tài)進(jìn)行監控，包括服務(wù)器CPU、內存、網(wǎng)絡(luò )和磁盤(pán)的利用率和健康狀態(tài)，以及分布式應用系統的狀態(tài)，并在故障發(fā)生或者某項指標超過(guò)預設閥值時(shí)提供告警功能。管理員可通過(guò)瀏覽器訪(fǎng)問(wèn)集群的監控和管理界面進(jìn)行日常的監控和維護，系統提供圖表信息展示。管理員可以便捷的了解到集群的計算資源是否處于空閑狀態(tài)、哪些服務(wù)器的負載過(guò)高，甚至判斷集群的組網(wǎng)及機架安排是否合理等。管理員也可通過(guò)對各個(gè)節點(diǎn)的各個(gè)角色的日志信息進(jìn)行檢索，獲得更加精確的信息。

作業(yè)調度管理

平臺提供功能完整，性能優(yōu)異的ETL框架支持平臺建設，針對數據的預處理，中間的轉換清洗，包括寫(xiě)入目標時(shí)針對異常數據的捕獲。整個(gè)過(guò)程由平臺提供的調度平臺，元數據管理平臺提供支撐，讓各部分之間緊密合作，又各司其職。

針對此項目復雜的業(yè)務(wù)系統和管理，平臺提供完善的調度功能，以更好的對各個(gè)模塊進(jìn)行良好調度管理。 

調度平臺是平臺的數據流核心，調度平臺讓相關(guān)的業(yè)務(wù)系統、處理系統按照一定的業(yè)務(wù)邏輯，在客戶(hù)的安排下，像流水線(xiàn)一樣，或串行，或并行，按照一定的依賴(lài)關(guān)系，在每日，每周定時(shí)觸發(fā)，依次執行。平臺提供完善的接口和管理模塊，讓眾多的作業(yè)管理簡(jiǎn)易高效。

數據分析與發(fā)掘

本方案提供的大數據平臺支持多種環(huán)境，以便于后續進(jìn)行多種數據分析與挖掘，并提供多個(gè)接口對數據進(jìn)行導出，以便于客戶(hù)在體外進(jìn)行數據分析；也提供數據沙盤(pán)給特定的數據分析師進(jìn)行數據分析，數據沙盤(pán)也提供多個(gè)數據以及產(chǎn)品接口，以便于進(jìn)行數據探索。

本方案的平臺采用Hadoop平臺，它本身是一個(gè)并發(fā)存儲、并發(fā)計算的高效平臺，選用了 Discover的挖掘模塊，它是在對開(kāi)源的R全面支持的基礎上，結合SparkR進(jìn)行了代碼的重大改造。并對常用的R算法進(jìn)行了并行化改造，這些改造正是基于大數據中關(guān)鍵的體量巨大這個(gè)維度進(jìn)行的優(yōu)化。之前的數據挖掘由于在單機上進(jìn)行，而由于數據挖掘需要對數據進(jìn)行大量的衍生和關(guān)聯(lián)運算，會(huì )讓待分析的數據集積聚擴大，因而很多數據挖掘針對海量數據只能采用抽樣的策略進(jìn)行模型訓練，讓挖掘效果受到很大影響。在并發(fā)R算法的支撐下，只要節點(diǎn)數足夠，原則上可以處理任意體量的數據。

數據展現

平臺支持R、ANSI SQL、Python、Java、C/C++等語(yǔ)言，采用B/S架構，提供圖形化界面操作支持，操作界面支持簡(jiǎn)體中文。支持多數據來(lái)源輸入輸出提供表格、圖形、地圖等可視化元素展示功能，將提供以下相關(guān)功能和特性：

標準企業(yè)報表，固定報表等。

參數驅動(dòng)報表，各種基于參數的報表。

周期性報表，例如周報，月報，季報等，系統支持管理員定義周期性運行，亦支持業(yè)務(wù)用戶(hù)自定義重復運行方式，用戶(hù)或管理員可以定義輸出格式，包括PDF，Excel，Word，PPT等各種格式；系統同時(shí)提供基于事件的觸發(fā)方式。

支持鉆取功能，提供基于事件的腳本控制能力，以滿(mǎn)足各種復雜報表需求。

復雜中國式報表，包括中國式表頭、復雜布局、特殊功能等各種能力。

提供豐富的圖形展現功能，支持包括餅圖、條形、線(xiàn)形、儀表盤(pán)、趨勢圖及各種圖形；支持Flash圖形。

支持報表導出到Excel、Word、PPT、HTML和PDF等格式，導出時(shí)可以選擇導出整個(gè)報表還是部分內容；系統支持導出數據快照，以便日后審計等。

支持將報表導出成原生Excel，報表中的圖形（非Flash)能導出為原生Excel圖形，能夠在導出后的Excel中進(jìn)一步編輯，支持導出Excel公式，透視表等。

提供數據導出功能，用戶(hù)能將所查看的報表中數據進(jìn)行有選擇的導出。

提供報表版本管理能力，為不同的執行結果保留不同的版本。

提供基于角色和用戶(hù)的權限控制，管理員可以為不同的角色和用戶(hù)設置相應的功能選項及權限。

多語(yǔ)言多時(shí)區支持，系統為不用語(yǔ)言環(huán)境用戶(hù)提供多語(yǔ)言支持，用戶(hù)在登錄時(shí)可以選擇時(shí)區及語(yǔ)言，系統將自動(dòng)切換至相應的UI（僅限UI）。