這個方法論只是一個安全總體建設(shè)的框架，需要不斷的深入、補充和完善。而安全大數(shù)據(jù)平臺在未來幾年是企業(yè)安全能力建設(shè)的核心，也是第一步?！毒W(wǎng)絡(luò)安全體系設(shè)計方法論》中也提到，數(shù)據(jù)是安全能力的核心。企業(yè)首先就要掌握內(nèi)外部的安全數(shù)據(jù)和威脅情報，再通過企業(yè)安全人員的能力提升，才能逐步提升整體的安全能力。因此，安全牛首先選擇了“安全大數(shù)據(jù)”這一技術(shù)平臺的架構(gòu)進行了梳理和深入，并于今日發(fā)布研究成果。

 

《安全大數(shù)據(jù)平臺架構(gòu)設(shè)計參考》

 

當(dāng)前網(wǎng)絡(luò)與信息安全領(lǐng)域，正在面臨多種挑戰(zhàn)。一方面，企業(yè)和組織安全體系架構(gòu)日趨復(fù)雜，各種類型的安全數(shù)據(jù)越來越多，隨著內(nèi)控與合規(guī)的深入，傳統(tǒng)的分析能力明顯力不從心，越來越需要分析更多的安全信息、并且要更加快速的做出判定和響應(yīng)。另一方面，新型威脅的興起，高級可持續(xù)攻擊要求有長時間的數(shù)據(jù)才能分析入侵行為和評估遭受的損失。傳統(tǒng)的SIEM很難處理多樣化的非結(jié)構(gòu)數(shù)據(jù)，并且傳統(tǒng)的應(yīng)用/數(shù)據(jù)庫架構(gòu)局限了系統(tǒng)的性能，其能存儲的歷史數(shù)據(jù)時長、存儲事件的匯總度、查詢分析的速度均受到極大的限制。信息安全也面臨大數(shù)據(jù)帶來的挑戰(zhàn)。

 

我們需要更深層次的事件關(guān)聯(lián)處理、分析和展現(xiàn)，而當(dāng)前分布式計算，存儲和通信，內(nèi)存計算，智能分析等技術(shù)已經(jīng)逐步成熟應(yīng)用，安全數(shù)據(jù)分析需要使用這些新技術(shù)在事件關(guān)聯(lián)、處理和展現(xiàn)能力上進行提升。

 

大數(shù)據(jù)安全分析將包括以下幾個應(yīng)用領(lǐng)域：

 

安全事件管理和安全管理平臺；

 

APT高級持續(xù)威脅檢測，結(jié)合全包捕獲技術(shù)；

 

0day惡意代碼分析，結(jié)合沙箱技術(shù)；

 

網(wǎng)絡(luò)取證分析；

 

大規(guī)模用戶行為分析，結(jié)合機器學(xué)習(xí)技術(shù)；

 

安全情報服務(wù)；

 

業(yè)務(wù)風(fēng)險安全分析等。

 

目前，基于Hadoop生態(tài)圈的大數(shù)據(jù)平臺已經(jīng)被業(yè)界廣泛使用,部署規(guī)模從幾十臺，到幾萬臺,可以存儲和分析PB級別數(shù)據(jù)，從網(wǎng)頁日志分析,搜索引擎，視頻和語音檢索都需要操作大量數(shù)據(jù)資源。而這些數(shù)據(jù)全部來由Hadoop平臺來運算。Hadoop生態(tài)圈也在不斷完善，能夠同時實現(xiàn)并行計算、高速計算、流式計算等計算框架。

 

安全牛整合了業(yè)內(nèi)資深大數(shù)據(jù)專家的意見，向大家推薦一個基于Hadoop的安全大數(shù)據(jù)平臺架構(gòu)，歡迎業(yè)界同仁和企業(yè)客戶與我們共同探討。近期還將邀請這方面的專家與大家進行更深入的講座和交流。

 

安全大數(shù)據(jù)平臺架構(gòu)

 

 

圖 1

 

 

圖 2

 

大數(shù)據(jù)平臺總體概述

 

此平臺集數(shù)據(jù)采集、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)存儲與分析、集群監(jiān)控、數(shù)據(jù)同步、數(shù)據(jù)展現(xiàn)、數(shù)據(jù)安全管理等于一身。在保證數(shù)據(jù)安全的前提下，實現(xiàn)從數(shù)據(jù)接收到存儲維護再到展現(xiàn)的數(shù)據(jù)管理功能。此平臺能夠?qū)Ａ繑?shù)據(jù)（包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)）進行存儲、維護挖掘等工作。使用目前最前沿的數(shù)據(jù)存數(shù)、分析、管理技術(shù)，以此為基礎(chǔ)針對數(shù)據(jù)分析的實時性，分為在線數(shù)據(jù)分析和離線數(shù)據(jù)分析。

 

在線數(shù)據(jù)分析：往往要求系統(tǒng)對新數(shù)據(jù)進行實時分析、實時展現(xiàn)，從而達到不影響用戶體驗的目的。

 

離線數(shù)據(jù)分析：對大多數(shù)反饋時間要求不高的應(yīng)用，比如離線統(tǒng)計分析、機器學(xué)習(xí)等，應(yīng)采用離線分析的方式。

 

具備以下特性：

 

先進的技術(shù)架構(gòu)，基于Hadoop的先進分布式計算及存儲框架；

 

先進的多層架構(gòu)，系統(tǒng)維護簡單；

 

縱向、橫向擴展能力出眾，為未來BI發(fā)展提供可能；

 

能做到5分鐘之內(nèi)系統(tǒng)擴容，支撐更多終端。

 

數(shù)據(jù)采集

 

 

數(shù)據(jù)采集

 

數(shù)據(jù)采集過程中分為三個部分：第一部分收據(jù)接收、第二部分?jǐn)?shù)據(jù)清洗校驗和第三部分?jǐn)?shù)據(jù)寫入（寫入大數(shù)據(jù)平臺）。每個部分全部支持跨平臺（多種開發(fā)語言）、并行化，能夠使數(shù)據(jù)快速準(zhǔn)確的寫入到大數(shù)據(jù)平臺中。

 

數(shù)據(jù)接收：能夠接收來自各種設(shè)備的所有類型的數(shù)據(jù)。

 

數(shù)據(jù)清洗：實現(xiàn)并行化數(shù)據(jù)的校驗，簡單處理等。

 

數(shù)據(jù)寫入：校驗好的數(shù)據(jù)通過數(shù)據(jù)寫入程序?qū)懭氪髷?shù)據(jù)平臺。

 

數(shù)據(jù)質(zhì)量管理

 

 

數(shù)據(jù)質(zhì)量管理

 

數(shù)據(jù)質(zhì)量管理實現(xiàn)探查接收到的數(shù)據(jù)發(fā)現(xiàn)和評估數(shù)據(jù)的內(nèi)容，根據(jù)企業(yè)的數(shù)據(jù)質(zhì)量規(guī)則，將對數(shù)據(jù)進行質(zhì)量檢測。

 

分布式存儲與分析

 

 

分布式存儲與分析

 

A：大數(shù)據(jù)平臺使用分布式文件系統(tǒng)（HDFS）作為底層存儲。特點如下：

 

1. 支持多數(shù)據(jù)結(jié)構(gòu)的存儲（結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)）；

 

2. 存儲空間無限大；

 

3. 擴容簡易；

 

4. 自動化數(shù)據(jù)維護；

 

5. 支持大文件存儲；

 

6. 容錯性強。

 

B：MapReduce并行計算框架， 對海量數(shù)據(jù)進行分析計算。特點如下：

 

1. 移動計算（程序）到數(shù)據(jù)端，減少網(wǎng)絡(luò)使用；

 

2. 能夠快速并行的對海量數(shù)據(jù)進行分析計算；

 

3. 支持多種開發(fā)語言，程序編寫簡單。

 

C：Spark內(nèi)存計算框架，對海量數(shù)據(jù)進行快快速計算。特點如下：

 

1. 支持并行計算；

 

2. 與MapReduce并行計算框架相比內(nèi)存計算框架整合了內(nèi)存計算的基元，計算速度更快。

 

D：Storm流數(shù)據(jù)處理框架，實現(xiàn)實時性數(shù)據(jù)處理。特點如下：

 

1. 簡單編程；

 

2. 多語言支持；

 

3. 支持水平擴展；

 

4. 容錯性強。

 

E：Hive數(shù)據(jù)倉庫，存儲結(jié)構(gòu)化數(shù)據(jù)。

 

依賴于分布式存儲和分布式計算框架。主要功能為將HQL（類SQL）轉(zhuǎn)換為并行計算框架能夠識別的程序。

 

F：Hbase分布式數(shù)據(jù)庫，主要以表格的形式存儲數(shù)據(jù)，存儲數(shù)據(jù)依賴于分布式存儲。特點如下：

 

1. 實時相應(yīng)讀取請求；

 

2. 數(shù)據(jù)表的行、列可以無限擴展；

 

3. 數(shù)據(jù)自動維護。

 

G：Elastic Search搜索，基于Lucene的搜索服務(wù)器。

 

它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web接口，可達到實時搜索的能力。

 

集群監(jiān)控

 

 

集群監(jiān)控

 

集群監(jiān)控管理由Ambari、Ganglia、Nagios組成。以實現(xiàn)對集群的安裝部署、管理監(jiān)控等功能。

 

Ganglia 主要對集群的資源進行監(jiān)控管理。包括CPU 資源、內(nèi)存資源、網(wǎng)絡(luò)資源。監(jiān)控資源使用百分比，高峰期等，并將此信息繪制成直觀、易于理解的統(tǒng)計圖。

 

Nagios 對于集群的安全、資源使用值進行監(jiān)控，在發(fā)生問題的情況下向有關(guān)的管理人員發(fā)送郵件給予提示。

 

Ambari 提供界面化的方式實現(xiàn)集群安裝部署、管理維護、配置文件修改、集群擴容等，同時與Ganglia、Nagios協(xié)同工作，實現(xiàn)對整個集群的監(jiān)控管理。作為大數(shù)據(jù)平臺的核心控制系統(tǒng)，對大數(shù)據(jù)平臺的各個環(huán)節(jié)進行控制，且對運行過程中的各個組件的關(guān)系進行控制，同時對各個環(huán)節(jié)進行監(jiān)控，通過監(jiān)控異常報警來提高系統(tǒng)的穩(wěn)定性和異常響應(yīng)速度。

 

數(shù)據(jù)展現(xiàn)

 

 

數(shù)據(jù)展現(xiàn)

 

數(shù)據(jù)展現(xiàn)，實現(xiàn)將大數(shù)據(jù)平臺存儲的部分?jǐn)?shù)據(jù)按著業(yè)務(wù)需求進行展示。

 

數(shù)據(jù)讀取，可實現(xiàn)根據(jù)業(yè)務(wù)需求對目標(biāo)數(shù)據(jù)進行讀取，讀取后傳遞給數(shù)據(jù)展現(xiàn)模塊。

 

數(shù)據(jù)展現(xiàn)，或得到數(shù)據(jù)后可根據(jù)角色的不同展示不同的數(shù)據(jù)。

 

以上數(shù)據(jù)讀取和數(shù)據(jù)展現(xiàn)過程采用并行跨平臺化的處理方式實現(xiàn)。

 

數(shù)據(jù)安全

 

數(shù)據(jù)安全從最初的數(shù)據(jù)接入到最終的數(shù)據(jù)展現(xiàn)的安全問題。

 

中間包括數(shù)據(jù)源系統(tǒng)、數(shù)據(jù)收集、消息系統(tǒng)、實時處理、存儲、數(shù)據(jù)庫等各個模塊的數(shù)據(jù)安全以及整條線的安全。

 

工作流調(diào)度

 

工作流調(diào)度系統(tǒng)，主要實現(xiàn)對于數(shù)據(jù)接入、數(shù)據(jù)預(yù)分析、存儲、挖掘的各個環(huán)節(jié)進行可控的管理調(diào)度。

 

數(shù)據(jù)收集

 

 

數(shù)據(jù)采集

 

數(shù)據(jù)收集，主要實現(xiàn)各種設(shè)備的不同類型數(shù)據(jù)的收集工作。對收集到的數(shù)據(jù)初步校驗后存入大數(shù)據(jù)平臺。部分?jǐn)?shù)據(jù)需要進一步預(yù)處理，可通過系統(tǒng)API進行再次預(yù)處理工作。同時可實現(xiàn)將數(shù)據(jù)存儲至Hbase數(shù)據(jù)庫或者Hive數(shù)據(jù)倉庫內(nèi)。

 

離線處理

 

 

離線處理

 

離線處理，主要實現(xiàn)對現(xiàn)有已經(jīng)存儲至大數(shù)據(jù)平臺的數(shù)據(jù)進行分析計算。用于對實時性要求不高的業(yè)務(wù)需求?？蓪崿F(xiàn)預(yù)測性分析、數(shù)據(jù)挖掘等操作。

 

實時分析

 

 

實時分析

 

實時分析，用于實時顯示動態(tài)數(shù)據(jù)信息，可以用于實現(xiàn)數(shù)據(jù)可視化業(yè)務(wù)的需求?？蓪邮盏降臄?shù)據(jù)進行實時分析，分析完成后存入結(jié)果數(shù)據(jù)庫或者直接顯示到可視化界面中。