《網絡安全體系設計》第一彈：《安全大數據平臺架構設計參考》

2015-12-10 22:10:42 大云網　點擊量：評論 (0)

安全牛于11月24日首次公開發(fā)布了《網絡安全體系設計方法論》，旨在給企業(yè)或機構提供一個最佳實踐的參考，以幫助企業(yè)真正提升對網絡安全工作的認識，并在安全建設和運營中不斷成長。這個方法論只是一個安全總體建

安全牛于11月24日首次公開發(fā)布了《網絡安全體系設計方法論》，旨在給企業(yè)或機構提供一個最佳實踐的參考，以幫助企業(yè)真正提升對網絡安全工作的認識，并在安全建設和運營中不斷成長。

這個方法論只是一個安全總體建設的框架，需要不斷的深入、補充和完善。而安全大數據平臺在未來幾年是企業(yè)安全能力建設的核心，也是第一步?！毒W絡安全體系設計方法論》中也提到，數據是安全能力的核心。企業(yè)首先就要掌握內外部的安全數據和威脅情報，再通過企業(yè)安全人員的能力提升，才能逐步提升整體的安全能力。因此，安全牛首先選擇了“安全大數據”這一技術平臺的架構進行了梳理和深入，并于今日發(fā)布研究成果。

《安全大數據平臺架構設計參考》

當前網絡與信息安全領域，正在面臨多種挑戰(zhàn)。一方面，企業(yè)和組織安全體系架構日趨復雜，各種類型的安全數據越來越多，隨著內控與合規(guī)的深入，傳統(tǒng)的分析能力明顯力不從心，越來越需要分析更多的安全信息、并且要更加快速的做出判定和響應。另一方面，新型威脅的興起，高級可持續(xù)攻擊要求有長時間的數據才能分析入侵行為和評估遭受的損失。傳統(tǒng)的SIEM很難處理多樣化的非結構數據，并且傳統(tǒng)的應用/數據庫架構局限了系統(tǒng)的性能，其能存儲的歷史數據時長、存儲事件的匯總度、查詢分析的速度均受到極大的限制。信息安全也面臨大數據帶來的挑戰(zhàn)。

我們需要更深層次的事件關聯(lián)處理、分析和展現，而當前分布式計算，存儲和通信，內存計算，智能分析等技術已經逐步成熟應用，安全數據分析需要使用這些新技術在事件關聯(lián)、處理和展現能力上進行提升。

大數據安全分析將包括以下幾個應用領域：

安全事件管理和安全管理平臺；

APT高級持續(xù)威脅檢測，結合全包捕獲技術；

0day惡意代碼分析，結合沙箱技術；

網絡取證分析；

大規(guī)模用戶行為分析，結合機器學習技術；

安全情報服務；

業(yè)務風險安全分析等。

目前，基于Hadoop生態(tài)圈的大數據平臺已經被業(yè)界廣泛使用,部署規(guī)模從幾十臺，到幾萬臺,可以存儲和分析PB級別數據，從網頁日志分析,搜索引擎，視頻和語音檢索都需要操作大量數據資源。而這些數據全部來由Hadoop平臺來運算。Hadoop生態(tài)圈也在不斷完善，能夠同時實現并行計算、高速計算、流式計算等計算框架。

安全牛整合了業(yè)內資深大數據專家的意見，向大家推薦一個基于Hadoop的安全大數據平臺架構，歡迎業(yè)界同仁和企業(yè)客戶與我們共同探討。近期還將邀請這方面的專家與大家進行更深入的講座和交流。

安全大數據平臺架構

圖 1

圖 2

大數據平臺總體概述

此平臺集數據采集、數據質量管理、數據存儲與分析、集群監(jiān)控、數據同步、數據展現、數據安全管理等于一身。在保證數據安全的前提下，實現從數據接收到存儲維護再到展現的數據管理功能。此平臺能夠對海量數據（包括結構化數據、半結構化數據、非結構化數據）進行存儲、維護挖掘等工作。使用目前最前沿的數據存數、分析、管理技術，以此為基礎針對數據分析的實時性，分為在線數據分析和離線數據分析。

在線數據分析：往往要求系統(tǒng)對新數據進行實時分析、實時展現，從而達到不影響用戶體驗的目的。

離線數據分析：對大多數反饋時間要求不高的應用，比如離線統(tǒng)計分析、機器學習等，應采用離線分析的方式。

具備以下特性：

先進的技術架構，基于Hadoop的先進分布式計算及存儲框架；

先進的多層架構，系統(tǒng)維護簡單；

縱向、橫向擴展能力出眾，為未來BI發(fā)展提供可能；

能做到5分鐘之內系統(tǒng)擴容，支撐更多終端。

數據采集

數據采集過程中分為三個部分：第一部分收據接收、第二部分數據清洗校驗和第三部分數據寫入（寫入大數據平臺）。每個部分全部支持跨平臺（多種開發(fā)語言）、并行化，能夠使數據快速準確的寫入到大數據平臺中。

數據接收：能夠接收來自各種設備的所有類型的數據。

數據清洗：實現并行化數據的校驗，簡單處理等。

數據寫入：校驗好的數據通過數據寫入程序寫入大數據平臺。

數據質量管理

數據質量管理實現探查接收到的數據發(fā)現和評估數據的內容，根據企業(yè)的數據質量規(guī)則，將對數據進行質量檢測。

分布式存儲與分析

A：大數據平臺使用分布式文件系統(tǒng)（HDFS）作為底層存儲。特點如下：

1. 支持多數據結構的存儲（結構化數據、半結構化數據、非結構化數據）；

2. 存儲空間無限大；

3. 擴容簡易；

4. 自動化數據維護；

5. 支持大文件存儲；

6. 容錯性強。

B：MapReduce并行計算框架，對海量數據進行分析計算。特點如下：

1. 移動計算（程序）到數據端，減少網絡使用；

2. 能夠快速并行的對海量數據進行分析計算；

3. 支持多種開發(fā)語言，程序編寫簡單。

C：Spark內存計算框架，對海量數據進行快快速計算。特點如下：

1. 支持并行計算；

2. 與MapReduce并行計算框架相比內存計算框架整合了內存計算的基元，計算速度更快。

D：Storm流數據處理框架，實現實時性數據處理。特點如下：

1. 簡單編程；

2. 多語言支持；

3. 支持水平擴展；

4. 容錯性強。

E：Hive數據倉庫，存儲結構化數據。

依賴于分布式存儲和分布式計算框架。主要功能為將HQL（類SQL）轉換為并行計算框架能夠識別的程序。

F：Hbase分布式數據庫，主要以表格的形式存儲數據，存儲數據依賴于分布式存儲。特點如下：

1. 實時相應讀取請求；

2. 數據表的行、列可以無限擴展；

3. 數據自動維護。

G：Elastic Search搜索，基于Lucene的搜索服務器。

它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web接口，可達到實時搜索的能力。

集群監(jiān)控

集群監(jiān)控管理由Ambari、Ganglia、Nagios組成。以實現對集群的安裝部署、管理監(jiān)控等功能。

Ganglia 主要對集群的資源進行監(jiān)控管理。包括CPU 資源、內存資源、網絡資源。監(jiān)控資源使用百分比，高峰期等，并將此信息繪制成直觀、易于理解的統(tǒng)計圖。

Nagios 對于集群的安全、資源使用值進行監(jiān)控，在發(fā)生問題的情況下向有關的管理人員發(fā)送郵件給予提示。

Ambari 提供界面化的方式實現集群安裝部署、管理維護、配置文件修改、集群擴容等，同時與Ganglia、Nagios協(xié)同工作，實現對整個集群的監(jiān)控管理。作為大數據平臺的核心控制系統(tǒng)，對大數據平臺的各個環(huán)節(jié)進行控制，且對運行過程中的各個組件的關系進行控制，同時對各個環(huán)節(jié)進行監(jiān)控，通過監(jiān)控異常報警來提高系統(tǒng)的穩(wěn)定性和異常響應速度。

數據展現

數據展現，實現將大數據平臺存儲的部分數據按著業(yè)務需求進行展示。

數據讀取，可實現根據業(yè)務需求對目標數據進行讀取，讀取后傳遞給數據展現模塊。

數據展現，或得到數據后可根據角色的不同展示不同的數據。

以上數據讀取和數據展現過程采用并行跨平臺化的處理方式實現。

數據安全

數據安全從最初的數據接入到最終的數據展現的安全問題。

中間包括數據源系統(tǒng)、數據收集、消息系統(tǒng)、實時處理、存儲、數據庫等各個模塊的數據安全以及整條線的安全。

工作流調度

工作流調度系統(tǒng)，主要實現對于數據接入、數據預分析、存儲、挖掘的各個環(huán)節(jié)進行可控的管理調度。

數據收集

數據采集