2.2 電力大數(shù)據(jù)技術體系

2.2.2 電力大數(shù)據(jù)關鍵技術

大數(shù)據(jù)所涉及的關鍵技術主要包括：數(shù)據(jù)集成管理技術、數(shù)據(jù)存儲管理技術、高性能計算技術和分析挖掘技術，具體技術內(nèi)涵以及范疇見表2-1。

表 2 - 1 大數(shù)據(jù)的關琎技術及其內(nèi)涵與范疇

(1 ) 數(shù)據(jù)集成管理技術

是指將不同數(shù)據(jù)源的大數(shù)據(jù)（結構化、半結構化、非結構化）收集、整理、清洗、轉換以后加載到一個新的數(shù)據(jù)源中，并對這些數(shù)據(jù)源實行集中管理，對外部訪問統(tǒng)一提供服務的數(shù)據(jù)集成方式。數(shù)據(jù)集成管理技術包括數(shù)據(jù)融合和集成技術、數(shù)據(jù)抽取技術、數(shù)據(jù)消洗和過濾技術，具體是指電力數(shù)據(jù)ETL( Extract、Transfer和Load，即提取、轉換和裝載 )、電力數(shù)據(jù)統(tǒng)一公共模型等技術。電力數(shù)據(jù)質(zhì)量本身不高，準確性、及時性均有所欠缺，這也對數(shù)據(jù)處理技術提出了更高的要求。

(2 ) 數(shù)據(jù)存儲管理技術

數(shù)據(jù)存儲管理是指將大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問。電網(wǎng)數(shù)據(jù)結構各異，結構化與非結構化數(shù)據(jù)并存，在應用實時性需求上存在著非實時性和實時性需求的數(shù)據(jù)。因此，需要協(xié)調(diào)不同功能需求的數(shù)據(jù)庫協(xié)同存儲管理海量電網(wǎng)數(shù)據(jù)。

(3 )高性能計算技術

包括分布式計算技術、內(nèi)存計算技術、流處理技術，具體是指電力云、電力數(shù)據(jù)中心軟硬件資源虛擬化等技術。近幾年電力數(shù)據(jù)的海量增長使得電力企業(yè)需要通過新型數(shù)據(jù)處理技術來更有效地利用軟硬件資源，在降低IT 投入、維護成本和物理能耗的同時，為電力大數(shù)據(jù)的發(fā)展提供更為穩(wěn)定、強大的數(shù)據(jù)處理能力。

( 4 ) 分析挖掘技術包括數(shù)據(jù)挖掘、機器學習等人工智能技術，具體是指電網(wǎng)安全在線分析、間歇性電源發(fā)電預測、設施線路運行狀態(tài)分析等技術，由于電力系統(tǒng)安全穩(wěn)定運行的重要性以及電力發(fā)輸變配用的瞬時性，比其他行業(yè)，電力大數(shù)據(jù)對分析結果的準確度要求更高。當然，大數(shù)據(jù)技術是一系列技術的集合。在電力大數(shù)據(jù)事業(yè)推的過程中，電力企業(yè)可以借鑒圖表中所示不同大數(shù)據(jù)技術的成熟程度以及成熟時間，并結合自身實際需求，合理開展電力大數(shù)據(jù)實踐，使大數(shù)據(jù)在電力行業(yè)中其正落地。