2.2 電力大數(shù)據(jù)技術體系

2.2.5高性能計算技術

高性能計算是指通常使用很多處理器（作為單個機器的部分）或者某一集群組織中的幾臺計算機（作為單個計算資源操作）的計算系統(tǒng)和環(huán)境。高性能計算技術主要包括三個方面，即實時計算、批量計算和流式計算。

（1）實時計算
實時計算是指根據(jù)計算需求從海量數(shù)據(jù)中實時進行排重、排名、匯總等運算，并為用戶提供實時響應，主要針對海量數(shù)據(jù)且無法預算的情況。
實時計算的技術優(yōu)勢主要體現(xiàn)在以下四個方面：
1）對海量數(shù)據(jù)進行分布式處理并為用戶提供實時響應。
2）將計算過程推遲到應用階段進行，減輕了系統(tǒng)的計算負擔。
3）數(shù)據(jù)加載過程和數(shù)據(jù)計算過程分離，加載過程先于計算過程，提高了計算效率。
4）數(shù)據(jù)加載過程不需要實時，從某種程度上降低了對數(shù)據(jù)處理的難度。

（2）批量計算
批量計算是指對靜態(tài)海量數(shù)據(jù)的批量處理，即當開始計算之前 數(shù)據(jù)已經(jīng)準備到位，主要用于數(shù)據(jù)挖掘和驗證業(yè)務模型。
批量計算的技術優(yōu)勢主要休現(xiàn)在以下四個方面：
1）可以對海量靜態(tài)的數(shù)據(jù)進行大規(guī)模分析。
2）數(shù)據(jù)采用批量的方式進行處理，極大提升了大規(guī)模數(shù)據(jù)處理的吞吐量。
3）數(shù)據(jù)處理的方式可分為離線和在線兩種方式， 對計算的實時性要求比較低。
4）在對計算結果進行查看之前數(shù)據(jù)已經(jīng)處理完畢,提高了數(shù)據(jù)查詢的速度。

（3）流式計算
流式計算是指對具有時效性的流式數(shù)據(jù)進行的計算，計算結果在數(shù)據(jù)出現(xiàn)之后立即得出，流式計算需要依賴上游數(shù)據(jù)傳輸?shù)恼_性和實時性以及下游存儲系統(tǒng)的高吞吐率。
流式計算的技術優(yōu)勢主要體現(xiàn)在以下三個方面：
1）采用分布式計算方式處理流式數(shù)據(jù)，提高了對海量實時數(shù)據(jù)的處理能力。
2）數(shù)據(jù)一出現(xiàn)便立刻處理而不是緩存起來進行批量處理，提升了對數(shù)據(jù)處理的實時響應。
3）為海量的實時數(shù)據(jù)提供了一種快速分析和計算的能力。
 

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時代的電力企業(yè)轉型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業(yè)出版社