本參數(shù)的計(jì)算,從ODS_MData中讀取數(shù)據(jù),計(jì)算基本特征參數(shù)^[14],其Map過程為：

1：Record{Phase,Value}轉(zhuǎn)換為整型;

2：if Math.abs(Value)>max1

then 構(gòu)造輸出記錄Record{Time, Phase,Value};

3：將記錄輸出至Combiner;

Combine過程為：

Combine repeat

if Record[i]是極值點(diǎn)

then

構(gòu)造輸出記錄Record{Time,Phase,Value};

將Record{Phase,Value}輸出至Reducer;

until 所有的點(diǎn)都被處理

Reduce過程如下：

1：對(duì)極值記錄集合{Time,Phase,Value}按照相位Phase遞增順序排序;

2：repeat

if 相鄰兩點(diǎn)的相位差<max2

then 保留較大的Value;

else 將相位較小的點(diǎn)保存至結(jié)果集;

until 所有的點(diǎn)都被處理;

3：輸出結(jié)果集至DW_NQF表;

該過程完成的局部放電參數(shù)統(tǒng)計(jì),是實(shí)現(xiàn)特征分析的第一步。

3.3.2 譜圖的計(jì)算

在基本特征參數(shù)計(jì)算的基礎(chǔ)上,基于DW_NQF表,使用MapReduce實(shí)現(xiàn)譜圖計(jì)算^[15],其Map過程為：

1：根據(jù)相窗寬度wlength,計(jì)算Record所屬的相窗id wid= Phase/wlength;

2：構(gòu)造輸出記錄,并輸出至Reducer;

Reduce過程為：

1：定義變量用于記錄總放電量、平均放電量、放電次數(shù)、放電量最大值;

2：repeat

在totalq上累加放電量;

在nums上累加放電次數(shù);

在max上記錄放電量最大值;

until 所有的點(diǎn)都被處理;

3：avgq=totalq/記錄數(shù);

4：構(gòu)造輸出記錄,并輸出至DW_PT表;

3.4 本地測(cè)試

打開TJDriver.java,右擊“Run as->Run Confi- gurations”,在ODPS Config選項(xiàng)卡重選擇正確的ODPS項(xiàng)目。在Arguments選項(xiàng)卡中輸入運(yùn)行參數(shù),并點(diǎn)擊"Run”執(zhí)行本地測(cè)試。在第一次運(yùn)行時(shí),Eclipse會(huì)從MaxCompute中下載少量的測(cè)試數(shù)據(jù)用于測(cè)試。運(yùn)行完成后可以在Warehouse中看到測(cè)試用的輸入數(shù)據(jù)和產(chǎn)生的結(jié)果數(shù)據(jù)。本地測(cè)試運(yùn)行結(jié)果如圖9所示。

圖9 本地測(cè)試運(yùn)行結(jié)果Fig.9 Local test results

3.5 打包并上傳資源

在確認(rèn)本地測(cè)試結(jié)果正確后即可導(dǎo)出jar包,在Eclipse下執(zhí)行“File->Export”,選擇導(dǎo)出“JAR File”即可導(dǎo)出至本地。導(dǎo)出jar包如圖10所示。

圖10 導(dǎo)出jar包Fig.10 Exporting jar package

在ODPS cmd下執(zhí)行添加資源的命令,即可將jar包上傳至MaxCompute,命令如下：

add jar d:/Clouder/jar/TJ.jar;

3.6 在MaxCompute上執(zhí)行程序

在ODPS cmd下執(zhí)行jar命令,運(yùn)行程序。執(zhí)行read dw_tj命令可查看運(yùn)行結(jié)果。運(yùn)行結(jié)果如圖11所示。

圖11 運(yùn)行結(jié)果Fig.11 The operation result

在大數(shù)據(jù)開發(fā)套件中,通過調(diào)度配置,即可實(shí)現(xiàn)周期性的程序執(zhí)行。

 4 結(jié)語(yǔ)

電力設(shè)備監(jiān)測(cè)已經(jīng)成為一種必然趨勢(shì),監(jiān)測(cè)數(shù)據(jù)無論在體量還是處理速度方面,都需要先進(jìn)的大數(shù)據(jù)平臺(tái)和工具來支撐。本文基于云計(jì)算平臺(tái),應(yīng)用MaxCompute設(shè)計(jì)實(shí)現(xiàn)了電力設(shè)備監(jiān)測(cè)數(shù)據(jù)的高效分區(qū)存儲(chǔ)方法和并行化的批量特征分析方法,應(yīng)用大數(shù)據(jù)開發(fā)套件將分析過程中的多個(gè)MapReduce任務(wù)組織為工作流,實(shí)現(xiàn)了數(shù)據(jù)加載和分析任務(wù)的自動(dòng)化周期調(diào)度,具有一定的借鑒意義。