2.2 電力大數(shù)據(jù)技術(shù)體系

2.2.5高性能計(jì)算技術(shù)

高性能計(jì)算是指通常使用很多處理器（作為單個(gè)機(jī)器的部分）或者某一集群組織中的幾臺(tái)計(jì)算機(jī)（作為單個(gè)計(jì)算資源操作）的計(jì)算系統(tǒng)和環(huán)境。高性能計(jì)算技術(shù)主要包括三個(gè)方面，即實(shí)時(shí)計(jì)算、批量計(jì)算和流式計(jì)算。

（1）實(shí)時(shí)計(jì)算
實(shí)時(shí)計(jì)算是指根據(jù)計(jì)算需求從海量數(shù)據(jù)中實(shí)時(shí)進(jìn)行排重、排名、匯總等運(yùn)算，并為用戶提供實(shí)時(shí)響應(yīng)，主要針對(duì)海量數(shù)據(jù)且無(wú)法預(yù)算的情況。
實(shí)時(shí)計(jì)算的技術(shù)優(yōu)勢(shì)主要體現(xiàn)在以下四個(gè)方面：
1）對(duì)海量數(shù)據(jù)進(jìn)行分布式處理并為用戶提供實(shí)時(shí)響應(yīng)。
2）將計(jì)算過(guò)程推遲到應(yīng)用階段進(jìn)行，減輕了系統(tǒng)的計(jì)算負(fù)擔(dān)。
3）數(shù)據(jù)加載過(guò)程和數(shù)據(jù)計(jì)算過(guò)程分離，加載過(guò)程先于計(jì)算過(guò)程，提高了計(jì)算效率。
4）數(shù)據(jù)加載過(guò)程不需要實(shí)時(shí)，從某種程度上降低了對(duì)數(shù)據(jù)處理的難度。

（2）批量計(jì)算
批量計(jì)算是指對(duì)靜態(tài)海量數(shù)據(jù)的批量處理，即當(dāng)開(kāi)始計(jì)算之前 數(shù)據(jù)已經(jīng)準(zhǔn)備到位，主要用于數(shù)據(jù)挖掘和驗(yàn)證業(yè)務(wù)模型。
批量計(jì)算的技術(shù)優(yōu)勢(shì)主要休現(xiàn)在以下四個(gè)方面：
1）可以對(duì)海量靜態(tài)的數(shù)據(jù)進(jìn)行大規(guī)模分析。
2）數(shù)據(jù)采用批量的方式進(jìn)行處理，極大提升了大規(guī)模數(shù)據(jù)處理的吞吐量。
3）數(shù)據(jù)處理的方式可分為離線和在線兩種方式， 對(duì)計(jì)算的實(shí)時(shí)性要求比較低。
4）在對(duì)計(jì)算結(jié)果進(jìn)行查看之前數(shù)據(jù)已經(jīng)處理完畢,提高了數(shù)據(jù)查詢的速度。

（3）流式計(jì)算
流式計(jì)算是指對(duì)具有時(shí)效性的流式數(shù)據(jù)進(jìn)行的計(jì)算，計(jì)算結(jié)果在數(shù)據(jù)出現(xiàn)之后立即得出，流式計(jì)算需要依賴上游數(shù)據(jù)傳輸?shù)恼_性和實(shí)時(shí)性以及下游存儲(chǔ)系統(tǒng)的高吞吐率。
流式計(jì)算的技術(shù)優(yōu)勢(shì)主要體現(xiàn)在以下三個(gè)方面：
1）采用分布式計(jì)算方式處理流式數(shù)據(jù)，提高了對(duì)海量實(shí)時(shí)數(shù)據(jù)的處理能力。
2）數(shù)據(jù)一出現(xiàn)便立刻處理而不是緩存起來(lái)進(jìn)行批量處理，提升了對(duì)數(shù)據(jù)處理的實(shí)時(shí)響應(yīng)。
3）為海量的實(shí)時(shí)數(shù)據(jù)提供了一種快速分析和計(jì)算的能力。
 

書(shū)名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時(shí)代的電力企業(yè)轉(zhuǎn)型與價(jià)值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機(jī)械工業(yè)出版社