0 引言

生產(chǎn)管理系統(tǒng)（Power Production Management System,PMS）是面向國家電網(wǎng)公司總部、省公司和各級運維檢修單位的統(tǒng)一精益生產(chǎn)管理信息系統(tǒng),它包含了公司運維檢修業(yè)務(wù)和生產(chǎn)管理全過程,完成設(shè)備管理向電網(wǎng)管理和資產(chǎn)管理轉(zhuǎn)變,為智能電網(wǎng)建設(shè)提供強有力的支撐。

PMS2.0管理的設(shè)備類型多、數(shù)量大,依靠人工檢測的方式需要檢查的字段很多,數(shù)據(jù)量巨大,耗時較長,人力成本和時間成本都很高,而且在檢測的過程中很可能出現(xiàn)遺漏或者錯檢的情況。面對這樣的狀況,傳統(tǒng)依靠人工檢查方式已經(jīng)無法滿足數(shù)據(jù)質(zhì)量檢查要求^[1]。因此,采用自動化、流程化手段高效、準(zhǔn)確地進行數(shù)據(jù)檢測,對提升數(shù)據(jù)質(zhì)量是十分必要的^[2]。針對國家電網(wǎng)公司諧波監(jiān)測平臺的縱向接口要求,設(shè)計實現(xiàn)PMS臺賬數(shù)據(jù)服務(wù)及數(shù)據(jù)質(zhì)量檢測系統(tǒng),用自動化的檢測代替人工檢查方式,可以提高供電企業(yè)數(shù)據(jù)質(zhì)量檢測工作的檢測速度,并有效提升后續(xù)工作效率。

 1 臺賬數(shù)據(jù)接口服務(wù)及檢測內(nèi)容

1.1 臺賬數(shù)據(jù)接口服務(wù)

根據(jù)國家電網(wǎng)公司下發(fā)的《國家電網(wǎng)公司電網(wǎng)諧波監(jiān)測分析模塊縱向接口規(guī)范》,PMS2.0的縱向接口中臺賬數(shù)據(jù)接口用于傳輸監(jiān)測終端的臺賬數(shù)據(jù)、測試儀器/檢定裝置的臺賬數(shù)據(jù)、監(jiān)測點的臺賬數(shù)據(jù)、電網(wǎng)設(shè)備的臺賬數(shù)據(jù)。臺賬數(shù)據(jù)接口部署在省公司主站側(cè),采用SOAP Web Service方式實現(xiàn),由總部主站發(fā)起請求,省公司主站應(yīng)答,將相關(guān)臺賬數(shù)據(jù)上傳給總部主站。

臺賬數(shù)據(jù)接口包括監(jiān)測終端的臺賬數(shù)據(jù)接口、測試儀器/檢定裝置的臺賬數(shù)據(jù)接口、監(jiān)測點的臺賬數(shù)據(jù)接口、電網(wǎng)設(shè)備的臺賬數(shù)據(jù)接口。

各借口功能描述如下：

1）GetTerminalAccountList：獲取指定設(shè)備編碼的監(jiān)測終端臺賬數(shù)據(jù);

2）GetTestInstrumentAccountList：獲取指定設(shè)備編碼的測試儀器/檢定裝置臺賬數(shù)據(jù);

3）GetMonitorAccountList：獲取指定編碼的監(jiān)測點臺賬數(shù)據(jù);

4）GetDeviceAccountList：獲取與指定編碼的監(jiān)測點關(guān)聯(lián)的電網(wǎng)設(shè)備臺賬數(shù)據(jù)。

臺賬數(shù)據(jù)服務(wù)接口發(fā)出請求和獲取服務(wù)的數(shù)據(jù)都有相應(yīng)的規(guī)范標(biāo)準(zhǔn),以此來進行數(shù)據(jù)質(zhì)量檢測,由于臺賬數(shù)據(jù)接口較多,本文以“獲取指定設(shè)備編碼的監(jiān)測終端臺賬數(shù)據(jù)”接口為例,說明臺賬服務(wù)接口及數(shù)據(jù)監(jiān)測的內(nèi)容。

1.2 服務(wù)及數(shù)據(jù)檢測內(nèi)容

1）接口服務(wù)一致性檢測：主要檢測電網(wǎng)諧波監(jiān)測分析模塊臺賬數(shù)據(jù)服務(wù)發(fā)布的接口格式,是否符合國家電網(wǎng)公司規(guī)定的接口規(guī)范。因為此接口采用SOAP Web Service方式實現(xiàn),SOAP 基于XML和HTTP,通過XML 來實現(xiàn)消息描述,然后再通過 HTTP 實現(xiàn)消息傳輸。通過XML規(guī)范來確定統(tǒng)一的數(shù)據(jù)傳輸格式,其保證傳輸數(shù)據(jù)正確的先決條件是請求方與應(yīng)答方所了解的服務(wù)接口格式是否一致。

省公司主站作為應(yīng)答方,在接收到請求消息后應(yīng)解析XML,根據(jù)請求參數(shù)向總部主站反饋相應(yīng)數(shù)據(jù)。總部主站收到應(yīng)答數(shù)據(jù)后解析XML入總部生產(chǎn)庫,并抽取數(shù)據(jù)進行計算。針對應(yīng)答消息的檢測,需要根據(jù)不同的接口制定不同的標(biāo)準(zhǔn)文件。在檢測指定接口的應(yīng)答消息XML時,與相應(yīng)接口標(biāo)準(zhǔn)文件進行同步解析對比,以此方式檢測結(jié)果XML中是否出現(xiàn)以下幾種情況：標(biāo)簽缺失、標(biāo)簽冗余、標(biāo)簽級別錯誤、標(biāo)簽拼寫錯誤。

2）數(shù)據(jù)質(zhì)量檢測：主要針對臺賬數(shù)據(jù),檢測內(nèi)容包括數(shù)據(jù)是否完整、數(shù)據(jù)是否準(zhǔn)確、數(shù)據(jù)格式是否正確、多個臺賬數(shù)據(jù)中關(guān)聯(lián)字段是否匹配等。監(jiān)測終端臺賬關(guān)鍵字段核查標(biāo)準(zhǔn)如表1所示。數(shù)據(jù)質(zhì)量要求包括固定取值范圍、數(shù)據(jù)類型要求、固定編碼對應(yīng)、時間格式匹配標(biāo)準(zhǔn)等。

表1 監(jiān)測終端臺賬關(guān)鍵字段核查標(biāo)準(zhǔn)Tab.1 Checking standards of the terminal account key fields

 2 數(shù)據(jù)質(zhì)量與檢測方法

數(shù)據(jù)質(zhì)量可以從應(yīng)用角度與自身特性2個方面定義^[3]。就數(shù)據(jù)應(yīng)用角度來看,可從是否能滿足指定應(yīng)用的要求來衡量,即如果一批數(shù)據(jù)能從各個方面經(jīng)過驗證并滿足指定應(yīng)用的要求,那么這批數(shù)據(jù)對這些應(yīng)用來說就是高質(zhì)量的。就數(shù)據(jù)質(zhì)量本身來看,其自身特性主要體現(xiàn)在2個方面：一是數(shù)據(jù)本身的數(shù)據(jù)質(zhì)量,主要包括數(shù)據(jù)真實性、數(shù)據(jù)自洽性、數(shù)據(jù)完整性、數(shù)據(jù)邏輯一致性、數(shù)據(jù)精確性、數(shù)據(jù)時效性、數(shù)據(jù)可用性、數(shù)據(jù)可信性等體現(xiàn)數(shù)據(jù)質(zhì)量特征的屬性^[4];二是數(shù)據(jù)的過程質(zhì)量,主要包括數(shù)據(jù)的使用質(zhì)量、數(shù)據(jù)的存貯質(zhì)量、數(shù)據(jù)的傳輸質(zhì)量。影響數(shù)據(jù)質(zhì)量的因素可以歸結(jié)為數(shù)據(jù)內(nèi)在因素、應(yīng)用環(huán)境、數(shù)據(jù)表述和數(shù)據(jù)存取四大類。

PMS系統(tǒng)臺賬數(shù)據(jù)服務(wù)及數(shù)據(jù)質(zhì)量檢測軟件設(shè)計開發(fā)的難點在于異常數(shù)據(jù)的發(fā)現(xiàn)與識別。異常數(shù)據(jù)檢測是對數(shù)據(jù)集中明顯的偏差值、孤立點的識別,異常數(shù)據(jù)的校驗方法因不同的應(yīng)用領(lǐng)域而有所差
異^[5-12]。已有的對電力系統(tǒng)數(shù)據(jù)檢測方法主要有3種：基于統(tǒng)計的檢測方法,基于數(shù)據(jù)間關(guān)聯(lián)關(guān)系的檢測方法,多個數(shù)據(jù)來源的檢測方法。在這3種方法中,基于統(tǒng)計的檢測方法更適合對臺賬數(shù)據(jù)進行檢測。

 3 臺賬服務(wù)及數(shù)據(jù)質(zhì)量檢測系統(tǒng)設(shè)計

3.1 系統(tǒng)物理結(jié)構(gòu)設(shè)計

系統(tǒng)物理結(jié)構(gòu)如圖1所示。臺賬縱向接口程序?qū)W(wǎng)北京市電力公司PMS中的數(shù)據(jù)與電能質(zhì)量監(jiān)測系統(tǒng)的監(jiān)測點臺賬數(shù)據(jù)同步到接口服務(wù)器,打包成Web服務(wù),在特定的服務(wù)端口發(fā)布,國家電網(wǎng)公司總部諧波監(jiān)測分析模塊服務(wù)器可通過訪問北京接口服務(wù)器調(diào)用接口服務(wù),獲取所需數(shù)據(jù)。本次實現(xiàn)的PMS臺賬數(shù)據(jù)服務(wù)及數(shù)據(jù)質(zhì)量檢測系統(tǒng)也可調(diào)用接口服務(wù)器的服務(wù),獲取返回XML數(shù)據(jù),進行數(shù)據(jù)的解析檢測,生成檢測報表文件。

圖1 系統(tǒng)物理結(jié)構(gòu)Fig.1 Physical structure of the system

3.2 系統(tǒng)邏輯結(jié)構(gòu)設(shè)計

系統(tǒng)具有分布性特點,需要隨時隨地能夠進行查詢、瀏覽等業(yè)務(wù)處理,因而采用B/S三層架構(gòu)模式,分為與客戶交互的表示層,中間的業(yè)務(wù)邏輯層和底層的數(shù)據(jù)訪問層。因為系統(tǒng)數(shù)據(jù)源基于服務(wù)接口的特殊性,在數(shù)據(jù)訪問層與業(yè)務(wù)邏輯層之間添加服務(wù)層。系統(tǒng)邏輯結(jié)構(gòu)如圖2所示。

1）表示層。臺賬質(zhì)量檢測的界面收集用戶輸入信息,包括服務(wù)地址、待測數(shù)據(jù)類型。

圖2 系統(tǒng)邏輯結(jié)構(gòu)Fig.2 Logical structure of the system

2）業(yè)務(wù)邏輯層。系統(tǒng)首先從表示層獲取參數(shù)信息,使用Web Service調(diào)用方式調(diào)用相應(yīng)的臺賬數(shù)據(jù)服務(wù)接口,獲取標(biāo)準(zhǔn)XML格式的臺賬數(shù)據(jù)。系統(tǒng)獲得訪問Web服務(wù)地址返回的XML數(shù)據(jù)后,對其進行解析才能得到需要的臺賬數(shù)據(jù)。在保存錯誤數(shù)據(jù)的同時,還要保存所屬臺賬接口類型、所屬ID、標(biāo)簽名、異常數(shù)據(jù)檢測時間等信息。檢測完畢后,對異常數(shù)據(jù)進行統(tǒng)計后生成檢測報表,包括錯誤率、缺失率、異常數(shù)據(jù)明細(xì)、缺失數(shù)據(jù)明細(xì)等。

3）服務(wù)層。已有臺賬數(shù)據(jù)封裝發(fā)布到Web Service上,為檢測提供獲取數(shù)據(jù)接口。

4）數(shù)據(jù)訪問層。主要作用是獲取臺賬數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)表內(nèi)容和保存質(zhì)量檢測結(jié)果。

3.3 數(shù)據(jù)庫設(shè)計

系統(tǒng)數(shù)據(jù)庫采用MySQL數(shù)據(jù)庫,全部數(shù)據(jù)表的說明如表2所示。

表2 數(shù)據(jù)庫中全部表說明Tab.2 List of all tables

1）臺賬數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范表。臺賬數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范表（sy_scheme）中記錄的是所有臺賬數(shù)據(jù)的存儲規(guī)范,將規(guī)范標(biāo)準(zhǔn)化成可以用程序識別的標(biāo)準(zhǔn)規(guī)范表。表中check_type存放檢測類型,對于每一項不同的標(biāo)簽可能會有不一樣的檢測標(biāo)準(zhǔn),整體分為9類,所以在check_type中用數(shù)字代替檢測的類型（0無其他要求,1有閾值,2不能有中文,3必須是中文,4判斷日期,5不帶單位,6匹配標(biāo)準(zhǔn)格式,7生產(chǎn)廠家編碼,
8部門編碼）。如果check_type為1,說明有閾值,才會讀取后面3項（最大值、最小值、錯誤信息說明）。臺賬數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范表的表結(jié)構(gòu)如表3所示。

表3 臺賬數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范表的表結(jié)構(gòu)（sy_scheme）Tab.3 The structure of normalized account table

2）臺賬錯誤信息表。臺賬錯誤信息表（sy_errorinfo）中記錄臺賬數(shù)據(jù)質(zhì)量檢測結(jié)果,包括臺賬種類、每種臺賬中的id編碼、錯誤標(biāo)簽的名稱、錯誤標(biāo)簽對應(yīng)的參數(shù)名、錯誤數(shù)據(jù)、錯誤類型、檢測時間、錯誤信息說明。其中錯誤類型是為了之后生成報表能統(tǒng)計出缺失率和錯誤率;錯誤信息說明是保存錯誤數(shù)據(jù)的出錯原因,方便有針對性修改數(shù)據(jù)。臺賬錯誤信息表的表結(jié)構(gòu)如表4所示。

表4 臺賬錯誤信息表的表結(jié)構(gòu)（sy_errorinfo）Tab.4 Account data error information

 4 系統(tǒng)實現(xiàn)

4.1 系統(tǒng)總體流程

系統(tǒng)主要功能是臺賬的數(shù)據(jù)質(zhì)量檢測,首先選擇待測臺賬數(shù)據(jù)類型,輸入Web訪問地址,點擊開始檢測后由按鈕響應(yīng)獲取用戶輸入的數(shù)據(jù),調(diào)用獲取所有臺賬ID接口,再用返回的ID數(shù)據(jù)調(diào)用待測臺賬數(shù)據(jù),判斷是否符合標(biāo)準(zhǔn)格式。然后將XML格式數(shù)據(jù)轉(zhuǎn)為SimpleXML對象,實現(xiàn)對臺賬數(shù)據(jù)的解析。質(zhì)量檢測時先判斷是否為空,如果為空,且是必填項保存為缺失數(shù)據(jù),若不是必填項檢查下一條;如果不為空,判斷是否填寫正確。檢查下一條臺賬數(shù)據(jù)直到檢測完所有的臺賬數(shù)據(jù),保存檢測結(jié)果,對結(jié)果進行統(tǒng)計匯總生成檢測報表。系統(tǒng)流程如圖3所示。

圖3 系統(tǒng)流程Fig.3 System flowchart

4.2 臺賬數(shù)據(jù)質(zhì)量檢測實現(xiàn)

臺賬數(shù)據(jù)服務(wù)訪問后獲得的臺賬數(shù)據(jù)是XML格式字符串,系統(tǒng)對XML格式字符串進行解析,轉(zhuǎn)為SimpleXML對象,調(diào)整對象中每個臺賬數(shù)據(jù)標(biāo)簽存儲位置,以便檢測時獲取XML標(biāo)簽中的值,與數(shù)