- 相關(guān)推薦
電網(wǎng)信息化系統(tǒng)中同步并行數(shù)據(jù)遷移技術(shù)的運用探討的論文
摘要：為保證南方電網(wǎng)營銷管理系統(tǒng)集中部署上線后歷史數(shù)據(jù)的可用性，需按照營銷系統(tǒng)數(shù)據(jù)模型要求完成現(xiàn)有營銷管理系統(tǒng)數(shù)據(jù)的清理、轉(zhuǎn)換和遷移工作。文章提出了兩種數(shù)據(jù)遷移方案，根據(jù)電網(wǎng)市場營銷業(yè)務(wù)限制綜合分析了第一種傳統(tǒng)遷移方案的瓶頸與不足，采用了第二種實時同步、分庫并行轉(zhuǎn)換的數(shù)據(jù)遷移方案，并實踐驗證了該方案的有效性，大幅度縮短數(shù)據(jù)遷移時間。文章提出的方案對于大規(guī)模企業(yè)級管理信息系統(tǒng)的歷史數(shù)據(jù)遷移工作起到一定的參考與借鑒作用，確保新系統(tǒng)按計劃穩(wěn)步高效推廣應(yīng)用。
關(guān)鍵詞：營銷管理系統(tǒng)，數(shù)據(jù)遷移，同步，并行
某電網(wǎng)營銷管理信息系統(tǒng)（CSGII-MM V2.0，簡稱“新系統(tǒng)”）主要實現(xiàn)抄核收、用電檢查、營銷稽查監(jiān)控、業(yè)擴、管理線損等功能的設(shè)計、建設(shè)過程管理，是實現(xiàn)電力營銷全生命周期管理的一個重要環(huán)節(jié)，為保障新系統(tǒng)順利實施上線，順利完成由云南電網(wǎng)營銷管理信息系統(tǒng)（PMS，簡稱“老系統(tǒng)”）到南方電網(wǎng)營銷管理信息系統(tǒng)的順利過渡，應(yīng)做好數(shù)據(jù)遷移工作的切實保障，保證南方電網(wǎng)營銷管理系統(tǒng)數(shù)據(jù)的真實、準(zhǔn)確和完整。為了保證新系統(tǒng)上線后歷史數(shù)據(jù)的可用性，需研究出行之有效的數(shù)據(jù)遷移方案，能夠?qū)⒗舷到y(tǒng)歷史數(shù)據(jù)整理、轉(zhuǎn)換、集中，使得業(yè)務(wù)操作能夠獲得歷史數(shù)據(jù)的支撐，充分利用歷史數(shù)據(jù)的價值。
1、系統(tǒng)遷移現(xiàn)狀分析
為實現(xiàn)系統(tǒng)內(nèi)歷史數(shù)據(jù)的有效遷移，需對南方電網(wǎng)營銷管理系統(tǒng)現(xiàn)狀進行詳細(xì)分析，分析內(nèi)容包括遷移原則、業(yè)務(wù)現(xiàn)狀與技術(shù)現(xiàn)狀[1]。
1.1、遷移原則
數(shù)據(jù)清理收集工作，應(yīng)當(dāng)遵循如下原則進行：完整性原則、真實性原則、有效性原則、統(tǒng)一性原則、保密性原則。
1.2、業(yè)務(wù)現(xiàn)狀
電網(wǎng)營銷管理系統(tǒng)為全省大集中，系統(tǒng)數(shù)據(jù)覆蓋省、地市、縣級供電單位、國際公司和股份公司各供電單位，數(shù)據(jù)域包括客戶域、電網(wǎng)域、服務(wù)域、核算域、帳務(wù)域、營銷設(shè)備域、量測域、管控域、支撐域和其他類數(shù)據(jù)十大類。
2、數(shù)據(jù)遷移方案分析
2.1、數(shù)據(jù)遷移方案一
新老系統(tǒng)數(shù)據(jù)遷移方案一采用源數(shù)據(jù)庫（老系統(tǒng)數(shù)據(jù)庫）à 數(shù)據(jù)遷移中間庫 à 新系統(tǒng)數(shù)據(jù)庫的方式開展數(shù)據(jù)的轉(zhuǎn)換和遷移工作，在中間庫開展轉(zhuǎn)換、核查和整改工作。首先由老系統(tǒng)數(shù)據(jù)庫采用 ORACLE DBLINK 技術(shù)遷移數(shù)據(jù)至中間庫，在中間庫進行數(shù)據(jù)轉(zhuǎn)換及數(shù)據(jù)校驗、整改工作，再由中間庫遷移至新系統(tǒng)，最后進行核心數(shù)據(jù)功能驗證，如圖 1 所示。
2.2、數(shù)據(jù)遷移方案二
2.2.1、實時數(shù)據(jù)同步
取消方案一中的中間庫數(shù)據(jù)遷移工作，采用數(shù)據(jù)同步技術(shù)，提前將老系統(tǒng)的數(shù)據(jù)同步至中間庫，在老系統(tǒng)業(yè)務(wù)停機幾小時后即可完成數(shù)據(jù)同步，開始進行數(shù)據(jù)轉(zhuǎn)換，既降低方案一中的網(wǎng)絡(luò)帶寬花銷，又減少了方案一中老系統(tǒng)至中間庫的數(shù)據(jù)遷移時間。數(shù)據(jù)同步需在老系統(tǒng)數(shù)據(jù)庫與中間庫上部署數(shù)據(jù)同步軟件，該軟件從老系統(tǒng)生產(chǎn)數(shù)據(jù)庫中獲取實時數(shù)據(jù)，與中間庫建立連接，將實時數(shù)據(jù)同步發(fā)送至中間庫[2]。
數(shù)據(jù)同步包含首次數(shù)據(jù)同步與增量數(shù)據(jù)同步，首次數(shù)據(jù)同步指數(shù)據(jù)同步軟件將有遷移需求的數(shù)據(jù)以某時間點為截止全量遷移復(fù)制至目標(biāo)數(shù)據(jù)庫，增量數(shù)據(jù)同步指首次數(shù)據(jù)同步結(jié)束后到業(yè)務(wù)系統(tǒng)停止時將所產(chǎn)生的新增數(shù)據(jù)實時同步至目標(biāo)數(shù)據(jù)庫。增量數(shù)據(jù)同步的原理為實時分析源端數(shù)據(jù)庫的日志，生成數(shù)據(jù)變動的壓縮表，以捕獲增量數(shù)據(jù)，數(shù)據(jù)經(jīng)壓縮和加密后傳送至目標(biāo)數(shù)據(jù)庫，經(jīng)過目標(biāo)庫數(shù)據(jù)同步軟件的裝載后，即實現(xiàn)了增量數(shù)據(jù)的同步。
2.2.2、分庫并行數(shù)據(jù)轉(zhuǎn)換
在采用實時數(shù)據(jù)同步的基礎(chǔ)上，放棄使用原有中間庫，新建 4 個中間庫進行數(shù)據(jù)轉(zhuǎn)換及校驗工作，中間庫既作為數(shù)據(jù)源也作為數(shù)據(jù)遷移中間庫，可實現(xiàn) 4 個中間庫并行的數(shù)據(jù)轉(zhuǎn)換及遷移工作。在此過程中需要數(shù)據(jù)同步軟件將老系統(tǒng)數(shù)據(jù)實時同步到 4 個中間庫 , 正式數(shù)據(jù)遷移開始之后即可開展數(shù)據(jù)轉(zhuǎn)換、校驗、整改與遷移工作。按此方案，采用并行的數(shù)據(jù)遷移方式，可在不同的中間庫分配不同的供電局業(yè)務(wù)數(shù)據(jù)，相較之前的單鏈路串行數(shù)據(jù)遷移方式，即需要按順序依次進行各局?jǐn)?shù)據(jù)遷移、轉(zhuǎn)換的方式，此方案極大程度提高了數(shù)據(jù)遷移所需時間，方案二如圖 2 所示。
2.3、對比結(jié)論
試點局上線進行數(shù)據(jù)遷移工作時采用數(shù)據(jù)遷移方案一，數(shù)據(jù)遷移時數(shù)據(jù)量約為 1 T，耗時為 4 天。由于南方電網(wǎng)營銷管理系統(tǒng)后續(xù)上線供電局較多，遷移數(shù)據(jù)量較大，約為 2 T，采用方案一耗時較長。在數(shù)據(jù)遷移過程中，為保障新老系統(tǒng)數(shù)據(jù)的一致性及數(shù)據(jù)遷移的成功率，需要對老系統(tǒng)進行業(yè)務(wù)系統(tǒng)停機處理，若按方案一，需要對老系統(tǒng)停機 7 天或更久。停機時，無法進行客戶算費收費工作，而電網(wǎng)公司業(yè)務(wù)上不允許長時間對業(yè)務(wù)系統(tǒng)停機。為保障電網(wǎng)公司利益不受損失，市場營銷業(yè)務(wù)能正�？焖匍_展，綜合對比后正式數(shù)據(jù)遷移采用數(shù)據(jù)遷移方案二。
3、數(shù)據(jù)遷移改進方案實施應(yīng)用
3.1、數(shù)據(jù)遷移方案實施
3.1.1、全量數(shù)據(jù)實時同步
通過對業(yè)務(wù)數(shù)據(jù)量及服務(wù)器性能分析后，4 個分庫的建設(shè)工作順利完成。在正式數(shù)據(jù)遷移開始前，需完成全量數(shù)據(jù)實時同步工作。同步過程需要使用數(shù)據(jù)同步軟件將數(shù)據(jù)從老系統(tǒng)同步至 4 個中間庫，因此需要在老系統(tǒng)數(shù)據(jù)庫服務(wù)器上及 4 個中間庫上分別安裝部署數(shù)據(jù)同步軟件。此次同步為異構(gòu)服務(wù)器且不同數(shù)據(jù)庫之間的數(shù)據(jù)同步，源端（老系統(tǒng)）為 AIX 服務(wù)器，目標(biāo)端（中間庫）服務(wù)器為 LINUX 服務(wù)器；源端數(shù)據(jù)庫版本為 oracle10g, 目標(biāo)端版本為 oracle11g。
由于分為 4 個中間庫，首先需在源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫創(chuàng)建 4 個同步隊列，隨后在源端數(shù)據(jù)庫與 4 個目標(biāo)端數(shù)據(jù)庫創(chuàng)建同步用戶，最后在源端導(dǎo)出數(shù)據(jù)庫結(jié)構(gòu)并在目標(biāo)端進行導(dǎo)入。上述準(zhǔn)備工作完成后即可開始同步數(shù)據(jù)，同步完成后進行同步數(shù)據(jù)比對工作，比對內(nèi)容為源端與目標(biāo)端核心數(shù)據(jù)表的記錄數(shù)與內(nèi)容。針對比對后遺漏或缺失的數(shù)據(jù)表，采取兩種方式進行修復(fù)：對于數(shù)據(jù)量比較小的表，通過ORACLE DBLINK 技術(shù)進行修復(fù)；對于數(shù)據(jù)量比較大的表，采用數(shù)據(jù)同步軟件進行重新同步。
正式上線前一天，首次數(shù)據(jù)同步開始，通過數(shù)據(jù)同步軟件將老系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)從 AIX 主機（老系統(tǒng)數(shù)據(jù)庫）同步至 4 臺 LINUX 主機（4個中間庫）。首次數(shù)據(jù)同步完成后，開始增量數(shù)據(jù)同步。在老系統(tǒng)業(yè)務(wù)停止后，實時增量數(shù)據(jù)同步結(jié)束，開始進行數(shù)據(jù)比對與修復(fù)工作，約兩小時后，數(shù)據(jù)比對修復(fù)工作完成，一致率100%，數(shù)據(jù)同步工作順利完成。
3.1.2、并行數(shù)據(jù)轉(zhuǎn)換與遷移
數(shù)據(jù)同步完成后，在 4 個中間庫同時開展數(shù)據(jù)轉(zhuǎn)換與遷移工作，根據(jù)“南方電網(wǎng)營銷系統(tǒng)物理數(shù)據(jù)模型”為標(biāo)準(zhǔn)，開展新老系統(tǒng)數(shù)據(jù)轉(zhuǎn)換與遷移工作，將老系統(tǒng)數(shù)據(jù)編碼通過數(shù)據(jù)庫腳本轉(zhuǎn)換為新系統(tǒng)所支持的數(shù)據(jù)編碼。為提升數(shù)據(jù)遷移腳本執(zhí)行效率，在數(shù)據(jù)遷移腳本中適當(dāng)加入索引能提高數(shù)據(jù)庫的性能，建立索引之后，可以合理的使用資源；此時同樣需要由良好的 SQL 語句進行支持[3]，進行 SQL 語句優(yōu)化之后，可進一步提升數(shù)據(jù)遷移時的效率。
在數(shù)據(jù)同步開始前，針對不同的分庫分配了不同的業(yè)務(wù)數(shù)據(jù)，如不同的分庫同步不同供電局的老系統(tǒng)歷史數(shù)據(jù)，且每個分庫的數(shù)據(jù)量基本一致，因此可以實現(xiàn)四庫并行的同步數(shù)據(jù)轉(zhuǎn)換與遷移工作，與之前方案相比，數(shù)據(jù)轉(zhuǎn)換將近提升了 4 倍。
在正式數(shù)據(jù)遷移時，應(yīng)設(shè)計南方電網(wǎng)營銷管理系統(tǒng)的應(yīng)用級災(zāi)備切換場景[4]，當(dāng)數(shù)據(jù)遷移過程中發(fā)生災(zāi)難且無法恢復(fù)時，致使?fàn)I銷服務(wù)中斷，應(yīng)快速切換回老系統(tǒng)，確保公司核心業(yè)務(wù)系統(tǒng)運行的連續(xù)性。
3.2、核心數(shù)據(jù)功能驗證質(zhì)量提升
遷移完成后，對南方電網(wǎng)營銷管理系統(tǒng)數(shù)據(jù)庫與《南方電網(wǎng)營銷系統(tǒng)物理數(shù)據(jù)模型》進行完整性對比，保證數(shù)據(jù)的安全、完整、真實，如圖 3 所示。
4、結(jié)束語
本文通過分析南方電網(wǎng)營銷管理系統(tǒng)遷移現(xiàn)狀，結(jié)合業(yè)務(wù)現(xiàn)狀、技術(shù)現(xiàn)狀等角度提出了兩種數(shù)據(jù)遷移方案，進行了詳細(xì)的分析與闡述，并重點描述了方案二的設(shè)計原理與實施應(yīng)用。本文所提出的歷史數(shù)據(jù)遷移改進方案已經(jīng)應(yīng)用于云南電網(wǎng)公司南方電網(wǎng)營銷管理系統(tǒng)的實施上線工作中，并取得了工程實際的應(yīng)用經(jīng)驗。
該方案為大規(guī)模企業(yè)級管理信息系統(tǒng)的上線實施數(shù)據(jù)遷移工作提供了高效實用的技術(shù)支持，減少了不必要的損失，節(jié)省人力資源。
參考文獻：
[1] 田黇. ERP系統(tǒng)集中部署模式下的歷史數(shù)據(jù)遷移方案研究[J]. 電力信息與通信技術(shù), 2014, 12(8): 77-81.
[2] 陳然. 大規(guī)模電網(wǎng)運行數(shù)據(jù)實時同步技術(shù)研究[J]. 云南電力技術(shù), 2015, (5):24-26.
[3] 羅偉,蔣蘇湘,周沿東,魏鵬飛. 湖南電力營銷系統(tǒng)數(shù)據(jù)庫性能優(yōu)化研究[J]. 電力信息與通信技術(shù), 2014, 12(4): 30-34.
[4] 郭曉艷，王揚，孫軼凡，侯丹，章斌. 營銷系統(tǒng)應(yīng)用級災(zāi)備體系研究及建立[J]. 電力信息與通信技術(shù), 2014, 12(10): 13-17.
[5] 趙曉鋒，周慶捷，王志利，王瑞玨，王建偉. PMS實用化分析評價體系和數(shù)據(jù)質(zhì)量提升的研究[J]. 電力信息與通信技術(shù), 2015, 13(7): 101-106.
【電網(wǎng)信息化系統(tǒng)中同步并行數(shù)據(jù)遷移技術(shù)的運用探討的論文】相關(guān)文章：
電力系統(tǒng)中的時鐘同步技術(shù)的探討論文04-30
數(shù)據(jù)大集中管理模式下數(shù)據(jù)同步技術(shù)探討論文05-03
特教學(xué)校機房信息管理系統(tǒng)中數(shù)據(jù)挖掘技術(shù)的運用論文05-02
嵌入式系統(tǒng)中數(shù)據(jù)庫信息管理技術(shù)的運用論文05-02
電力調(diào)度自動化系統(tǒng)中數(shù)據(jù)挖掘的運用的論文04-29
水利工程管理中數(shù)據(jù)挖掘技術(shù)的運用論文05-02
智能電網(wǎng)建設(shè)中電力工程技術(shù)的運用論文04-27