- 相關(guān)推薦
淺談跨存儲(chǔ)數(shù)據(jù)遷移技術(shù)與實(shí)現(xiàn)論文
1 數(shù)據(jù)遷移技術(shù)
數(shù)據(jù)遷移方法，要根據(jù)具體的存儲(chǔ)設(shè)備類型、系統(tǒng)軟硬件架構(gòu)、系統(tǒng)數(shù)據(jù)類型等特點(diǎn)，選擇合理、高效、便捷的技術(shù)，實(shí)現(xiàn)一種或多種技術(shù)并用、混用，才能有效地確保業(yè)務(wù)的連續(xù)，減少停機(jī)時(shí)間，可靠安全地進(jìn)行數(shù)據(jù)遷移。目前，業(yè)界通用的數(shù)據(jù)遷移技術(shù)實(shí)現(xiàn)大致分為如下幾類。
1. 1 基于存儲(chǔ)的遷移方法
基于存儲(chǔ)的遷移特點(diǎn)是基于存儲(chǔ)系統(tǒng)的虛擬化技術(shù)或存儲(chǔ)管理技術(shù)，有3 種方法實(shí)現(xiàn):存儲(chǔ)陣列內(nèi)部數(shù)據(jù)復(fù)制，是利用存儲(chǔ)陣列內(nèi)置數(shù)據(jù)復(fù)制軟件，將源數(shù)據(jù)卷復(fù)制到目標(biāo)數(shù)據(jù)卷，如clone。存儲(chǔ)陣列間的數(shù)據(jù)復(fù)制，可基于存儲(chǔ)管理系統(tǒng)的遠(yuǎn)程復(fù)制技術(shù)不消耗服務(wù)器資源，并且可根據(jù)陣列io 對(duì)主應(yīng)用的影響，來(lái)調(diào)整數(shù)據(jù)復(fù)制的速度，但條件有所限制，必須在同種品牌廠商存儲(chǔ)設(shè)備間進(jìn)行，如EMC 的VMAX 系列設(shè)備同DMX 系列設(shè)備間可使用cold push 方式和hot push 方式，利用存儲(chǔ)設(shè)備具備的數(shù)據(jù)復(fù)制遷移功能進(jìn)行數(shù)據(jù)遷移; 或是基于主機(jī)操作系統(tǒng)，利用專業(yè)的存儲(chǔ)復(fù)制遷移工具軟件，將不同存儲(chǔ)連接至同一臺(tái)主機(jī)，實(shí)現(xiàn)陣列到陣列的數(shù)據(jù)復(fù)制，但是會(huì)耗費(fèi)一定的系資源，因此要根據(jù)應(yīng)用場(chǎng)景，調(diào)整數(shù)據(jù)復(fù)制的速度。利用虛擬化存儲(chǔ)技術(shù)，將虛擬化設(shè)備融合進(jìn)SAN 架構(gòu)的存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)存儲(chǔ)設(shè)備統(tǒng)一封裝，可以很方便地將數(shù)據(jù)從源端遷移至目的地，并可兼容主流存儲(chǔ)設(shè)備、支持不同廠商或品牌存儲(chǔ)系統(tǒng)間的數(shù)據(jù)遷移和容災(zāi)、適合于頻繁的數(shù)據(jù)遷移，某些業(yè)務(wù)場(chǎng)景，可實(shí)現(xiàn)跨物理存儲(chǔ)數(shù)據(jù)遷移而業(yè)務(wù)無(wú)需中斷，但是需要配置專有的虛擬化設(shè)備如EMC 的Vplex，或具備虛擬化功能的存儲(chǔ)陣列。
1. 2 基于主機(jī)操作系統(tǒng)命令的遷移方法
基于主機(jī)操作系統(tǒng)命令遷移的特點(diǎn)是數(shù)據(jù)遷移操作的發(fā)起和控制均發(fā)生在主服務(wù)器端，支持聯(lián)機(jī)遷移，可在不同存儲(chǔ)系統(tǒng)間進(jìn)行，但對(duì)主機(jī)性能有一定影響，影響承載業(yè)務(wù)的響應(yīng)效率，適合于主機(jī)存儲(chǔ)的非經(jīng)常性遷移，并且必須根據(jù)實(shí)際情況評(píng)估系統(tǒng)負(fù)荷的可行性。
有兩種實(shí)現(xiàn)方法: 一種是對(duì)采用邏輯卷管理器管理的系統(tǒng)通過(guò)邏輯卷數(shù)據(jù)鏡像實(shí)現(xiàn)數(shù)據(jù)遷移，但目標(biāo)卷可添加至原卷縮在的卷組中，有些卷組屬性參數(shù)支持物理卷數(shù)量有限，有一定局限性; 另一種是利用操作系統(tǒng)拷貝( 復(fù)制) 命令，如在Unix 系統(tǒng)上使用命令cp、dd、tar 等命令來(lái)實(shí)現(xiàn)數(shù)據(jù)復(fù)制、lv 復(fù)制、文件打包遷移等操作，或在Windows 系統(tǒng)使用圖形界面拷貝或copy命令靈活地進(jìn)行，但需要進(jìn)行脫機(jī)處理。
1. 3 基于備份管理軟件的遷移方法
基于備份管理軟件遷移的特點(diǎn)是利用備份管理軟件將數(shù)據(jù)備份到物理或虛擬帶庫(kù)，再恢復(fù)到新的存儲(chǔ)設(shè)備中。如采用在線備份，數(shù)據(jù)遷移過(guò)程對(duì)服務(wù)器業(yè)務(wù)影響相對(duì)較小，但在備份時(shí)間點(diǎn)與切換時(shí)間點(diǎn)之間源數(shù)據(jù)因聯(lián)機(jī)操作所造成的數(shù)據(jù)變化，需要通過(guò)手動(dòng)方式進(jìn)行同步如數(shù)據(jù)庫(kù)備份工具DSG; 如采用離線備份，必須停止服務(wù)器業(yè)務(wù)，在數(shù)據(jù)恢復(fù)成功后再恢復(fù)業(yè)務(wù)運(yùn)行。備份管理軟件可使用存儲(chǔ)系統(tǒng)自帶軟件，第三方備份工具如EMC network。由于選擇備份方式不同，數(shù)據(jù)遷移所耗費(fèi)的實(shí)踐會(huì)有較大的差異。
1. 4 基于專有應(yīng)用軟件的遷移方法
采用應(yīng)用軟件本身的遷移工具、或第三方支持的遷移工具來(lái)實(shí)現(xiàn)數(shù)據(jù)遷移，這種方法依賴于應(yīng)用軟件自身的機(jī)制，與主機(jī)、存儲(chǔ)種類關(guān)系不大，可實(shí)現(xiàn)實(shí)時(shí)復(fù)制、定時(shí)復(fù)制、靜態(tài)復(fù)制或數(shù)據(jù)轉(zhuǎn)儲(chǔ)。如Oracle 自帶的工具DataGuard 或動(dòng)態(tài)復(fù)制工具goldenGate。一般情況下存儲(chǔ)系統(tǒng)上都有多種應(yīng)用系統(tǒng)，因此，數(shù)據(jù)遷移大多采用多種工具及技術(shù)并用來(lái)實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的數(shù)據(jù)遷移。
2 陜西聯(lián)通綜合聯(lián)機(jī)系統(tǒng)數(shù)據(jù)遷移
根據(jù)陜西聯(lián)通綜合聯(lián)機(jī)系統(tǒng)存儲(chǔ)現(xiàn)狀，運(yùn)用不同的存儲(chǔ)遷移技術(shù)，制定數(shù)據(jù)遷移方案，實(shí)現(xiàn)非正常環(huán)境下，跨存儲(chǔ)數(shù)據(jù)遷移。
2. 1 陜西聯(lián)通綜合聯(lián)機(jī)系統(tǒng)現(xiàn)狀
陜西聯(lián)通于2009 年建立綜合聯(lián)機(jī)系統(tǒng)，利用兩臺(tái)IBMP570 小型機(jī)，利用DMX2000 存儲(chǔ)，利用HA 軟件構(gòu)建雙機(jī)互備份群集環(huán)境，采用SAN 架構(gòu)搭建，如圖1 所示。由于設(shè)備老舊故障頻發(fā)，于2015 年購(gòu)買IBM P740 小型機(jī)及EMC VMAX10K存儲(chǔ)來(lái)替換上述設(shè)備。本次遷移面臨的困難: DMX2000 與Vmax10K 存儲(chǔ)位于不同的San 交換機(jī)上，需要跨不同的SAN網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)遷移。ED140 交換機(jī)有故障，無(wú)法進(jìn)行配置更改，無(wú)法與ED4800 交換機(jī)進(jìn)行連接，配置鏈路。DMX2000有前端和后端板卡故障，無(wú)法進(jìn)行change bin 操作，不能與VMAX10K 存儲(chǔ)建立鏈路連接，不能使用EMC 存儲(chǔ)使用的coldpush 方式和hot push 方式進(jìn)行數(shù)據(jù)遷移。遷移系統(tǒng)時(shí)間不超過(guò)6 h。
2. 2 數(shù)據(jù)遷移方案
在上述硬件環(huán)境下，確定遷移方案，分為兩個(gè)步驟進(jìn)行: 首先進(jìn)行操作系統(tǒng)層面數(shù)據(jù)遷移，然后利用存儲(chǔ)Clone 技術(shù)，存儲(chǔ)內(nèi)部再進(jìn)行數(shù)據(jù)遷移，實(shí)現(xiàn)主機(jī)和存儲(chǔ)的同時(shí)替換。
現(xiàn)有主機(jī)各有一塊空閑HBA 卡，連接至SAN 48K 交換機(jī)，VMAX10K 1F0 和3F0 端口連接到SAN 48K 交換機(jī)上，使主機(jī)可以訪問VMAX10K 上的磁盤，利用OM 軟件進(jìn)行源主機(jī)VG數(shù)據(jù)復(fù)制; 然后將復(fù)制好數(shù)據(jù)的磁盤，作為clone 數(shù)據(jù)源盤，創(chuàng)建對(duì)應(yīng)的Clone 關(guān)系，將clone 目標(biāo)盤分配給新主機(jī)，運(yùn)用全量與增量clone 技術(shù)，完成在線實(shí)時(shí)遷移。利用上述技術(shù)，可進(jìn)行多次數(shù)據(jù)復(fù)制，可在新主機(jī)環(huán)境中進(jìn)行多次應(yīng)用測(cè)試，最終的業(yè)務(wù)割接測(cè)試時(shí)間很短，30 min 用于啟停應(yīng)用，30 min 可完成數(shù)據(jù)同步，業(yè)務(wù)割接1 h 完成。遷移工作全部完成后，拆除虛線鏈路。
2. 3 系統(tǒng)回退方案
由于前期數(shù)據(jù)已經(jīng)進(jìn)行全量數(shù)據(jù)遷移，并進(jìn)行了業(yè)務(wù)測(cè)試，正式割接過(guò)程，僅僅適用于追平數(shù)據(jù)的實(shí)踐差，數(shù)據(jù)跨存儲(chǔ)遷移無(wú)需回退。
2. 4 數(shù)據(jù)完整性驗(yàn)證方案
數(shù)據(jù)完整性、一致性驗(yàn)證重點(diǎn)放在小型機(jī)系統(tǒng)數(shù)據(jù)遷移應(yīng)用側(cè)數(shù)據(jù)，由于前期測(cè)試階段，首先進(jìn)行了全量數(shù)據(jù)同步后的應(yīng)用驗(yàn)證及數(shù)據(jù)一致性檢測(cè)，和多次增量clone 后，應(yīng)用驗(yàn)證及數(shù)據(jù)一致性檢測(cè)。此方案將大量的檢查驗(yàn)證工作在正式割接前進(jìn)行，有充足的實(shí)踐做全面的檢測(cè)和一致性檢查，因而正式割接僅僅是數(shù)據(jù)增量，無(wú)任何風(fēng)險(xiǎn)。
3 結(jié)語(yǔ)
跨存儲(chǔ)數(shù)據(jù)遷移涉及存儲(chǔ)系統(tǒng)、操作系統(tǒng)、應(yīng)用系統(tǒng)、數(shù)據(jù)遷移軟件及相關(guān)數(shù)據(jù)復(fù)制，要求遷移方案數(shù)據(jù)調(diào)度邏輯合理、各個(gè)環(huán)節(jié)遷移技術(shù)選擇得當(dāng)、完整性與一致性驗(yàn)證工作充分，必須要根據(jù)存儲(chǔ)及各自系統(tǒng)的特點(diǎn)制訂切合實(shí)際的遷移方案、實(shí)施策略，而某種單一的數(shù)據(jù)遷移技術(shù)往往無(wú)法勝任某種特殊環(huán)境。本文通過(guò)存儲(chǔ)系統(tǒng)數(shù)據(jù)遷移技術(shù)的探討，通過(guò)對(duì)陜西聯(lián)通跨存儲(chǔ)數(shù)據(jù)遷移這一非正常環(huán)境實(shí)踐案例進(jìn)行詳細(xì)說(shuō)明，為企業(yè)數(shù)據(jù)遷移提供借鑒經(jīng)驗(yàn)。
【淺談跨存儲(chǔ)數(shù)據(jù)遷移技術(shù)與實(shí)現(xiàn)論文】相關(guān)文章：
淺析云存儲(chǔ)技術(shù)在大數(shù)據(jù)時(shí)代的運(yùn)用論文05-04
簡(jiǎn)易數(shù)字波形存儲(chǔ)器的實(shí)現(xiàn)的論文05-04
淺談VF環(huán)境的數(shù)據(jù)庫(kù)加密技術(shù)論文05-04
地理元數(shù)據(jù)技術(shù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)04-27
云計(jì)算環(huán)境下的大數(shù)據(jù)可靠存儲(chǔ)關(guān)鍵技術(shù)概述論文10-19
淺談工程測(cè)量信息化測(cè)繪技術(shù)實(shí)現(xiàn)與展望工學(xué)論文04-30