引言
隨著計算機的廣泛應用,數據存儲的重要性不言而喻。數據是企業寶貴的資源,尤其在電子商務大型系統中,要考慮支持幾千或上萬用戶同時存取和7×24h不間斷運行的要求,如何保證業務連續性運營及數據的可靠性是一個重要的課題。
日益激烈的市場競爭和不斷提高的客戶服務質量需求對數據庫能力和可靠運行的要求越來越高,從面向客戶服務的角度而言,無論何時出現何種情況,都需要數據庫提供不問斷的業務支撐服務,以保證客戶滿意度、客戶服務質量、企業信譽等不受影響,對企業而言也可避免財務損失,增強企業競爭力。與此同時系統故障、人為誤操作、傳輸中斷、電網停電、服務器崩潰、磁盤損害系統風險甚至數據中心的災難性丟失都可能造成數據庫文件的損害或丟失。
1 數據容災備份的等級
容災備份是通過在異地建立和維護一個備份存儲系統,利用地理上的分離來保證系統和數據對災難性事件的抵御能力。
設計一個容災備份系統,需要考慮多方面的因素,如備份/恢復數據量大小、應用數據中心和備援數據中心之間的距離和數據傳輸方式、災難發生時所要求的恢復速度、備援中心的管理及投入資金等。根據這些因素和不同的應用場合,通常可將容災備份分為4個等級。
1)第0級:沒有備援中心。這一級容災備份,實際上沒有災難恢復能力,它只在本地進行數據備份,并且被備份的數據只在本地保存,沒有送往異地。
2)第1級:本地磁帶備份,異地保存。在本地將關鍵數據備份,然后送到異地保存。災難發生后,按預定數據恢復程序恢復系統和數據。這種方案成本低、易于配置。但當數據量增大時,存在存儲介質難管理的問題,并且當災難發生時存在大量數據難以及時恢復的問題。為了解決此問題,災難發生時,先恢復關鍵數據,后恢復非關鍵數據。
3)第2級:熱備份站點備份。在異地建立一個熱備份點,通過網絡進行數據備份。也就是通過網絡以同步或異步方式,把主站點的數據備份到備份站點,備份站點一般只備份數據,不承擔業務。當出現災難時,備份站點接替主站點的業務,從而維護業務運行的連續性。
4)第3級:活動備援中心。在相隔較遠的地方分別建立2個數據中心,它們都處于工作狀態,并進行相互數據備份。當某個數據中心發生災難時,另一個數據中心接替其工作任務。這種級別的備份根據實際要求和投入資金的多少,又可分為2種:①2個數據中心之間只限于關鍵數據的相互備份;②2個數據中心之間互為鏡像,即零數據丟失等。零數據丟失是目前要求最高的一種容災備份方式,它要求不管什么災難發生,系統都能保證數據的安全。所以,它需要配置復雜的管理軟件和專用的硬件設備,需要投資相對而言是最大的,但恢復速度也是最快的。
2 容災備份的關鍵技術
在建立容災備份系統時會涉及到多種技術,這里重點介紹Oracle GoldenGate數據庫同步技和HDSUSPV存儲復制技術。
2.1 Oracle GoldenGate數據同步技術
GoldenGate TDM(交易數據管理)軟件是一種基于日志的結構化數據復制軟件,它通過解析源數據庫在線日志或歸檔日志獲得數據的增刪改變化,再將這些變化應用到目標數據庫,實現源數據庫與目標數據庫同步、雙活。GoldenGate TDM軟件可以在異構的IT基礎結構(包括幾乎所有常用操作系統平臺和數據庫平臺)之間實現大量數據亞秒一級的實時復制。
GoldenGate TDM的數據復制過程如下:利用捕捉進程(Capture Process)在源系統端讀取OnlineRedo Log或Archive Log,然后進行解析,只提取其中數據的變化,如增、刪、改操作,并將相關信息轉換為GoldenGate TDM自定義的中間格式存放在隊列文件(trail file)中。再利用傳送進程將隊列文件通過TCP/IP傳送到目標系統。捕捉進程在每次讀完Log中的數據變化并在數據傳送到目標系統后,會寫檢查點,記錄當前完成捕捉的Log位置,檢查點的存在可以使捕捉進程在中止并恢復后可從檢查點位置繼續復制;目標系統接受數據變化并緩存到GoldenGate TDM隊列當中,隊列為系列臨時存儲數據變化的文件,等待投遞進程讀取數據;
GoldenGate TDM投遞進程(Delivery process)從隊列中讀取數據變化并創建對應的SQL語句,通過數據庫的本地接口執行,提交到數據庫成功后更新自己的檢查點,記錄已經完成復制的位置,數據的復制過程最終完成。由此可見,GoldenGate TDM是一種基于軟件的數據復制方式,它從數據庫的日志解析數據的變化(數據量只有日志的四分之一左右)。GoldenGate TDM將數據變化轉化為自己的格式,直接通過TCWIP網絡傳輸,無需依賴于數據庫自身的傳遞方式,而它可以通過高達10:l的壓縮率對數據進行壓縮,可以大大降低帶寬需求。在目標端,GoldenGate TDM可以通過交易重組,分批加載等技術手段大大加快數據投遞的速度和效率,降低目標系統的資源占用,可以在亞秒級實現大量數據的復制,而且目標端數據庫是活動的。
GoldenGate具有以下關鍵特性:
1)對生產系統影響小;
2)實時讀取交易日志,以低資源占用實現大交易量數據實時復制;
3)以交易為單位復制,保證交易一致性;
4)高性能;
5)智能的交易重組和操作合并;
6)使用數據庫本地接口訪問;
7)并行處理體系;
8)靈活的拓撲結構;
9)支持一對一、一對多、多對一、多對多和雙向復制等;
l0)支持數據過濾和轉換;
11)可以自定義基于表和行的過濾規則;
12)可以對實時數據執行靈活影射和變換;
13)提供數據壓縮和加密;
14)降低傳輸所需帶寬,提高傳輸安全性。
2.2 HDS USPV軟件技術
HDS通用復制軟件Universal Replicator,是基于HDS最新一代的通用存儲平臺實現的異步遠程數據復制軟件。通過HDS通用存儲平臺的虛擬化功能,HDS通用復制軟件可以實現同構或異構存儲系統之間的遠程數據復制功能。
HDS通用復制軟件采用基于磁盤日志文件的技術,可以保證遠程數據的一致性和完整性,同時,極大地降低了存儲系統CACHE和通信鏈路帶寬的需求。它是對HDS原有的異步遠程復制軟件的補充。
HDS通用復制軟件的原理如圖1所示。當服務器端發出一個寫操作時,寫I/0按照寫發生的順序保存在主存儲系統的日志卷(JNL)中,遠端的存儲系統通過發出讀日志命令從主存儲系統的日志卷(JNL)中讀取記錄并將其寫到本地的日志卷(JNL)中,然后將該記錄更新到本地的數據卷中。
在異步遠程數據復制時。如何保證遠端存儲系統的數據一致性是一個非常重要的課題。HDS通用復制軟件通過時間戳和順序號技術,保證了在遠端的存儲系統中接收到的記錄能夠按照其寫操作的發生順序更新到遠端的存儲系統數據卷中。而這種技術已經在日立原有的遠程數據復制軟件中使用,并已經經過實踐證明。同時,HDS通用復制軟件還支持數據一致性組技術,可以保證跨多數據卷的數據的完整性和一致性。
圖1 HDS通用復制軟件原理
HDS通用復制軟件引入了拉(pull)機制實現數據的復制,使用這種技術,主存儲系統不需要特定的資源將數據推(push)到遠程存儲系統中,而是遠程存儲系統到本地存儲系統來讀日志卷。這樣就解除了主存儲系統用于數據遠程復制的資源消耗,使得主存儲系統的資源100%的服務于生產系統,從而提高了存儲系統的性能。
HDS通用復制軟件也節省了通信鏈路的帶寬需求,在傳統的數據遠程復制環境下,通信鏈路的帶寬需求不夠,則數據會累積在存儲系統的CACHE中,當CACHE資源不夠時,遠程數據復制過程中斷。采用基于磁盤日志方式的通用復制軟件,可以利用磁盤日志文件緩沖對帶寬的瞬時高需求,從而可以避免由于瞬間的高帶寬需求造成的遠程數據復制的掛起。
HDS通用復制軟件也有效的解決了在數據復制過程中的重新同步過程中的數據不一致性問題。在傳統的數據復制方式下,當數據鏈路的原因造成數據不能夠復制,數據遠程復制自動掛起,同時對生產端存儲系統的數據更新保存在存儲系統的Bitmap表中,當鏈路恢復后,存儲系統根據Bitmap表中的記錄信息將更新過的磁道復制到備份端的存儲系統,而在這個過程中備份端的存儲系統的數據一致性是不能保證的,這就是數據復制的重新同步問題。由于HDS通用數據復制軟件采用基于磁盤日志的工作方式,當數據鏈路斷開后,對數據的更新仍然按順序保存在磁盤日志中,這樣,當鏈路恢復后,HDS的通用復制軟件仍然到生產端存儲系統的日志文件中讀取數據更新記錄,這樣就解決了數據的重新同步問題。
由于HDS通用復制軟件是基于HDS通用存儲平臺實現的數據遠程異步復制功能,由于HDS通用存儲平臺可以支持異構的存儲系統連接和虛擬化,所以HDS通用復制軟件可以實現異構的存儲系統之間的數據遠程異步復制功能。
3 結語
數據容災系統,對于IT而言,就是為計算機信息系統提供的一個能應付各種災難的環境。當計算機系統在遭受如火災、水災、地震、戰爭等不可抗拒的自然災難以及計算機犯罪、計算機病毒、掉電、網絡/通信失敗、硬4牛-/軟件錯誤和人為操作錯誤等人為災難時,容災系統將保證用戶數據的安全性(數據容災),甚至一個更加完善的容災系統,還能提供不間斷的應用服務(應用容災)。可以說,容災系統是數據存儲備份的最高層次。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.hanmeixuan.com/
本文標題:數據容災備份的等級及關鍵技術
本文網址:http://www.hanmeixuan.com/html/consultation/1083932135.html