新一代的基于虛擬技術的SAN網絡相對于傳統(tǒng)SAN的最大進步是SAN中包含了大量面向數(shù)據的智能化功能。而這些功能的有些是全新的,而有些是替代原來靠昂貴的服務器軟件或存儲控制器軟件實現(xiàn)的功能。整個SAN網絡只需要一套網絡軟件許可證,而不需要單獨為每套服務器或存儲控制器購買軟件。所有SAN中的存儲可以統(tǒng)一成一個大的存儲池,集中管理和分配,消除不同品牌存儲間的隔閡和限制,因此最大限度的發(fā)揮各存儲設備的性能。
更為關鍵的是,這種存儲網絡實現(xiàn)了On-Demand的存儲體系(按需存儲)。On-Demand存儲的含義是按照業(yè)務的需要,靈活的透明的改變存儲方式,以隨需應變。而在傳統(tǒng)的存儲體系結構中,On-Demand實現(xiàn)非常困難。應用對存儲的要求變化可歸納為四種:
1、容量需求的增減
業(yè)務量變化導致數(shù)據量變化,而數(shù)據量的變化又對存儲容量產生新要求
2、I/O性能需求的改變
應用的性能要求是不斷變化的,當業(yè)務高峰來臨時可能會產生巨大的I/O請求訪問量,如果有效的響應,將直接導致應用服務水平的下降,甚至使得應用出錯,影響業(yè)務運作。
3、數(shù)據存儲安全性高低的改變
關鍵的數(shù)據存儲應該存儲在SAN中最安全的存儲設備上。但是,數(shù)據的關鍵性與否,可能變化?;蛘邤?shù)據的重要程度也可能變換。
4、數(shù)據存儲功能要求的改變
例如有些數(shù)據需要每天備份到遠程,或需要在本地作克隆。
On-Demand存儲系統(tǒng)的意義在于,當以上情形發(fā)生時,存儲系統(tǒng)可以立刻應需而滿足要求,并且在改變過程中,不影響應用的運行。IBM新一代虛擬存儲網絡系列具備這些特性,因此被定義為On-Demand的存儲系統(tǒng)。
虛擬存儲的概念
其實虛擬存儲并不是一個新概念,很早以前,IBM在大機(mainframes)上的VM(virtual machine)技術或IBM公司通過虛擬磁帶將虛擬存儲的概念實施到磁帶庫上(VTS)都是運用了虛擬技術。簡單的來說,虛擬存儲是一種具有智能結構的系統(tǒng),它允許客戶以透明有效的方式在磁盤和磁帶上存儲數(shù)據,統(tǒng)一管理磁盤空間,使得客戶的存儲系統(tǒng)容納更多的數(shù)據,也使得更多的用戶可以共享同一個系統(tǒng)。在虛擬存儲環(huán)境下,無論后端物理存儲是什么設備,服務器及其應用系統(tǒng)看到的都是其物理設備的邏輯映象。即使物理存儲發(fā)生變化,這種邏輯映象也不會改變,系統(tǒng)管理員不必再關心后端存儲,只需專注于管理存儲空間,所有的存儲管理操作,例如系統(tǒng)升級、建立和分配虛擬磁盤、改變RAID級別、擴充存儲空間等都比以前容易的多,存儲管理變得輕松簡單。
在虛擬存儲環(huán)境下,存儲對用戶來說將變得透明,用戶可以不必關心存儲設備的功能差別、容量大小、設備類型和制造商如何,所有的設備將被統(tǒng)一管理,而且賦予統(tǒng)一的功能如Flashcopy、遠程災備等。
總體來說,存儲虛擬化有三個層次:基于服務器的虛擬存儲、基于存儲設備的虛擬存儲、基于網絡的虛擬存儲。
1、基于主機的虛擬化。這種方法是在很多廠商陣列之間通過LVM(logical volume manager)建立存儲池,在一個操作系統(tǒng)下共享不同陣列。
2、基于存儲的虛擬化。這種虛擬化是指一些高段陣列本身的智能化管理,可以實現(xiàn)同一陣列供不同主機來分享。以上兩種均是在主機和存儲的“BOX”內部實現(xiàn)的,如果把上述功能移植到網絡上,便是基于網絡的虛擬化。
3、基于網絡的虛擬化。這種虛擬化在多廠商陣列之間建立建立一個存儲池,也可以與不同的主機平臺相連,對主機來說看到的是不同的陣列的統(tǒng)一映象,實現(xiàn)了不同主機和存儲之間的真正的戶連和共享。從存儲的發(fā)展趨勢來看,基于網絡的虛擬化是發(fā)展的潮流?;诰W絡的虛擬存儲可以分為帶內(ln-band)或帶外(Out-of-band)的虛擬存儲架構。
IBM的虛擬存儲新成員:Virtualization Engine(虛擬引擎)、SAN File System(SAN上的統(tǒng)一的文件系統(tǒng)),都是基于網絡的虛擬產品。
SAN Volume Controller(縮寫為SAN VC),SAN控制器,是存儲業(yè)界又一次嶄新的突破,就像存儲歷史上的RAID,主機系統(tǒng)的存儲管理體系和虛擬磁帶技術,這些重要的發(fā)明均源自IBM。SAN Volume Controller是整個SAN網絡的控制器,它將整個SAN中的各種存儲設備整合成一個巨大的存儲池,充分利用存儲資源和按需分配存儲空間、性能和功能。而傳統(tǒng)的SAN網絡中,每種存儲系統(tǒng)都自成一體,就像一個個獨立的孤島,無法構成一片統(tǒng)一的大陸。
SAN VC實現(xiàn)了虛擬存儲層(Virtualization Layer)的功能,將存儲智能加入到SAN的網絡中?,F(xiàn)在用戶可以按照應用不斷變化的需求來分配存儲,而不再受制于存儲子系統(tǒng)設備在功能和性能上的限制。SAN VC又是一個SAN網絡的中心管理控制點,而且它對服務器的操作系統(tǒng)和存儲子系統(tǒng)透明。
這個SAN的中心控制器具備更為靈活的磁盤管理功能,極大的提高了存儲管理的效率,例如可動態(tài)創(chuàng)建和擴展邏輯卷等。而且,SAN VC為各種不同的存儲設備提供了一個統(tǒng)一的數(shù)據復制平臺,例如瞬間復制FlashCopy和遠程復制Remote Mirroring。這些復制功能都允許源磁盤卷和目標磁盤卷可以存在于不同品牌的磁盤陣列上。
透明的數(shù)據遷移是SAN VC的基本功能,當SAN VC被加入到一個現(xiàn)有的SAN環(huán)境中時,不需要做數(shù)據遷移,SAN VC把現(xiàn)有的磁盤配置原封不動的繼承下來(這是SAN VC的Image mode),這樣對服務器上的應用是完全透明的。當SAN VC完全配置好以后,它又可以將原先磁盤上的卷及數(shù)據透明的遷移到其他真正的虛擬卷中。所有的遷移過程對服務器透明,因此不需要中止應用。
IBM SAE VC是一個軟硬件集成化的產品,專業(yè)的虛擬存儲軟件運行在集群式的硬件引擎或者在CLSCO的MDS網絡交換機硬件上。由于SAN VC是為一個完全開放的存儲環(huán)境設計的,兼容各種不同的存儲設備。用戶可以將各種存儲方案融合其中,而不用擔心SAN VC會有什么封閉性。SAN Volume Controller為天生具備靈活的擴展能力,可以使用戶在存儲性能和存儲容量方面平滑無縫的升級。例如,擴展控制器個數(shù)可以增加性能,而往存儲池中增加磁盤則可以增加容量,這兩方面的擴展都可以線完成,不需要中止應用。SAN VC的主控臺提供了自動向IBM服務中心報警(call home)和遠程支持的能力。
SAN File System為是一個安裝在SAN中的文件系統(tǒng),也是一個軟硬件結合的產品。它為各種不同的操作系統(tǒng)平臺提供一個統(tǒng)一的文件存儲環(huán)境,實現(xiàn)文件級的數(shù)據共享,存儲分配,Serverless的數(shù)據備份,而且與SAN VC一樣,它也具備了按照策略動態(tài)地調整存儲設備配置,透明的遷移數(shù)據等虛擬存儲SAN控制器的功能,而所有功能目的是圍繞著文件級的存儲服務展開的。
虛擬存儲網絡的應用
我們舉例說明虛擬存儲網絡的應用。以下的例子是虛擬的,融合了多個實際客戶的案例,用來顯示如何是On-De-mand的存儲環(huán)境。
某大型企業(yè)H需上線一個新的數(shù)據倉庫系統(tǒng),將會新增加一批軟硬件設備。原有環(huán)境中已經有了許多存儲系統(tǒng)如IBM的ESS F20、FAStT500和MA8000。有些用于運行核心應用數(shù)據庫系統(tǒng),OA系統(tǒng)和財務系統(tǒng)。有些存儲設備基本閑置,閑置設備的性能無法滿足數(shù)據倉庫的需要。
CIO希望能有一個集中式的存儲系統(tǒng),以便于集中管理和更好的利用存儲設備,并在將來實現(xiàn)數(shù)據的災難保護。但是數(shù)據倉庫的進程非常緊張,而且重組所有的存儲系統(tǒng)需要巨大的工作量和風險性。而且,更換所有存儲并實現(xiàn)異地災備需要很大的資金投入。
計劃中將要上線的系統(tǒng)還有電子檔案和資料系統(tǒng)(包含多媒體信息),實時監(jiān)視分析系統(tǒng)(用于各攝像機錄下的影像),而今后的財務系統(tǒng)可能會并入核心應用系統(tǒng)??雌饋磉€需要好幾個存儲系統(tǒng),存儲管理的復雜度變高,相對數(shù)據安全性下降。CIO為如何管理著許多存儲設備和數(shù)據存儲的安全性擔心。當CIO發(fā)現(xiàn)IBM虛擬存儲的技術時,當前的問題立刻迎刃而解。
數(shù)據倉庫的存儲系統(tǒng)
由于數(shù)據倉庫項目的進程很緊,H公司立刻引進了一套IBM的SAN Integration Server-SIS。SIS表面看來和一個光纖磁盤陣列沒有太大不同,被稱為是罐裝的SAN(SAN in a CAN)。其內部是由IBM的FAStT磁盤組,SAN VC虛擬控制器和光纖交換機組構成。
SIS的最大容量可以達到100TB,最大I/O吞吐能力280000IOPS。SIS擁有巨大的容量和卓越的性能,而價格只是相當于市場光纖陣列的價格。
SIS的幾乎是一個“即插即用”型存儲,數(shù)據倉庫的硬件系統(tǒng)很順利的實施了。至此,存儲結構似乎與原來沒有什么變化,除了多了一套SIS。
當CIO開始考慮存儲集中時,SIS中的SAN VC開始大顯身手了。
轉移到虛擬存儲網絡中
所有的磁盤存儲設備從各自為政變成由SAN VC統(tǒng)一分配和管理,SAN VC可以看成是SAN的一部分。下面是設備的物理連接圖,看起來和普通的SAN似乎沒有太大區(qū)別。
在設備管理上,通過SAN VC(SVC)的虛擬卷管理功能,首先將所有的磁盤卷交給SVC管理。管理員根據設備的特性,定義了高性能組設備和低成本設備,并根據服務器的需要創(chuàng)建和分配存儲。
服務器A使用的是SIS上的空間,當需要的空間超過SIS的當前容量時,SVC將部分ESS的空間與SIS合成,滿足A的容量要求。而且,由于這個合成空間是由兩個物理設備構成,因此性能也是兩個設備的和。
如果,某臺服務器的I/O要求突然提高了,那么,可以動態(tài)更換虛擬盤Vdisk所對應的物理設備。例如,服務器C上的Vdisk所原來使用的是“低成本組”的磁盤設備,如果發(fā)現(xiàn)性能不夠時,可以在不停應用的情況下,透明的將數(shù)據轉移到“高性能組”。
遠程災害備援系統(tǒng)
當需要實現(xiàn)遠程數(shù)據事實鏡像保護時,可以在不同的存儲陣列間同步數(shù)據。在本案例中,所有的生產數(shù)據通過虛擬SAN網絡,都遷移到了高速的SIS和ESS中。MA和FAStT可以放到遠程作為備份用。這樣既保護了投資,又建立了一個完成實時保護災備系統(tǒng)。
高速的數(shù)據共享系統(tǒng)
新的電子文檔系統(tǒng)有大量的多媒體數(shù)據,需要一個高效的文件共享系統(tǒng)。IBM的SAN文件系統(tǒng)基于存儲網絡,不僅提供高速的訪問,而且具備了按照策略存儲的能力。例如,客戶定義了如下規(guī)則:
1、所有圖象文件和影視資料存儲在低成本的存儲設備上
2、數(shù)據庫文件存儲在高性能的存儲設備上
3、指定的關鍵性文件需要遠程鏡像
4、程序開發(fā)文件需要多版本保留
當這些規(guī)則定義到SAN file system中后,文件存儲會自動按照這個規(guī)則存放。若有這些規(guī)則沒有定義到的文件需要存儲時,SAN file system會使用缺省的存儲系統(tǒng)來存放。
按需應變的存儲系統(tǒng)
這個基于IBM虛擬存儲的系統(tǒng),達到可完全動態(tài)調整整個SAN存儲容量、性能和功能的能力。而且可以根據數(shù)據類型的不同,自動提供不同的存儲服務,具備了極強的包容性,即保護了原有的投資也為將來的發(fā)展提供了一個完全開放和無限擴展的空間。