使用 Windows Server 為 Hyper-V 工作負載提供符合成本效益的存放裝置：規劃與設計指南
本文內容
適用於: System Center 2012, Windows Server 2012 R2
本指南說明如何針對裝載在 Windows Server 和 Hyper-V 上執行的虛擬機器做為雲端服務平台一部分的計算叢集，規劃與設計一個特殊的儲存體解決方案。 這個軟體定義的儲存體解決方案使用易於管理的 Windows Server 檔案伺服器叢集以及集束磁碟 (JBOD) 附件和儲存空間，來取得高效能且符合成本效益的儲存體，在實作雲端平台時排除對於昂貴 SAN 裝置的需求。
如需近期對本主題所做變更的清單，請參閱本主題的＜變更歷程記錄＞一節。
如果您尚未準備好，就應該閱讀 使用 Windows Server 提供 Hyper-V 工作負載符合成本效益的儲存體 - 它提供這個解決方案的簡介，而且必須與本主題搭配使用。
我們假設您想要將目標設定為最初大約部署 100 個租用戶 (每個租用戶有八部虛擬機器)，並且能夠在經過一段時間之後將這個解決方案擴展到大約 500 個租用戶。 如需更有彈性且完整的設計指導方針，請參閱軟體定義的儲存體設計考量指南 。
使用下列步驟和設計決策，來規劃如何針對 Hyper-V 工作負載實作以 Windows Server 為基礎的儲存體。
在本指南中：
步驟 1：設計檔案伺服器叢集
步驟 2：設計管理叢集
步驟 3：設計計算叢集
後續步驟
步驟 1：設計檔案伺服器叢集
在這個步驟中，您要設計在這個解決方案中用來將儲存體提供給虛擬機器的檔案伺服器叢集。
1.1. 設計檔案伺服器叢集硬體
以下是我們建議您針對檔案伺服器叢集使用的硬體元件。 請注意，建議您向已測試並支援硬體做為儲存空間的整合式解決方案的廠商購買所有生產硬體。
儲存機箱
四個相同的儲存機箱 (四個機箱共 240 個磁碟)
因為有四個機箱，在某個機箱完全故障時，儲存空間將能維持上線狀態 (假設剩餘的機箱中沒有太多故障的磁碟)。
SAS 連線 60 磁碟儲存機箱
每個儲存機箱都必須經由主機匯流排介面卡 (HBA) 透過兩個 SAS 連線，連接到檔案伺服器叢集的所有節點
這樣能夠將效能最大化，並消除單一失敗點。 若要支援這個需求，最好是每個儲存機箱和伺服器節點所擁有的節點數目為 SAS 連接埠數目的兩倍 (儲存機箱上有 8 個連接埠且每個節點上有 8 個連接埠)。
實體磁碟
每個儲存機箱 48 7200 rpm HDD (四個機箱總共 192 個 HDD)
7,200 rpm HDD 可提供許多容量，儘管比起轉速較高的 HDD 來說其消耗的電力較少且成本較低，但當它們具有足夠數量的 SSD 時，仍然能夠在這個解決方案中提供良好的效能。
在四個有 60 個擴充插槽的機箱中使用 4 TB HDD 和 800 GB SSD 時，這個解決方案可針對每個檔案伺服器叢集提供大約 804 TB 的原始儲存集區容量。 將復原、備份的儲存體和修復儲存空間的可用空間納入為重要因素之後，會產生約 164 TiB 的空間供計算和管理虛擬機器之用 (TiB 是使用二進位 - 基底 2 - 標記，而不使用十進位 - 基底 10 - 標記來計算 TB)。
每個儲存機箱 12 個 SSD (四個儲存機箱共 48 個 SSD)
儲存空間會使用 SSD，針對經常存取的資料建立更快速的儲存層。 它也會針對永續性寫回快取使用 SSD，以降低隨機寫入的延遲。
如需詳細資訊，請參閱 Windows Server 中儲存空間的新功能 。
所有磁碟都必須是雙連接埠的 SAS 磁碟
這讓每個磁碟都能透過儲存機箱內含的 SAS 展開器，連接到容錯移轉叢集的所有節點。
檔案伺服器叢集
一個四節點的檔案伺服器叢集
透過四個節點，所有的儲存機箱都能連接到所有節點，而您可以在有兩個節點發生故障的情況下保有良好效能，降低維護的急迫性。
一個檔案伺服器叢集裝載一個計算叢集的儲存體
如果您新增計算叢集，也請新增另一個四節點的檔案伺服器叢集。 您可以針對每個管理叢集最多新增四個檔案伺服器叢集和四個計算叢集。 第一個檔案伺服器叢集也會裝載管理叢集的儲存體。
其他叢集 (亦稱為縮放單位) 讓您能夠擴大環境範圍，以支援更多虛擬機器和租用戶。
叢集節點
兩個六核心的 CPU
檔案伺服器叢集不需要功能最強大的 CPU，因為大部分的流量都是由 RDMA 網路卡所處理，該網路卡會直接處理網路流量。
64 GB 的 RAM
您不需要大量的 RAM，因為檔案伺服器叢集會使用儲存層，來防止使用 CSV 快取 (通常是叢集檔案伺服器上最大的 RAM 取用者之一)。
兩個使用基本 RAID 控制器在 RAID-1 (鏡像) 中設定的 HDD
這是每個節點上安裝 Windows Server 的地方。 您可以選擇使用一或兩個 SSD。 SSD 的成本更高，但使用的電力較少，而且可以提供更快速的啟動、設定和復原次數，並提高可靠性。 如果您可以接受在 SSD 故障時於節點上重新安裝 Windows Server，就可以使用單一 SSD 來降低成本。
叢集節點 HBA
叢集節點網路介面卡
一張支援 RDMA 的雙連接埠 10 GB 乙太網路介面卡
這張介面卡可做為檔案伺服器叢集與計算和管理叢集之間的儲存網路介面，每一個計算和管理叢集都會在檔案伺服器叢集上儲存它們的虛擬硬碟檔案。
如果您想要在叢集機架之間使用路由器，則這張介面卡要求 RDMA 支援，以便將效能與 iWARP 最大化，在將額外的計算與檔案伺服器叢集新增到解決方案時即會與此動作有關。 這張介面卡會使用 SMB 3 和 SMB 直接傳輸來提供容錯，每個連接埠都連接到個別的子網路。
如需具有 RDMA 支援的認證網路介面卡清單，請參閱 Windows Server Catalog 。
不支援 RDMA 的雙連接埠 1 GB 或 10 GB 乙太網路介面卡
這張介面卡會在管理叢集和檔案伺服器叢集之間進行通訊，且每個連接埠都連接到不同的子網路。 它不需要 RDMA 支援，因為它會與管理和計算叢集上的 Hyper-V 虛擬交換器進行通訊，而管理和計算叢集無法使用 RDMA 通訊。
如需認證網路介面卡清單，請參閱 Windows Server Catalog 。
用於遠端管理的 1 GB 乙太網路介面卡
這個 Integrated Lights-Out (ILO)、基礎板管理控制器 (BMC) 或內建的網路介面卡會連接到您的管理網路。
1.2. 設計檔案伺服器叢集軟體組態
以下是我們建議您針對檔案伺服器叢集使用的軟體元件。
作業系統
容錯移轉叢集
MPIO
儲存集區
每個檔案伺服器叢集上有 3 個叢集儲存集區
在將儲存集區容錯移轉到其他節點時，有助於將所需時間降至最低。
每個工作負載集區的四個儲存機箱中，每個都有 5 個 SSD 和 16 個 HDD，用於主要工作負載中每個集區共 84 個磁碟。
這可提供足夠的 SSD，讓您能夠建立適當的儲存空間，以及跨儲存機箱分散的資料，因此，當任一個儲存機箱發生故障時，都不會導致您的租用戶停機 (只要剩餘的儲存機箱中沒有太多故障的磁碟即可)。
備份集區的四個儲存機箱中，每個都有 2 個 SSD 和 16 個 HDD，加上集區中共 72 個磁碟。
在備份集區中的 SSD 便視為日誌磁碟，可增強使用雙同位復原類型之虛擬磁碟的寫入效能。
沒有熱備援磁碟
而是在每個儲存體集區永遠保留至少 21.9 TiB 的可用 HDD 空間，加上每個工作負載集區中 1.5 TiB 的可用 SSD 空間。 這樣可讓儲存空間藉由將資料複製到集區中的多個磁碟，利用最多一個故障 SSD 和 3 個故障 HDD 自動重建儲存空間，相較於使用熱備援，這能大幅降低從故障磁碟復原所需的時間。
在這個含有 4 TB HDD 和 800 GB SSD 的解決方案中，這表示每個儲存集區會保有 23.4 TB 的可用空間。
如需我們如何擬定這些數字的詳細資訊，請參閱軟體定義的儲存體設計考量指南 和軟體定義的儲存設計計算機 。
儲存空間
每個工作負載儲存集區有 8 個儲存空間
這會將負載散佈到集區中的每個節點 (每個集區的每個節點上有 2 個儲存空間)。
對工作負載資料使用三向鏡像空間
鏡像空間可在裝載虛擬機器時提供最佳效能與資料復原功能。 三向鏡像空間可確保至少有三個資料複本，能夠在任兩個磁碟發生故障時不造成資料遺失。 基於虛擬機器的效能特性，我們不建議使用同位檢查空間來裝載虛擬機器。
使用下列設定來建構含有儲存層的三向鏡像空間、預設回寫式快取大小，以及機箱感知。 建議您對此組態採用四個磁碟區以取得高輸送量和低延遲的平衡。
如需詳細資訊，請參閱軟體定義的儲存體設計考量指南 。
ResiliencySettingName
Mirror
NumberOfDataCopies
3
NumberOfColumns
4
StorageTierSizes
SSD：.54 TiB；HDD：8.79 TiB (假設 800 GB 的 SSD 和 4 TB 的 HDD)
IsEnclosureAware
$true
所有儲存空間都使用固定佈建
固定佈建讓您能夠使用儲存層和容錯移轉叢集，這兩者都不會使用精簡佈建。
另外建立一個不含儲存層的 4 GB 雙向鏡像空間
這個儲存空間可用來做為檔案伺服器叢集的見證磁碟，以及用於管理和計算叢集的檔案共用見證。 這有助於檔案伺服器叢集在兩個節點發生故障或節點之間發生網路問題時保有其完整性 (仲裁)。
針對您的備份集區，使用下列設定來建立使用雙同位復原類型和 7 個磁碟區的 16 個虛擬磁碟。
ResiliencySettingName
Parity
NumberOfDataCopies
3
Size
7.53 TiB
NumberOfColumns
7
IsEnclosureAware
$true
磁碟分割
每個儲存空間都有一個 GPT 磁碟分割
這有助於讓解決方案保持更單純的狀態。
磁碟區
CSV
BitLocker 磁碟機加密
持續可用的檔案共用
每個 CSV 磁碟區/磁碟區/磁碟分割/儲存空間上有一個持續可用的 SMB 檔案共用
這可讓管理變得更簡單 (每個基礎的儲存空間都有一個共用)，並且能夠將負載分散到檔案伺服器叢集中的所有節點。
廣泛部署之前，先測試在檔案共用上加密資料存取 (SMB 3 加密) 的效能
您可以使用 SMB 3 加密，協助保護檔案共用上的資料，這些檔案共用要求保護攻擊者可從中存取資料中心網路的實體安全性缺口，但這樣做會消除大部分使用 RDMA 網路介面卡的效能優勢。
更新
使用 Windows Server Update Services 搭配 Virtual Machine Manager
針對檔案伺服器節點，在 Windows Server Update Services (WSUS) 中建立三到四個電腦群組，並在每個群組中新增一到兩個節點。 使用這個設定，您可以先更新某一部伺服器並監視它的功能，然後以一次更新一部的方式來更新剩餘的伺服器，如此一來，負載便能繼續在剩餘的伺服器上保持平衡。
如需詳細資訊，請參閱在 VMM 中管理網狀架構更新 (或者，如果您不是使用 Virtual Machine Manager，請參閱在組織中部署 Windows Server Update Services )。
針對 UEFI 和韌體更新使用叢集感知更新
使用叢集感知更新來更新所有無法透過 WSUS 發佈的項目。 這些項目可能是叢集節點的 BIOS (UEFI)，以及網路介面卡、SAS HBA、磁碟機及儲存機箱的韌體。
Data Protection Manager
步驟 2：設計管理叢集
在這個步驟中，您會設計管理叢集來執行所有適用於檔案伺服器和計算叢集的管理與基礎結構服務。
注意
這個解決方案假設您想要使用產品的 System Center 套件，提供功能強大的工具來簡化設定、管理及監視這個解決方案。 但是，您也可以改為透過 Windows PowerShell 和伺服器管理員來完成所有工作 (儘管您可能因為這個解決方案所涵蓋的範圍而發現 Windows PowerShell 更適用)。 如果您選擇放棄使用 System Center，可能就不需要如此處所述的管理叢集般的強大功能，而且您或許能夠使用現有的伺服器或叢集。
2.1. 設計管理叢集硬體
以下是我們對執行所有檔案伺服器和計算叢集的管理和基礎結構服務之叢集建議使用的硬體元件。
管理叢集
叢集節點
兩個八核心 CPU
這個叢集上的虛擬機器會執行大量處理，因此需要比檔案伺服器叢集更多的 CPU 動力。
128 GB 的 RAM
執行管理虛擬機器所需的 RAM 比檔案伺服器叢集所需的還要多。
兩個使用基本 RAID 控制器在 RAID-1 (鏡像) 中設定的 HDD
這是每個節點上安裝 Windows Server 的地方。 您可以選擇使用一或兩個 SSD。 SSD 的成本更高，但使用的電力較少，而且可以提供更快速的啟動、設定和復原次數，並提高可靠性。 如果您可以接受在 SSD 故障時於節點上重新安裝 Windows Server，就可以使用單一 SSD 來降低成本。
網路介面卡
一張支援 RDMA 的雙連接埠 10 GB 乙太網路介面卡
這張介面卡會在管理叢集和檔案伺服器叢集之間進行通訊，以用來存取管理虛擬機器所使用的 .vhdx 檔案。 如果您想要在檔案伺服器與管理叢集的機架之間使用路由器，則這張介面卡要求 RDMA 支援，以便將效能與 iWARP 最大化，在將額外的檔案伺服器叢集新增到解決方案時即會與此動作有關。 這張介面卡會使用 SMB 3 和 SMB 直接傳輸來提供容錯，每個連接埠都連接到個別的子網路。
如需具有 RDMA 支援的認證網路介面卡清單，請參閱 Windows Server Catalog 。
不支援 RDMA 的雙連接埠 1 GB 或 10 GB 乙太網路介面卡
這張介面卡會處理所有叢集之間的管理流量。 這張介面卡要求支援虛擬機器佇列 (VMQ)、動態 VMQ、802.1Q VLAN 標記，以及 GRE 卸載 (NVGRE)。 這張介面卡使用 NIC 小組來提供兩個連接埠的容錯功能，每個連接埠都連接到個別的子網路。
這張介面卡不會使用 RDMA，因為 RDMA 要求直接存取該網路介面卡，而且這張介面卡需要與 Hyper-V 虛擬交換器通訊 (這會隱匿對網路介面卡的直接存取)。 它會針對容錯使用 NIC 小組技術，而不是 SMB 直接傳輸，因此，SMB 以外的通訊協定可以使用重複的網路連線。 您應該使用服務品質 (QoS) 規則來排列這個連線上傳輸的優先順序。
如需具有 NVGRE 支援的認證網路介面卡清單，請參閱 Windows Server Catalog 。
用於遠端管理的 1 GB 乙太網路介面卡
這個 Integrated Lights-Out (ILO)、基礎板管理控制器 (BMC) 或內建的網路介面卡會連接到您的管理網路。
2.2. 設計管理叢集軟體組態
下列清單說明我們針對管理叢集所建議的高階軟體元件：
下列清單說明您應該在管理叢集上的虛擬機器中執行的高階服務：
Active Directory 網域服務 (AD DS)、DNS 伺服器及 DHCP 伺服器
Windows Server Update Services
Windows 部署服務
Microsoft SQL Server
System Center Virtual Machine Manager
System Center Virtual Machine Manager 程式庫伺服器
System Center Operations Manager
System Center Data Protection Manager
管理主控台 (含有 GUI 安裝選項的 Windows Server)
根據您使用的服務而定，可能需要其他虛擬機器，例如，Windows Azure 套件和 System Center Configuration Manager。
注意
在所有節點上建立完全相同的虛擬交換器，如此一來，每部虛擬機器就可以容錯移轉到任何節點，並維持其與網路的連線。
步驟 3：設計計算叢集
在這個步驟中，您可以設計計算叢集來執行要為租用戶提供服務的虛擬機器。
2.1. 設計計算叢集硬體
以下是我們建議您針對計算叢集使用的硬體元件。 這些叢集裝載租用戶虛擬機器。
Hyper-V 計算叢集
叢集節點
兩個八核心 CPU
兩個八核心 CPU 對一般工作負載混合而言就已足夠，但若您想要在租用戶虛擬機器中執行許多繁重計算的工作負載，請選取較高效能的 CPU。
128 GB 的 RAM
執行大量的虛擬機器 (當叢集的所有節點都在執行時，每個節點可能有 64 部) 要求比檔案伺服器叢集更多的 RAM。 如果您平均想要在每部虛擬機器上提供 2 GB 以上，請使用更多的 RAM。
兩個使用基本 RAID 控制器在 RAID-1 (鏡像) 中設定的 HDD
這是每個節點上安裝 Windows Server 的地方。 您可以選擇使用一或兩個 SSD。 SSD 的成本更高，但使用的電力較少，而且可以提供更快速的啟動、設定和復原次數，並提高可靠性。 如果您可以接受在 SSD 故障時於節點上重新安裝 Windows Server，就可以使用單一 SSD 來降低成本。
網路介面卡
一張支援 RDMA 的雙連接埠 10 GB 乙太網路介面卡
這張介面卡會與檔案伺服器叢集進行通訊，以存取虛擬機器所使用的 .vhdx 檔案。 如果您想要在檔案伺服器與管理叢集的機架之間使用路由器，則這張介面卡要求 RDMA 支援，以便將效能與 iWARP 最大化，在將額外的檔案伺服器叢集新增到解決方案時即會與此動作有關。 這張介面卡會使用 SMB 3 和 SMB 直接傳輸來提供容錯，每個連接埠都連接到個別的子網路。
如需具有 RDMA 支援的認證網路介面卡清單，請參閱 Windows Server Catalog 。
不支援 RDMA 的雙連接埠 1 GB 或 10 GB 乙太網路介面卡
這張介面卡會處理管理與租用戶流量。 這張介面卡要求支援虛擬機器佇列 (VMQ)、動態 VMQ、802.1Q VLAN 標記，以及 GRE 卸載 (NVGRE)。 這張介面卡使用 NIC 小組來提供兩個連接埠的容錯功能，每個連接埠都連接到個別的子網路。
這張介面卡不會使用 RDMA，因為 RDMA 要求直接存取該網路介面卡，而且這張介面卡需要與 Hyper-V 虛擬交換器通訊 (這會隱匿對網路介面卡的直接存取)。 它會針對容錯使用 NIC 小組技術，而不是 SMB 直接傳輸，因此，SMB 以外的通訊協定可以使用重複的網路連線。 您應該使用服務品質 (QoS) 規則來排列這個連線上傳輸的優先順序。
如需具有 NVGRE 支援的認證網路介面卡清單，請參閱 Windows Server Catalog 。
用於遠端管理的 1 GB 乙太網路介面卡
這個 Integrated Lights-Out (ILO)、基礎板管理控制器 (BMC) 或內建的網路介面卡會連接到您的管理網路，而且讓您能夠使用 System Center Virtual Machine Manager，從裸機硬體設定叢集節點。 介面必須支援智慧平台管理介面 (IPMI) 或伺服器硬體系統管理架構 (SMASH)。
2.2. 設計計算叢集軟體組態
下列清單說明我們針對計算叢集所建議的高階軟體元件：
後續步驟
完成這些規劃步驟後，請參閱＜實作此解決方案的整體步驟為何？ ＞。
另請參閱
變更歷程記錄
2015 年 7 月 15 日
虛擬磁碟設計的更新指引，以及軟體定義的儲存體設計考量指南 的新增連結，其中提供更詳細的最新儲存體設計資訊。
2014 年 6 月 18 日
更新的指導方針是關於需要在每個集區中設定多少可用空間才能重建儲存空間，以及相對應的更新虛擬磁碟大小及其他數字
2014 年 4 月 2 日
移除連至 SAS 磁碟和 SAS HBA 的 Windows Catalog 連結，因為這些連結會令人混淆不清
2014 年 1 月 22日
初步發行