Tillhandahålla kostnadseffektiv lagring för Hyper-V-nätverksbelastningar med Windows Server: planerings- och designguide
Artikel
Gäller för: System Center 2012, Windows Server 2012 R2
I handboken beskrivs hur du planerar och utformar en viss lagringslösning för beräkningskluster som hyser virtuella maskiner på Windows Server Hyper-V som en del av en molntjänstplattform. Denna programvarudefinierade lagringslösning använder ett lätthanterat Windows Server-filserverkluster tillsammans med JBOD (just a bunch of disks) och lagringsutrymmen för hög prestanda, kostnadseffektiv lagring, vilket gör att du slipper dyra SAN-enheter när du implementerar en plattform i molnet.
En lista över nyligen gjorda ändringar i det här avsnittet finns i Ändra historik i det här avsnittet.
Vi förutsätter att du vill börja med en inledande distribution till ungefär 100 klienter (med åtta virtuella datorer per klient) med möjlighet att utöka lösningen till ungefär 500 klienter på sikt. Mer flexibla och omfattande riktlinjer för designen finns i Guide för beaktande vid programvarudefinierad lagringsdesign.
Använd följande steg och designaspekter för att planera implementeringen av Windows Server-baserad lagring för Hyper-V-arbetsbelastningar.
I den här handboken:
Steg 1: Skapa filserverkluster
Steg 2: Utforma hanteringsklustret
Steg 3: Utforma beräkningsklustret
Nästa steg
Steg 1: Skapa filserverkluster
I det här steget kan du utforma serverklusterfilen som skapar lagringsutrymmet på virtuella maskiner i den här lösningen.
1.1. Skapa filserverklustrets maskinvara
Följande maskinvarukomponenter rekommenderas för filserverkluster. Observera att vi rekommenderar att köpa all produktionsmaskinvara från en leverantör som testar och stöder maskinvaran som en integrerad lösning med lagringsutrymmen.
Komponent
Riktlinjer
Lagringsenheter
Fyra identiska lagringsenheter (totalt 240 diskar i fyra enheter)
Med fyra höljen förblir lagringsutrymmena uppkopplade även om ett går sönder (förutsatt att övriga höljen inte har för många icke-fungerande diskar).
SAS-anslutna 60-diskars lagringsenheter
Varje lagringsenhet måste vara ansluten med två SAS-anslutningar via ett värdbusskort (HBA) till alla noder i filserverklustren
Detta maximerar prestandan och eliminerar en enskild felkälla. För att uppfylla detta krav, skulle helst varje lagringsenhet och servernod ha dubbelt så många SAS-portar som antalet noder (8 portar på enheten och 8 portar på varje nod).
Fysiska diskar
48 hårddiskar med 7 200 rpm per lagringsenhet (totalt 192 hårddiskar i fyra enheter)
7 200 rpm-hårddiskar ger mycket kapacitet samtidigt som strömförbrukningen och kostnaden är lägre än hårddiskar med högre rotationshastighet. De ger ändå bra prestanda för den här lösningen de används tillsammans med ett tillräckligt antal SSD.
När du använder 4 TB hårddiskar och 800 GB SSD i fyra 60-facksenheter, ger den här lösningen en lagringspoolskapacitet på 804 TB per filserverkluster. När återhämtning, lagring av säkerhetskopiering och ledigt utrymme för att reparera lagringsutrymmen är inberäknade, ger detta ungefär 164 TiB utrymme för beräkning och hantering av virtuella datorer (TiB är en terabyte som beräknas med hjälp av binär - bas 2 - notation, i stället för decimal - bas 10 - notation).
12 SSD per lagringsenhet (totalt 48 SSD i fyra lagringsenheter)
Lagringsutrymmen använder SSD för att skapa en snabbare lagringsnivå för data som används ofta. SSD används också för en beständig mellanlagring i cacheminnet som minskar svarstiden för slumpmässiga skrivningar.
Därmed kan varje disk vara ansluten till alla noder i redundansklustret via SAS-expanderare som ingår i lagringsenheterna.
Filserverkluster
Ett filserverkluster med fyra noder
Med fyra noder är alla lagringsenheter anslutna till alla noder och du kan upprätthålla bra prestanda, även om två noder upphör att fungera, vilket gör eventuella underhållsåtgärder mindre brådskande.
Ett filserverkluster förser lagringsutrymme för ett beräkningskluster
Om du lägger till ett beräkningskluster måste du också lägga till ytterligare ett fyra noders filserverkluster. Du kan lägga till upp till fyra filserverkluster och fyra beräkningskluster per hanteringskluster. Det första filserverklustret är även värd för hanteringsklustrert.
Med ytterligare kluster (så kallade skalenheter) kan du öka omfattningen av din miljö för att stödja fler virtuella maskiner och klienter.
Klusternoder
Två processorer med sex kärnor
Filserverkluster behöver inte de mest kraftfulla processorerna eftersom merparten av trafiken hanteras av RDMA-nätverkskort som bearbetar nätverkstrafiken direkt.
64 GB RAM-minne
Du behöver inte mycket RAM-minne eftersom filserverkluster använder lagringsnivåer som förhindrar att en CSV-cache används (vanligtvis en av de främsta förbrukarna av RAM-minne på en klustrad filserver).
Två hårddiskar i en RAID-1 (spegling) med hjälp av en enkel RAID-styrenhet
I dessa fall är Windows Server är installerat på varje nod. Som ett alternativ kan du använda en eller två SSD. SSD kostar mer, men förbrukar mindre ström och ger snabbare uppstart, inställningar och återställning samt ökad tillförlitlighet. Du kan använda en enda SSD för att minska kostnaderna om du är OK med att installera om Windows Server på noden om SSD upphör att fungera.
Klusternoden HBA-enheter
Två identiska 4 portars 6 Gbit/s SAS HBA
Varje HBA-enhet har en anslutning till varje lagringsenhet, så det finns totalt två anslutningar till varje lagringsenhet. Detta maximerar dataflödet, ger redundanta sökvägar och har inte inbyggda funktioner för RAID.
Klusternod-nätverkskort
Ett dual-port, 10 gigabit Ethernet-nätverkskort med RDMA-stöd
Det här kortet fungerar som lagringsnätverkets gränssnitt mellan filserverkluster och beräknings- och hanteringskluster, som lagrar sina virtuella hårddiskfiler på filserverklustret.
Kortet kräver RDMA-stöd för att maximera prestandan och iWARP om du vill använda routrar mellan klusterrack, vilket kan vara fallet när du lägger till ytterligare beräknings- och filserverkluster i lösningen. Det här kortet använder SMB-3 och SMB-direkt för att ge feltolerans, med varje port som ansluten till ett separat undernät.
Ett dual port gigabit- och 10 gigabit Ethernet-nätverkskort utan RDMA-stöd
Det här kortet kommunicerar mellan hanteringskluster och felserverkluster, där varje port är ansluten till ett separat undernät. Kortet behöver inte RDMA-stöd eftersom det kommunicerar med virtuella Hyper-V-omkopplare för hanterings- och beräkningskluster som inte kan använda RDMA-kommunikation.
Här är de programvarukomponenter som vi rekommenderar för filserverkluster.
Teknik
Riktlinjer
Operativsystem
Windows Server 2012 R2 Standard med installationsalternativ för Server Core
Du kan minska dina kostnader med Windows Server 2012 R2 Standard jämfört med en dyrare version. Installationsalternativet Server Core effektiviserar säkerhetsarbetet, vilket i sin tur begränsar mängden programuppdateringar som du behöver installera på filserverklustret.
Redundanskluster
Skalbar filserver
Den här klustrade filservern låter dig hysa kontinuerligt tillgängliga filresurser som kan användas samtidigt på flera noder.
MPIO
Aktivera MPIO (Multipath I/O) på varje nod
Det kombinerar flera sökvägar till fysiska diskar i lagringsenheterna, vilket ger återhämtning och belastningsutjämning mellan fysiska sökvägar.
Lagringspooler
Tre klustrade lagringspooler per filserverkluster
Detta bidrar till att minimera tiden som krävs för att växla över lagringspoolen till en annan nod.
5 SSD och 16 hårddiskar från var och en av de fyra lagringsenheterna per arbetsbelastningspool, för totalt 84 diskar per pool för dina primära arbetsbelastningar.
Detta ger tillräckligt många SSD för att du ska kunna skapa lämpliga lagringsutrymmen, med datan fördelad över lagringsenheterna så att du undviker driftstopp för dina klienter (så länge det finns ett tillräckligt antal fungerande diskar i övriga lagringsenheter) om en lagringsenhet upphör att fungera.
2 SSD och 16 hårddiskar från var och en av de fyra lagringsenheterna för en säkerhetskopieringspool, med totalt 72 diskar i poolen.
SSD i säkerhetskopieringspoolen är avsedda som journaldiskar för att förbättra skrivprestandan för de virtuella diskar som använder återhämtningstypen med dubbel paritet.
Inga snabbersättningsdiskar
I stället bör du behålla minst 21,9 TiB med ledigt hårddiskutrymme i varje lagringspool, plus 1,5 TiB ledigt SSD-utrymme i varje arbetsbelastningspool. Detta innebär att lagringsutrymmen automatiskt kan rekonstruera lagringsutrymmen med upp till en felande SSD och tre felande hårddiskar genom att kopiera data till flera diskar i poolen, vilket drastiskt minskar den tid det tar att återställa från den skadade disken, jämfört med användningen av snabbersättningar.
I den här lösningen med 4 TB hårddiskar och 800 GB SSD ger det 23,4 TB ledigt utrymme per arbetsbelastningspool.
Åtta lagringsutrymmen per lagringspool för arbetsbelastningar
Detta fördelar belastningen över varje nod i klustret (två lagringsutrymmen per nod per pool).
Använd 3-vägs spegelutrymmen för arbetsbelastningsdata
Spegelutrymmen ger bäst prestanda och anpassningsbarhet för virtuella värdar. 3-vägs spegelutrymmen ger tre kopior av all data, vilket gör att två diskar kan gå sönder utan att data förloras. Vi rekommenderar paritetsutrymmen för virtuella värdar på grund av dess prestandaegenskaper.
Använd följande inställningar för att skapa dina 3-vägs-spegelutrymmen med lagringsnivåer, standardcachestorlek för återskrivning och höljesmedvetenhet. Vi rekommenderar fyra kolumner för den här konfigurationen, för att få en balans med högt genomflöde och låg latens.
Med fast allokering kan du använda lagringsnivåer och redundanskluster, som inte använder tunn allokering.
Skapa ytterligare ett 4 GB dubbelriktat speglingsutrymme utan lagringsnivåer
Detta utrymme används som vittnesdisk för filserverkluster och används som fildelningsvittnen för hanterings- och beräkningskluster. Detta hjälper filserverklustret behålla sin integritet (kvorumresurs) i händelse av två felande noder eller nätverksproblem mellan noder.
I säkerhetskopieringspoolen använder du följande inställningar för att skapa 16 virtuella diskar med en återhämtningstyp med dubbel paritet och 7 kolumner.
Inställningen
Värde
ResiliencySettingName
Parity
NumberOfDataCopies
3
Size
7.53 TiB
NumberOfColumns
7
IsEnclosureAware
$true
Partitioner
En GPT-partition per lagringsutrymme
Det här gör lösningen enklare.
Volymer
En volym som formaterats med filsystemet NTFS per partition/lagringsutrymme
Referenser rekommenderas inte för denna lösning i den här versionen av Windows Server.
Aktivera datadeduplicering på de virtuella diskar som används för att lagra säkerhetskopior.
CSV-fil
En CSV-volym per volym (med en volym och partition per lagringsutrymme)
Detta gör att belastningen distribueras till alla noder i filserverklustret. Skapa inte någon CSV-volym på lagringsutrymmet med 4 GB som används för att upprätthålla klustretkvorumet.
BitLocker-diskkryptering
Testa prestandan för BitLocker-diskkryptering innan du använder den i större utsträckning
Du kan använda BitLocker-diskkryptering för att kryptera alla data som lagras på varje CSV-volum, vilket förbättrar den fysiska säkerheten, men kan påverka lösningens prestanda avsevärt.
Ständigt tillgängliga filresurser
Ett ständigt tillgänglig SMB-resurs per CSV-volym/volym/partition/lagringsutrymme
Detta förenklar hanteringen (en resurs per underliggande lagringsutrymme) och gör att belastningen distribueras till alla noder i filserverklustret.
Testa prestandan för åtkomst till krypterade data (SMB-3 kryptering) på filresurser innan du distribuerar i större utsträckning
Du kan använda SMB-3 kryptering för att skydda data på delade filer som kräver skydd mot fysiska säkerhetsbrott där en angripare har tillgång till datacenternätverket, men du förlorar de flesta prestandafördelarna med att använda RDMA-nätverkskort.
Uppdateringar
Använd Windows Server Update Services tillsammans med Virtual Machine Manager
Skapa tre eller fyra datorgrupper i Windows Server Update Services (WSUS) för filservernoderna, där du lägger till en eller två i varje grupp. Du kan uppdatera en server först och övervaka dess funktioner och därefter uppdatera resten av servrarna en i taget så att belastningen fortsätter att balanseras mellan de återstående servrarna.
Använda klustermedveten uppdatering för UEFI och firmware-uppdateringar
Använda klustermedveten uppdatering för att uppdatera allt som kan distribueras via WSUS. Detta innebär förmodligen BIOS (UEFI) för klusternoderna tillsammans med den inbyggda programvaran för nätverkskort, SAS HBA-enheter, drivrutiner och lagringsenheter.
Data Protection Manager
Du kan använda Data Protection Manager (DPM) för att ge kraschsäkra säkerhetskopior av filserverklustret. Du kan också använda DPM- och Hyper-V-replikering för akutåterställning av virtuella datorer på beräkningsklustret.
Steg 2: Utforma hanteringsklustret
I det här steget utformar du hanteringsklustret som kör alla hanterings och infrastrukturtjänster för filservern och beräkningsklustren.
Anteckning
Denna lösning förutsätter att du vill använda System Center-produkter som tillhandahåller kraftfulla verktyg för att effektivisera installationen, hanteringen och övervakningen av den här lösningen. Du kan också utföra alla aktiviteter med hjälp av Windows PowerShell och Serverhanteraren (även om Windows PowerShell antagligen är lämpligare med tanke på lösningens skala). Om du väljer att inte använda System Center behöver du antagligen inte ett lika kraftfullt hanteringskluster som det som beskrivs här och det är möjligt att du kan använda befintliga servrar eller kluster.
2.1. Utforma hanteringsklustermaskinvaran
Här är de maskinvarukomponenter som vi rekommenderar för det kluster som kör alla hanterings- och infrastrukturtjänster för filserver- och beräkningsklustren.
Komponent
Riktlinjer
Hanteringskluster
Ett 4-noders redundanskluster
Med fyra noder kan du hantera att en klusternod i hanteringsklustret upphör att fungera. Sex noder krävs för att hantera att två noder upphör att fungera. Ett hanteringskluster som använder Virtual Machine Manager har stöd för upp till 8 192 virtuella datorer.
Klusternoder
Två processorer med åtta kärnor
De virtuella datorerna i klustret utför mycket bearbetning, vilket kräver lite mer CPU-ström än filserverklustret.
128 GB RAM-minne
Hanteringen av virtuella datorer kräver mer minne än vad som krävs av filserverklustret.
Två hårddiskar i en RAID-1 (spegling) med hjälp av en enkel RAID-styrenhet
I dessa fall är Windows Server är installerat på varje nod. Som ett alternativ kan du använda en eller två SSD. SSD kostar mer, men förbrukar mindre ström och ger snabbare uppstart, inställningar och återställning samt ökad tillförlitlighet. Du kan använda en enda SSD för att minska kostnaderna om du är OK med att installera om Windows Server på noden om SSD upphör att fungera.
Nätverkskort
Ett dual-port, 10 gigabit Ethernet-nätverkskort med RDMA-stöd
Det här kortet kommunicerar mellan hanteringsklustret och filserverkluster för åtkomst till .vhdx-filer som används av hantering av virtuella datorer. Kortet kräver RDMA-stöd för att maximal prestanda och iWARP om du vill använda routrar mellan rack på filserver- och hanteringsklustren, vilket kan behövas när du lägger till ytterligare ett filserverkluster i lösningen. Det här kortet använder SMB-3 och SMB-direkt för att ge feltolerans, med varje port som ansluten till ett separat undernät.
Ett dual port gigabit- och 10 gigabit Ethernet-nätverkskort utan RDMA-stöd
Det här kortet hanterar hanteringstrafik mellan alla kluster. Kortet kräver stöd för Virtual Machine Queue(VMQ), dynamisk VMQ 802.1Q VLAN-märkning och GRE-avlastning (NVGRE). Kortet använder NIC Teaming för att felsäkra dess två portar, som är anslutna till separat undernät.
Kortet kan inte använda RDMA eftersom RDMA kräver direkt åtkomst till nätverkskortet och det här kortet måste kommunicera med virtuella Hyper-V-växlar (som hindrar direktåtkomst till nätverkskortet). Den använder NIC teaming-teknik för feltolerans i stället för SMB-direkt så att andra protokoll än SMB kan utnyttja överflödiga nätverksanslutningar. För att prioritera trafiken för den här anslutningen bör du använda regler för tjänstkvalitet (QoS).
En lista över certifierade nätverkskort som har stöd för NVGRE finns i Windows Server-katalogen.
En gigabit Ethernet-gränssnitt för fjärrhantering
Den integrerade lights-out (ILO)-hanteringsstyrenheten för baskort (BMC) eller det inbyggda nätverkskortet ansluter till nätverket.
2.2. Utforma programvarukonfigurationen för hanteringskluster
I följande lista beskrivs de programvarukomponenter som vi rekommenderar för hanteringsklustret:
Windows Server 2012 R2 Datacenter
Redundanskluster
Klustermedveten uppdatering
Hyper-V
I följande lista beskrivs de tjänster bör du köra i virtuella maskiner på hanteringsklustret:
Active Directory Domain Services (AD DS), DNS Server, och DHCP Server
Windows Server Update Services
Windows Deployment Services
Microsoft SQL Server
System Center Virtual Machine Manager
System Center Virtual Machine Manager Server för dokumentbibliotek
Konfigurationshanteraren för System Center
System Center Data Protection Manager
En hanteringskonsol (Windows Server med alternativet GUI-installation)
Det krävs ytterligare virtuella datorer beroende på vilka tjänster som du använder, till exempel Windows Azure Pack och Konfigurationshanteraren för System Center.
Anteckning
Skapa identiska virtuella växlar på alla noder så att varje virtuell dator kan växla över till en nod och upprätthålla anslutningen till nätverket.
Steg 3: Utforma beräkningsklustret
I det här steget kan du utforma beräkningskluster som kör virtuella maskiner som tillhandahåller tjänster till klienter.
2.1. Utforma beräkningsklustrets maskinvara
Här är de maskinvarukomponenter som vi rekommenderar för beräkningskluster. Dessa kluster är värdar för virtuella maskiner.
Komponent
Riktlinjer
Hyper-V-beräkningskluster
Varje beräkningskluster innehåller 32 noder och hyser upp till 2 048 Hyper-V virtuella maskiner. När du är redo att lägga till extra kapacitet, kan du lägga till upp till tre ytterligare beräkningskluster (och tillhörande filkluster, dvs totalt 128 noder som värd för 8 192 virtuella datorer med 512 klienter (vilket förutsätter 8 VM per klient).
Två 8-core-processorer är tillräckligt för en allmän blandning av arbetsbelastning, men om du tänker köra mycket tyngre beräkningsarbetsbelastning bör du inskaffa högpresterande processorer.
128 GB RAM-minne
Om du kör ett stort antal virtuella maskiner (omkring 64 per nod när alla noder i klustret är aktiva) krävs mer minne än vad som krävs för filserverklustret. Använd mer RAM-minne om du vill att varje virtuell maskin ska ha mer än 2 GB i genomsnitt.
Två hårddiskar i en RAID-1 (spegling) med hjälp av en enkel RAID-styrenhet
I dessa fall är Windows Server är installerat på varje nod. Som ett alternativ kan du använda en eller två SSD. SSD kostar mer, men förbrukar mindre ström och ger snabbare uppstart, inställningar och återställning samt ökad tillförlitlighet. Du kan använda en enda SSD för att minska kostnaderna om du är OK med att installera om Windows Server på noden om SSD upphör att fungera.
Nätverkskort
Ett dual-port, 10 gigabit Ethernet-nätverkskort med RDMA-stöd
Det här kortet kommunicerar med filserverkluster för åtkomst till .vhdx-filer som används av virtuella datorer. Kortet kräver RDMA-stöd för att maximal prestanda och iWARP om du vill använda routrar mellan rack på filserver- och hanteringsklustren, vilket kan behövas när du lägger till ytterligare ett filserverkluster i lösningen. Det här kortet använder SMB-3 och SMB-direkt för att ge feltolerans, med varje port som ansluten till ett separat undernät.
Ett dual port gigabit- och 10 gigabit Ethernet-nätverkskort utan RDMA-stöd
Det här kortet hanterar trafik för hanterings och klienttrafik. Kortet kräver stöd för Virtual Machine Queue(VMQ), dynamisk VMQ 802.1Q VLAN-märkning och GRE-avlastning (NVGRE). Kortet använder NIC Teaming för att felsäkra dess två portar, som är anslutna till separat undernät.
Kortet kan inte använda RDMA eftersom RDMA kräver direkt åtkomst till nätverkskortet och det här kortet måste kommunicera med virtuella Hyper-V-växlar (som hindrar direktåtkomst till nätverkskortet). Den använder NIC teaming-teknik för feltolerans i stället för SMB-direkt så att andra protokoll än SMB kan utnyttja överflödiga nätverksanslutningar. För att prioritera trafiken för den här anslutningen bör du använda regler för tjänstkvalitet (QoS).
En lista över certifierade nätverkskort som har stöd för NVGRE finns i Windows Server-katalogen.
En gigabit Ethernet-gränssnitt för fjärrhantering
Den integrerade lights-out (ILO)-hanteringsstyrenheten för baskort (BMC) eller inbyggda nätverkskortet ansluter till nätverket och gör att du kan använda System Center Virtual Machine Manager för att ställa in klusternoden från maskinvara utan operativsystem. Gränssnittet måste ha stöd för IPMI Intelligent Platform Management Interface () eller Systems Management-arkitektur för Server maskinvara (SMASH).
2.2. Utforma programvarukonfiguration för beräkningscluster
I följande lista beskrivs de programvarukomponenter som vi rekommenderar för beräkningskluster på en hög nivå: