DPM-tároló deduplikálása

 

Közzétett: 2016. március

Ez a cikk arról szól, hogyan csökkenthető a DPM-tároló fogyasztása a DPM-tároló deduplikációjával. A Hyper-V rendszerű virtuális gépként futó DPM-ek a windowsos fájlkiszolgálókon található megosztott mappákban működő virtuális merevlemezeken is tudják tárolni a biztonsági mentési adatokat, ha az adatok deduplikációja engedélyezve van.

Áttekintés

Napjainkban az IT-rendszergazdák az adatmennyiség-növekedés hatalmas kihívásával állnak szemben. Erre az IDC globális adatmennyiség-növekedést 2020-ig szemléltető kimutatása is rávilágít. A vállalati adatok mennyiségének növekedése a biztonsági másolatok tárolásának szükségességét is fokozza.

DPM and deduplication

Az adatmennyiség-növekedés nagyobb karbantartási és hardverköltségeket is eredményez. Ahogy a lenti ábra is mutatja, az IT-rendszergazdák 62%-ának vannak kétségei a növekvő hardver- és szoftverköltségekkel és a karbantartási költségekkel kapcsolatban. A teljes felmérést megtekintheti az Informatica blog Is the Data Explosion Impacting You (Érinti Önt az adatrobbanás?) című cikkében.

DPM Deduplication

Az IT-rendszergazdák biztonsági másolatokat készítenek az üzemi adatokról, hogy eleget tegyenek a műveleti helyreállítási szükségleteknek és a szervezeti megfelelőségi követelményeknek. Jellegéből adódóan a biztonsági mentés rendkívül tárhelyigényes művelet, így a tárhelyfelhasználás mértékének csökkentése az IT-rendszergazdák egyik legfontosabb feladata.

A deduplikáció segít a tárhelyfelhasználás csökkentésében. Míg egy adott adatkészlet redundanciájának mértéke a futó alkalmazásoktól és szolgáltatásoktól, valamint a használt adattípusoktól függ, a deduplikáció során általában jelentős megtakarítás érhető el a biztonsági másolatok terén. A hasonló adatkészleteket használó hasonló alkalmazásokból és szolgáltatásokból származó biztonsági másolatok adatainak együttes feldolgozásakor további redundancia jelentkezhet, így további megtakarítás érhető el a deduplikációval. A DPM ezeket az előnyöket nyújtja a deduplikáció kihasználásával.

DPM – áttekintés

A System Center Data Protection Manager olyan vállalati biztonsági mentési megoldás, amely a következőket kínálja:

  • Alkalmazásfigyelő biztonsági mentés és helyreállítás – a DPM védelmet biztosít az ügyfeleknek, a kiszolgálóknak, a virtuális gépeknek, a fájlkiszolgáló adatainak, valamint az alkalmazásoknak és a szolgáltatásoknak. Rugalmas biztonsági mentési lehetőségeket nyújt, így például bizonyos alkalmazások és szolgáltatások negyedóránkénti biztonsági mentését. A DPM helyreállítási funkciók széles skálájával rendelkezik. Az ügyfelek például lecserélhetik jelenlegi üzemi SQL Server-adatbázisukat egy régebbi példányra, adatbázisokat állíthatnak helyre máshová vizsgálat céljából, vagy helyreállíthatnak fájlokat, hogy másolatot készítsenek a jogi osztálynak. A DPM segít az IT-rendszergazdáknak kiválasztani, hogy milyen típusú helyreállítást szeretnének, emellett támogatja a végfelhasználói helyreállítást is. Az SQL-rendszergazdák, a fájlrendszergazdák vagy az ügyfelek például közvetlenül helyreállíthatják összes adatukat rendszergazdai segítség nélkül.

    Dinamikus környezetben az üzemi kiszolgálók folyamatosan hoznak létre új adatokat. A DPM a biztonsági mentésért felelős rendszergazdáknak példányszintű védelmet nyújt, amely automatikusan megkeresi és konfigurálja az alkalmazások és a szolgáltatások által létrehozott új adatokat. Ily módon a biztonsági mentést végző rendszergazdáknak nem kell manuálisan megkeresniük és a biztonsági mentési konfigurációba felvenniük az új adatpéldányokat.

  • Nagyvállalati szintű skálázás és központi felügyelet: Egyetlen DPM-kiszolgáló 80 TB-nyi üzemi adatot vagy 100 üzemi kiszolgálót képes védeni. A DPM központi konzoljának üzembe helyezésével akár 100 DPM-kiszolgálót is felügyelhet egyazon központi helyről. A DPM központi jelentéskészítési funkciójával egyszerűen készíthet egyéni jelentéseket az összes DPM-kiszolgálóról.

  • Hatékony magánfelhő-védelem – akár önálló kiszolgálón található, Hyper-V rendszerű virtuális gépként, akár Windows-kiszolgálók Windows-fájlkiszolgálóinak SMB-fájlmegosztásaihoz távolról csatlakozva működik a magánfelhő adatközpontja, a DPM egyedi biztonsági mentési technológiájával hatékonyan végez biztonsági mentéseket a virtuális gépeken.

    A DPM például észleli a virtuális gépek migrálását, és azokat automatikusan továbbra is védelem alatt tartja, mindezt a biztonsági mentésért felelős rendszergazda beavatkozása nélkül. Ha egy virtuális gép gazdagépről gazdagépre migrálódik, ugyanaz a DPM-kiszolgáló fogja végezni a biztonsági mentéseket, bármilyen DPM-módosítás vagy manuális művelet elvégzése nélkül.

  • Felhőbe integrált biztonsági mentés – a DPM kellően rugalmas ahhoz, hogy megvédje a Hyper-V rendszerű magánfelhőben, az Azure nyilvános felhőjében vagy a szolgáltatói felhőben üzemelő alkalmazásokat és szolgáltatásokat. Azok a cégek, amelyek microsoftos alkalmazásokat és szolgáltatásokat futtatnak az Azure-ban, igénybe vehetik az azure-os DPM-eket, hogy megvédjék alkalmazásaikat és szolgáltatásaikat. A DPM az Azure Backup szolgáltatáson keresztül támogatja az Azure-ba történő, külső helyszíni biztonsági mentést. Az Azure Backup szolgáltatás része a DPM védelmi és helyreállítási munkafolyamatainak, így könnyedén kezelhetők a külső helyszíni biztonsági mentés beállításai, és megőrizhetők az adatok akár évekig is. Az Azure Backup alternatív megoldást nyújt a szalagos biztonsági mentés helyett, emellett a külső helyszíni szállítást és a szalagkarbantartást is biztosítja. A biztonsági mentésért felelős rendszergazdák így teljesen megszabadulnak a szalag-karbantartási kellemetlenségektől.

Az adatdeduplikáció áttekintése

Az adatdeduplikáció (dedup) a Windows Server 2012-ben jelent meg először mint a Windows Storage Server 2008 egypéldányos tárolási (SIS) funkciójának következő generációs helyettesítője. Bővített, változtatható blokkméretű tömbösítési algoritmust használ a deduplikációs megtakarítások kötetenkénti maximalizálásához. Utófeldolgozási műveletei megőrzik a teljes fájlrendszer szemantikáját, és minimalizálják az elsődleges adatelérési utak teljesítményére gyakorolt hatást. További információt Az adatdeduplikáció áttekintése című témakör tartalmaz.

Az adatdeduplikáció elsődleges adatkötetekre való telepítésre lett tervezve, további dedikált hardver nem szükséges hozzá, így nem érinti a kiszolgáló elsődleges alkalmazásait és szolgáltatásait. Az alapértelmezett beállítások nem befolyásolják a mindennapi működést, mivel egy-egy fájl feldolgozása előtt az adatokat öt napig érintetlenül hagyják. Az alapértelmezett minimális fájlméret 32 KB. Az adatdeduplikáció nem igényel sok memóriát, és nem terheli a processzort. A deduplikáció a következő típusú alkalmazásokon és szolgáltatásokon futtatható:

  • Általános fájlmegosztások: csoportos tartalmak közzététele és megosztása, felhasználói kezdőmappák, mappaátirányítás és offline fájlok

  • Szoftvertelepítési megosztások: szoftverek bináris fájljai, lemezképek és frissítések

  • Virtuálismerevlemez-könyvtárak: virtuális merevlemezekre (VHD) épülő fájltárolás hipervizorokra történő kiépítéshez

  • VDI-példányok (csak Windows Server 2012 R2 esetén): Hyper-V rendszerű virtuális asztali infrastruktúrák (VDI) üzembe helyezése

  • Virtualizált biztonsági mentés: olyan biztonsági mentési megoldások (például Hyper-V rendszerű virtuális gépként működő DPM), amelyek a biztonsági mentési adatokat Windows-fájlkiszolgálón tárolt VHD- vagy VHDX-fájlokba mentik

További információ: Az adatdeduplikáció üzembe helyezésének terve

Üzleti előnyök

A DPM és a deduplikáció együttes használata jelentős megtakarításokhoz vezethet. A DPM biztonsági mentési adatainak optimalizálásakor a deduplikáció révén megtakarított hely nagysága a menteni kívánt adatok típusától függ. Egy titkosított adatbázis-kiszolgáló biztonsági mentése például általában csak minimális megtakarítással jár, mert a titkosítási folyamat elrejti az ismétlődő adatokat. A nagyméretű virtuális asztali infrastruktúrákról készített biztonsági másolatok azonban igen jelentős, akár 70–90% fölötti megtakarítással is járhatnak, mivel a virtuális asztali környezetek között rendszerint nagy mennyiségű adat ismétlődik. Az ebben a témakörben ismertetett konfigurációban számos tesztcélú alkalmazást és szolgáltatást futtattunk, és 50–90%-os megtakarítást tapasztaltunk.

Javasolt üzembe helyezési forgatókönyv

Ha az adatokról készült biztonsági másolatokat deduplikált kötetre mentő virtuális gépként szeretné üzembe helyezni a DPM-et, az alábbi üzembe helyezési topológiát ajánljuk:

  • Hyper-V rendszerű gazdagépfürt egyik virtuális gépén futó DPM.

  • Fájlkiszolgáló SMB 3.0-s megosztásán tárolt VHD- vagy VHDX-fájlokat használó DPM-tároló.

  • Ebben az üzembe helyezési példában kibővíthető fájlkiszolgálóként (SOFS) konfiguráltuk a fájlkiszolgálót, amelyet közvetlenül csatlakoztatott SAS-meghajtókkal kiépített, a Tárolóhelyek szolgáltatás készleteiből konfigurált tárolókötetekkel helyeztünk üzembe. Ez az üzembe helyezési mód nagy teljesítményt biztosít.

Dedup and VHDX

Vegye figyelembe a következőket:

  • Ezt a forgatókönyvet a DPM 2012 R2 kiadással teszteltük.

  • Ez a forgatókönyv minden olyan alkalmazáshoz és szolgáltatáshoz használható, amely esetén a DPM 2012 R2 kiadással végezhető a biztonsági mentés.

  • Minden olyan Windows-fájlkiszolgálói csomóponton, amelyen a DPM virtuális merevlemezei megtalálhatók, valamint amelyeken a deduplikáció engedélyezve lesz, a 2014. novemberi kumulatív frissítéssel bővített Windows Server 2012 R2 kiadást kell futtatni.

Az itt bemutatott üzembe helyezési példához általános javaslatokat és útmutatásokat is adunk. Hardverspecifikus példák esetén a Microsoft Cloud Platform System (CPS) rendszerében üzembe helyezett hardverekre hivatkozunk.

Tesztelt hardver

Ebben a forgatókönyvben a biztonsági mentési adatokat SMB 3.0-s távoli megosztások tárolják, így a fő hardverkövetelményeket a fájlkiszolgáló csomópontjai szabják meg a Hyper-V csomópontjai helyett. A CPS az alábbi hardverkonfigurációt használja a biztonsági másolatok és az üzemi adatok tárolására. Vegye figyelembe, hogy a teljes hardverkonfiguráció végzi mind a biztonsági másolatok, mind pedig az üzemi adatok tárolását, a meghajtók meghajtóházaknál jelzett száma azonban csak a biztonsági másolatokra vonatkozik.

  • Négycsomópontos kibővíthető fájlkiszolgáló fürtje

  • Csomópontonkénti konfiguráció

    • 2 darab 8 magos, 16 logikai processzoros Intel(R) Xeon(R) CPU E5-2650 0 @ 2,00 GHz, 2001 MHz

    • 128 GB 1333 MHz-es RDIMM memória

    • Tárolási kapcsolatok: 2 SAS-port, 1 darab 10 GbE iWarp/RDMA-port

  • 4 JBOD típusú meghajtóház

    • 18 lemez minden JBOD-ban – 16 darab 4 TB-os HDD + 2 darab 800 GB-os SSD

    • Kettős elérési út minden meghajtóhoz – többutas I/O terheléselosztási házirend kizárólag feladatátvételhez beállítva

    • A késleltetve visszaírt gyorsítótárakhoz (WBC) az SSD-k, a dedikált naplózó meghajtókhoz pedig a többi merevlemez tartozik

Deduplikált kötetek megtervezése és beállítása

Mérlegeljük, hogy mekkorának kell lennie a köteteknek a DPM-adatokat tartalmazó deduplikált VHDX-fájlok támogatásához. A CPS-ben minden kötet 7,2 TB nagyságú volt. Az optimális kötetméret elsősorban attól függ, hogy mekkora adatmennyiség van a köteten, milyen gyakran változnak ezek az adatok, és hogy milyen gyors adatelérést biztosít a lemezes tárolóalrendszer. Fontos megjegyezni, hogy ha a deduplikációs folyamat nem tud lépést tartani a napi szintű adatváltozásokkal (a forgalommal), a megtakarítás mértéke mindaddig csökken, amíg a feldolgozás nem fejezhető be. További információt a Kötetméretezés adatdeduplikációhoz című témakörben talál. A deduplikációt végző kötetekhez általánosságban a következőket javasoljuk:

  • Használjon házfigyeléses paritásos tárolóhelyeket a rugalmasság és a jobb lemezkihasználás érdekében.

  • Formázza az NTFS-t 64 KB-os foglalási egységekre és nagyméretű fájlrekordszegmensekre, hogy hatékonyabb lehessen a ritka fájlok deduplikációja.

  • A fenti hardverkonfiguráció javasolt kötetmérete 7,2 TB kötetenként. A köteteket így kell konfigurálni:

    • Házfigyeléses, dupla paritású, 7,2 TB + 1 GB visszaírt gyorsítótár

      • ResiliencySettingName == Paritás

      • PhysicalDiskRedundancy == 2

      • NumberOfColumns == 7

      • Interleave == 256 KB (64 KB-os összefűzésnél a kettős paritású teljesítmény sokkal alacsonyabb, mint az alapértelmezett, 256 KB-os összefűzésnél)

      • IsEnclosureAware == $true

      • AllocationUnitSize = 64 KB

      • Nagyméretű FRS

      Állítson be a megadott tárolókészletben egy új virtuális lemezt a következőképpen:

      New-VirtualDisk -Size 7.2TB -PhysicalDiskRedundancy 2 -ResiliencySettingName Parity -StoragePoolFriendlyName BackupPool -FriendlyName BackupStorage -NumberOfColumns 7 -IsEnclosureAware $true
      
    • Minden egyes kötetet így kell formázni:

      Format-Volume -Partition <volume> -FileSystem NTFS -AllocationUnitSize 64KB –UseLargeFRS -Force
      

      A CPS rendszerbeli üzembe helyezés során ezeket a köteteket megosztott fürtkötetekként (CSV) kell konfigurálni.

    • Ezeken a köteteken olyan VHDX-fájlok sorozatát tárolja a DPM, amelyek a biztonsági másolat adatait tartalmazzák. A kötet formázása után a következőképpen engedélyezze a deduplikációt:

      Enable-DedupVolume –Volume <volume> -UsageType HyperV
      Set-DedupVolume -Volume <volume> -MinimumFileAgeDays 0 -OptimizePartialFiles:$false
      

      Ez a parancs az alábbi kötetszintű deduplikációs beállításokat is módosítja:

      • A UsageType paraméter HyperV értékre állítása: Ennek hatására a deduplikáció a nyitott fájlokat is feldolgozza. Erre azért van szükség, mert a DPM által biztonsági másolatok tárolására használt VHDX-fájlok nyitva maradnak a DPM virtuális gépen való futtatásakor.

      • A PartialFileOptimization beállítás letiltása: Ezzel a deduplikáció optimalizálja a nyitott fájlok szakaszait ahelyett, hogy a minimális korú módosított szakaszokat vizsgálná.

      • A MinFileAgeDays paraméter 0 értékre állítása: Ha a PartialFileOptimization le van tiltva, a MinFileAgeDays paraméter úgy módosítja annak viselkedését, hogy a deduplikáció csak a megadott számú napon nem módosított fájlokra lesz érvényes. Mivel az ideális eset az, ha a deduplikáció a DPM VHDX-fájljaiban tárolt biztonsági mentési adatokat haladéktalanul feldolgozza, a MinFileAgeDays paraméter értékét 0-ra kell állítani.

További információ a deduplikáció beállításáról: Az adatdeduplikáció telepítése és konfigurálása

DPM-tároló megtervezése és beállítása

A töredezettségi problémák elkerülése és a hatékonyság fenntartása érdekében a DPM-tároló lefoglalása a deduplikált köteteken található VHDX-fájlokkal történik. Minden köteten tíz, egyenként 1 TB-os dinamikus VHDX-fájl jön létre a DPM-hez csatolva. A deduplikációnak köszönhető tárhely-megtakarítás kihasználása érdekében 3 TB-tal több tárhelyet épít ki a rendszer. Miközben a deduplikáció további tárhely-megtakarítást eredményez, új VHDX-fájlok hozhatók létre az érintett köteteken a megtakarított hely felhasználásához. A DPM-kiszolgálót legfeljebb 30 VHDX-fájl hozzácsatolásával teszteltük.

  1. Az alábbi parancs futtatásával olyan virtuális merevlemezeket hozhat létre, amelyeket később fel tud venni a DPM-kiszolgálóra:

    New-SCVirtualDiskDrive -Dynamic -SCSI -Bus $Bus -LUN $Lun -JobGroup $JobGroupId -VirtualHardDiskSizeMB 1048576 -Path $Using:Path -FileName <VHDName>
    
  2. Ezután a következőképpen vegye fel a létrehozott virtuális merevlemezeket a DPM-kiszolgálóra:

    Import-Module "DataProtectionManager"
    Set-StorageSetting -NewDiskPolicy OnlineAll
    $dpmdisks = @()
    $dpmdisks = Get-DPMDisk -DPMServerName $env:computername | ? {$_.CanAddToStoragePool –
    eq $true -and $_.IsInStoragePool -eq $false -and $_.HasData -eq $false}
    Add-DPMDisk $dpmdisks
    

    Ez a lépés egy tárolókészlet konfigurálását jelenti olyan lemezként vagy lemezekként, amelyeken a DPM a védett adatokhoz tartozó replikákat és helyreállítási pontokat tárolja. Ez a készlet a DPM-konfiguráció része, és elkülönül az előző szakaszban leírt adatkötetek létrehozásához használt Tárolóhelyek szolgáltatásbeli készlettől. További információ a DPM-tárolókészletekről: A tárolókészletek és a lemezes tárolás konfigurálása

Windowsos fájlkiszolgálófürt megtervezése és beállítása

Ahhoz, hogy a deduplikáció támogassa a virtualizált DPM-tárolást, különleges konfigurációs beállításokra van szükség az adatok mennyisége és az egyes fájlok mérete miatt. Ezek a beállítások a teljes fürtre vagy fürtcsomópontra érvényesek. A fürt minden csomópontján engedélyezni kell a deduplikációt, és egyenként konfigurálni kell a fürtbeállításokat.

  1. A deduplikáció engedélyezése a Windows-fájlkiszolgáló tárolóján – a deduplikációs szerepkört a Windows-fájlkiszolgáló fürtjének összes csomópontján telepíteni kell. Ehhez az alábbi PowerShell-parancsot kell futtatni a fürt minden csomópontján:

    Install-WindowsFeature -Name FileAndStorage-Services,FS-Data-Deduplication -ComputerName <node name>
    
  2. A deduplikációs feldolgozás hangolása biztonsági mentési adatok fájljaihoz – futtassa az alábbi PowerShell-parancsot az optimalizálás haladéktalan megkezdésének és a részleges fájlírás-optimalizálás kikapcsolásának beállításához. A szemétgyűjtési (GC) feladatok alapértelmezés szerint hetente futnak, és minden negyedik héten mélyszintű szemétgyűjtés történik az alaposabb (de időigényesebb) adattörlés végett. A DPM alkalmazásai és szolgáltatásai esetén ez a mélyszintű szemétgyűjtés nem hoz jelentős javulást, és csökkenti azt az időtartamot, amíg a deduplikáció optimalizálhatja az adatokat. Mi ezért letiltjuk a mélyszintű szemétgyűjtést.

    Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name DeepGCInterval -Value 0xFFFFFFFF
    
  3. Nagymérvű műveletek teljesítményének hangolása – a lenti PowerShell-parancsprogram futtatásával az alábbiakra van lehetősége:

    • A mélyszintű szemétgyűjtés futtatásakor induló további feldolgozás és további I/O műveletek letiltása

    • További memória lefoglalása kivonatok feldolgozásához

    • Elsőbbségi optimalizálás engedélyezése a nagyméretű fájlok azonnali töredezettségmentesítéséhez

    Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name HashIndexFullKeyReservationPercent -Value 70
    Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name EnablePriorityOptimization -Value 1
    

    Ezek a beállítások az alábbiakat módosítják:

    • HashIndexFullKeyReservationPercent: Ez az érték azt határozza meg, hogy az optimalizálási feladathoz kiosztott memória mekkora részét használja a rendszer a meglévő adattömbkivonatokhoz, és mennyit az újakhoz. Nagy adatmennyiség esetén a 70% jobb optimalizálási átviteli sebességet eredményez, mint az alapértelmezett 50%.

    • EnablePriorityOptimization: Az 1 TB-ot megközelítő fájlok esetén egyetlen fájl töredezettsége felhalmozhat annyi adattöredéket, hogy azok megközelítsék a fájlonkénti korlátot. Az optimalizált feldolgozás összevonja ezeket a töredékeket, és megakadályozza, hogy a művelet elérje a megadott korlátot. Ennek a beállításkulcsnak a megadásával a deduplikáció még egy folyamat beállításával segíti a jelentős töredezettséggel bíró, magas prioritású deduplikált fájlok feldolgozását.

A DPM és a deduplikáció ütemezésének megtervezése és beállítása

A biztonsági mentési és a deduplikációs műveletek egyaránt sok I/O művelettel járnak. Ha egyszerre kellene futniuk ezeknek a műveleteknek, az költséges többletterheléssel járna a műveletek közti váltáskor, így napi szinten kevesebb biztonsági másolat készülhetne csak az adatokról, és a deduplikáció is ritkább lenne. Azt javasoljuk, hogy dedikált és különálló deduplikációs és biztonsági mentési időszakokat állítson be. Ez biztosítja, hogy mindkét művelet I/O adatforgalma hatékonyan van elosztva a rendszer mindennapos működése közben. Az ütemezéshez a következőket javasoljuk:

  • Ossza be a napokat úgy, hogy ne legyenek átfedésben a biztonsági mentés és a deduplikáció időszakai.

  • Állítson be egyéni biztonsági mentési ütemterveket.

  • Állítson be egyéni deduplikációs ütemterveket.

  • Az optimalizálást a napi deduplikációs időszakra ütemezze.

  • Állítson be különálló hétvégi deduplikációs ütemterveket, és használja ezt az időt szemétgyűjtési és tisztítási feladatokra.

A DPM-ütemterveket a következő PowerShell-paranccsal tudja beállítani:

Set-DPMConsistencyCheckWindow -ProtectionGroup $mpg -StartTime $startTime –
DurationInHours $duration
Set-DPMBackupWindow -ProtectionGroup $mpg -StartTime $startTime –DurationInHours
$duration

Ebben a konfigurációban a DPM este 10 és reggel 6 óra között készít biztonsági másolatokat a virtuális gépekről, a nap hátralevő 16 órájában pedig deduplikációt végez. A deduplikáció ténylegesen beállított ideje a kötetmérettől függ. További információt a Kötetméretezés adatdeduplikációhoz című témakörben talál. A reggel 6 órakor, a biztonsági mentés befejezése után induló 16 órás deduplikációs időszak az alábbiak szerint konfigurálható bármelyik egyedülálló fürtcsomópontból:

#disable default schedule
Set-DedupSchedule * -Enabled:$false
#Remainder of the day after an 8 hour backup window starting at 10pm $dedupDuration = 16
$dedupStart = "6:00am"
#On weekends GC and scrubbing start one hour earlier than optimization job.
# Once GC/scrubbing jobs complete, the remaining time is used for weekend
# optimization.
$shortenedDuration = $dedupDuration - 1
$dedupShortenedStart = "7:00am"
#if the previous command disabled priority optimization schedule
#reenable it
if ((Get-DedupSchedule -name PriorityOptimization -ErrorAction SilentlyContinue) -ne $null)
{
Set-DedupSchedule -Name PriorityOptimization -Enabled:$true
}
#set weekday and weekend optimization schedules
New-DedupSchedule -Name DailyOptimization -Type Optimization -DurationHours $dedupDuration -Memory 50 -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -Days Monday,Tuesday,Wednesday,Thursday,Friday
New-DedupSchedule -Name WeekendOptimization -Type Optimization -DurationHours $shortenedDuration -Memory 50 -Priority Normal -InputOutputThrottleLevel None -Start $dedupShortenedStart -Days Saturday,Sunday
#re-enable and modify scrubbing and garbage collection schedules
Set-DedupSchedule -Name WeeklyScrubbing -Enabled:$true -Memory 50 -DurationHours $dedupDuration -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -StopWhenSystemBusy:$false -Days Sunday
Set-DedupSchedule -Name WeeklyGarbageCollection -Enabled:$true -Memory 50 -DurationHours $dedupDuration -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -StopWhenSystemBusy:$false -Days Saturday
#disable background optimization
if ((Get-DedupSchedule -name BackgroundOptimization -ErrorAction SilentlyContinue) -ne $null)
{
Set-DedupSchedule -Name BackgroundOptimization -Enabled:$false
}

A biztonsági mentés időszakának módosításakor elengedhetetlen a deduplikációs időszak párhuzamos módosítása, hogy a kettő ne fedje át egymást. A deduplikáció és a biztonsági mentés időszakának nem feltétlenül kell kitöltenie a teljes napot. Mi mégis azt javasoljuk, hogy ez a két időszak fedje le az egész napot, mert így kezelni lehet az alkalmazások és a szolgáltatások, illetve az adatforgalom volumenének váratlan napi változásai miatt módosuló feldolgozási időt.

A biztonsági mentés teljesítményére gyakorolt hatás

Egy adott fájlkészlet deduplikációja csekély teljesítményköltséggel járhat a fájlok megnyitásakor. Ennek a deduplikált fájlok által használt fájlformátum eléréséhez szükséges utólagos feldolgozás az oka. Ebben az esetben a fájlok egy VHDX-fájlkészletet alkotnak, amelyet a DPM folyamatosan használ a biztonsági mentés közben. E fájlok deduplikációja azzal járhat, hogy a biztonsági mentési és a helyreállítási műveletek némileg lassabban futnak, mint deduplikáció nélkül. Mint bármely biztonsági mentési termék, a DPM is inkább írási műveleteket végez. Az olvasási műveletek visszaállításkor jutnak nagyon fontos szerephez. A deduplikáció biztonsági mentések teljesítményére gyakorolt hatásainak kezeléséhez a következőket javasoljuk:

  • Olvasási és visszaállítási műveletek: Az olvasási műveletekre gyakorolt hatás általában elhanyagolható, és nem igényel különleges beavatkozást, mivel a deduplikációs funkció gyorsítótárazza a deduplikált adattömböket.

  • Írási és biztonsági mentési műveletek: A biztonsági mentés időszakának meghatározásakor körülbelül 5–10%-kal hosszabb mentési időt célszerű tervezni. (Ez a nem deduplikált kötetekre történő biztonsági mentés várt idejéhez képesti eltérés.)

Figyelés

A DPM és az adatdeduplikáció figyelésével az alábbiak biztosíthatók:

  • Elegendő lemezterület van kiépítve a biztonsági mentési adatok tárolásához

  • A DPM biztonsági mentési feladatai hiba nélkül zajlanak

  • A deduplikáció engedélyezve van a biztonsági másolatokat tároló köteteken

  • A deduplikáció ütemezése helyesen van beállítva

  • A deduplikáció feldolgozása hiba nélkül, napi szinten működik

  • A deduplikáció megtakarítási aránya egyezik a rendszerkonfiguráció alapján előzetesen kalkulált aránnyal

A deduplikáció sikere a rendszer összesített hardveres képességeitől (többek között a processzor feldolgozási sebességétől, az I/O műveletek sávszélességétől és a tárolókapacitástól), a helyes rendszerkonfigurációtól, az átlagos rendszerterheléstől és a módosított adatok napi mennyiségétől függ.

A DPM működése a DPM központi konzoljával figyelhető. További információ: A központi konzol telepítése

A deduplikáció figyelésével ellenőrizheti annak állapotát, megtakarítási arányát és ütemezési állapotát az alábbi PowerShell-parancsokkal:

Az állapot beolvasása:

PS C:\> Get-DedupStatus
FreeSpace SavedSpace OptimizedFiles InPolicyFiles Volume
-------------- ---------- -------------- ------------- ------
280.26 GB 529.94 GB 36124 36125 X:
151.26 GB 84.19 GB 43017 43017 Z:

A megtakarítási arány beolvasása:

PS C:\> Get-DedupVolume
Enabled SavedSpace SavingsRate Volume
------- ---------- ----------- ------
True 529.94 GB 74 % X:

Az ütemezés állapotát a Get-DedupSchedule parancsmaggal olvashatja be.

Események figyelése

Az eseménynapló figyelése segíthet a deduplikációs események és állapotuk megértésében.

  • A deduplikációs eseményeket a Fájlkezelő > Alkalmazás- és szolgáltatásnaplók > Microsoft > Windows > Deduplikáció mappában tekintheti meg.

  • Ha a LastOptimizationResult = 0x00000000 érték jelenik meg a „Get-DedupStatus |fl” Windows PowerShell-parancs kimenetében, a teljes adatkészletet az előző optimalizálási feladat dolgozta fel. Ha nem, akkor a rendszer nem tudta befejezni a deduplikáció feldolgozását, és szükség lehet a konfigurációs beállítások (például a kötetméretek) ellenőrzésére.

További részletes példák a parancsmagok használatára: Adatdeduplikáció figyelése és jelentések készítése

Biztonsági másolatok tárolási helyének figyelése

A konfigurációs példánkban 10 TB-nyi, 10 darab 1 TB-os dinamikus VHDX-fájlban tárolt „logikai” adattal (az adatok deduplikáció előtti mérete) töltöttük fel a 7,2 TB-os köteteket. Ahogyan ezen fájlok biztonsági mentési adatai felgyülemlenek, azok lassan feltöltik a kötetet. Ha a deduplikációs megtakarítás százalékos értéke elég nagy, mind a tíz fájl elérheti a maximális logikai méretét úgy, hogy emellett elfér a 7,2 TB-os köteten. Ezenfelül maradhat tárhely további, DPM-kiszolgálók által használt VHDX-fájlok tárolására is. Ha azonban a deduplikációs megtakarítás mértéke nem elegendő, a kötet azelőtt megtelhet, hogy a VHDX-fájlok elérnék a maximális logikai méretüket. Az alábbiakkal biztosítható, hogy a kötetek ne teljenek meg:

  • Óvatosan állítsa be a kötetméretek követelményeit, és hagyjon helyet további tárhely kiépítésének. A biztonsági másolatok tárolási helyének megtervezésekor legalább 10%-os puffer javasolt a deduplikációs megtakarítások és az adatforgalom változásainak kezeléséhez.

  • A biztonsági másolatok tárolásához használt kötetek figyelésével győződjön meg arról, hogy a hely kihasználása és a deduplikáció megtakarítási aránya eléri a várt szintet.

Ha a kötet megtelik, az alábbi problémák léphetnek fel:

  • A DPM virtuális gépe kritikus felfüggesztési állapotba kerül, és nem adhat ki több biztonsági mentési feladatot.

  • A megtelt köteten található VHDX-fájlokat használó biztonsági mentési feladatok sikertelenek lesznek.

Ezen állapot megszüntetéséhez és a rendszer normál működésének visszaállításához további tárolók kiépítésével és a DPM virtuális gépének vagy VHDX-fájljának tárolóbeli migrálásával további hely szabadítható fel az alábbi módon:

  1. Állítsa le azt a DPM-kiszolgálót, amely a teljes biztonsági másolatokat tároló megosztáson lévő VHDX-fájlok tulajdonosa.

  2. Hozzon létre egy új kötetet és egy biztonsági mentési megosztást azzal a konfigurációval és azokkal beállításokkal, amelyekkel a meglévő megosztások is rendelkeznek (beleértve az NTFS- és a deduplikációs beállításokat).

  3. Migrálja a DPM-kiszolgáló virtuális gépének tárolóját, majd migráljon legalább egy VHDX-fájlt a teljes biztonsági másolatok megosztásáról az új biztonsági másolatok 2. lépésben létrehozott megosztására.

  4. Futtasson egy adatdeduplikációs szemétgyűjtési (GC) feladatot a biztonsági másolatok megtelt kiindulási megosztásán. A szemétgyűjtési feladat sikeresen befejeződik, és tárhelyet szabadít fel.

  5. Indítsa újra a DPM-kiszolgáló virtuális gépét.

  6. A következő biztonsági mentési időszakban egy DPM-es konzisztencia-ellenőrzési feladat fog aktiválódni a korábban sikertelen összes adatforráshoz.

  7. Ezután minden biztonsági mentési feladatnak működnie kell.

Következtetések

A deduplikáció és a DPM együttes használata jelentős tárhely-megtakarítást nyújt. Ez magasabb adatmegőrzési arányt, gyakoribb biztonsági mentéseket és kedvezőbb teljes birtoklási költséget biztosít a DPM-példánynak. Az ebben a dokumentumban ismertetett útmutatás és javaslatok alapján megismerheti a DPM-tároló deduplikációjának konfigurálásához használható eszközöket, elsajátíthatja a szükséges tudást, ezenkívül a saját üzemi környezetében is megtapasztalhatja az előnyeit.

Gyakori kérdések

K: A DPM VHDX-fájljainak 1 TB méretűnek kell lenniük. Ez azt jelenti, hogy a DPM nem tud biztonsági másolatot készíteni 1 TB-nál nagyobb virtuális gépről, SharePoint-webhelyről, SQL-adatbázisról vagy fájlkötetről?

V: Nem. A DPM több kötet egy kötetté egyesítésével tárolja a biztonsági másolatokat, így az 1 TB-os fájlméretkorlát nincs hatással a DPM által menthető adatforrásméretekre.

K: A DPM-tároló VHDX-fájljai látszólag csak távoli SMB-fájlmegosztásokra telepíthetők. Mi történik, ha deduplikációt engedélyező köteteken tárolom a VHDX-fájlok biztonsági másolatait ugyanazon a rendszeren, amelyen a DPM virtuális gépe is fut?

V: Ahogyan fent tárgyaltuk, a DPM, a Hyper-V és a deduplikáció tárhely- és számításigényes műveletek. Egyetlen rendszeren belül mindhárom egyidejű használata I/O- és folyamatigényes műveletekhez vezethet, ez pedig erőforráshiányt okozhat a Hyper-V rendszerben és annak virtuális gépein. Ha virtuális gépen konfigurálja a DPM-et, és egyazon gépen vannak a biztonsági másolatokat tároló kötetek, a teljesítmény beható figyelésével kell biztosítani, hogy legyen elegendő I/O sávszélesség és számítási kapacitás ahhoz, hogy mindhárom művelet futni tudjon ugyanazon a gépen.

K: Dedikált, külön deduplikációs és biztonsági mentési időszakokat javasolnak. Miért nem engedélyezhető a deduplikáció, miközben a DPM a biztonsági másolatokat készíti? 15 percenként biztonsági másolatot kell készítenem az SQL-adatbázisomról.

V: A deduplikáció és a DPM is tárhelyigényes művelet, így ha mindkettő egyszerre fut, az a hatékonyság romlásához és elégtelen számú I/O művelethez vezethet. Ezért az alkalmazások és a szolgáltatások napi többszöri védelme (például 15 percenként SQL Server esetében) és a deduplikáció egyidejű engedélyezése végett ellenőrizze, hogy rendelkezik-e kellő I/O sávszélességgel és számítógép-kapacitással az erőforráshiány megelőzéséhez.

K: A leírt konfiguráció alapján a DPM-nek virtuális gépen kell futnia. Miért nem engedélyezhető a deduplikáció közvetlenül replikaköteteken és árnyékmásolat-köteteken a VHDX-fájlok helyett?

V: A deduplikáció köteteként halad, egyes fájlokon végiglépkedve. Mivel a deduplikáció a fájlok szintjén végzi az optimalizálást, nem támogatja a DPM által a biztonsági mentési adatok tárolására használt VolSnap technológiát. A DPM virtuális gépen való futtatásakor a Hyper-V leképezi a DPM köteteken futó műveleteit a VHDX-fájlok szintjére, így téve lehetővé a deduplikációnak, hogy optimalizálja a biztonsági mentési adatokat, és nagyobb tárhely-megtakarítást nyújtson.

K: A fenti példakonfigurációban csak 7,2 TB-os kötetek jöttek létre. Létrehozhatok ennél nagyobb vagy kisebb köteteket?

V: A deduplikáció kötetenként egy szálat futtat. Ahogyan nőnek a kötetméretek, úgy nő a deduplikáció időigénye az optimalizálás befejezéséhez. A kisebb kötetek azonban kevesebb ismétlődő adattömböt tartalmaznak, ez pedig kevesebb megtakarításhoz vezethet. Emiatt tanácsos a teljes adatforgalom és a rendszer hardveres képességei alapján finomhangolni a kötetméretet az ideális megtakarítás érdekében. A deduplikációs kötetméretekről a Windows Server oldalán tájékozódhat. A deduplikációs kötetméretek meghatározásának részleteit a Kötetméretezés adatdeduplikációhoz című témakör tartalmazza.