Share via


DPM 저장소 중복 제거

 

게시: 2016년 3월

이 문서에서는 DPM 저장소에 대해 중복 제거를 사용하도록 설정하여 DPM 저장소 사용량을 줄이는 방법을 설명합니다. 이 시나리오에서 DPM은 Hyper-V 가상 컴퓨터에서 실행되고 데이터 중복 제거를 사용하도록 설정된 Windows 파일 서버의 공유 폴더에 있는 VHD에 백업 데이터를 저장합니다.

개요

오늘날의 환경에서 IT 관리자는 아래에 나온 것과 같이 2020년까지의 IDC 세계 데이터 예상에서 볼 수 있는 것처럼 방대한 데이터 증가 문제에 직면하고 있습니다. 엔터프라이즈 데이터가 점점 증가하면서 백업 저장소에 대한 요구도 점점 커지고 있습니다.

DPM and deduplication

데이터가 증가하면서 유지 관리 및 하드웨어 비용도 높아집니다. 아래에 표시된 것처럼 IT 관리자의 62%가 HW/SW 비용 및 유지 관리 비용 증가 문제를 걱정하고 있습니다. 전체 설문 조사를 보려면 Informatica 블로그에서 데이터 급증이 사용자에게 미치는 영향(영문)을 참조하세요.

DPM Deduplication

IT 관리자는 프로덕션 데이터를 백업하여 작업 복구 요구 및 조직의 규정 준수 요구를 충족합니다. 기본적으로 백업은 저장소 집약적인 작업이므로, 백업 저장소 사용량을 줄이는 것이 IT 관리자가 최우선적으로 고려하는 사항 중 하나입니다.

중복 제거 기능은 저장소 소비 감소 요구를 해결해줄 수 있습니다. 지정된 데이터 집합의 중복 제거 용량은 작업 부하 및 사용되는 데이터 형식에 따라 다르지만, 중복 제거를 사용하면 일반적으로 백업 데이터와 관련된 비용이 크게 절감됩니다. 유사한 데이터 집합을 사용하는 비슷한 작업의 백업 데이터를 함께 처리할 수 있으므로 추가적인 중복성이 구현되고, 중복 제거를 통한 추가적인 비용 절감 효과도 얻을 수 있습니다. DPM은 중복 제거를 활용하여 이러한 혜택을 제공합니다.

DPM 개요

System Center Data Protection Manager는 다음 기능을 제공하는 엔터프라이즈 백업 솔루션입니다.

  • 응용 프로그램 인식 백업 및 복구 - DPM은 클라이언트, 서버, 가상 컴퓨터, 파일 서버 데이터 및 응용 프로그램 작업을 보호합니다. 15분 간격만큼 자주 작업을 백업하는 기능을 비롯한 유연한 백업 옵션을 제공합니다. DPM에는 다양한 복구 기능이 있습니다. 예를 들어 고객은 현재 프로덕션 SQL Server 데이터베이스를 이전 복사본으로 바꾸거나, 조사를 위해 데이터베이스를 다른 위치로 복구하거나, 법률 부서에 복사본을 제공하기 위해 파일로 복구할 수 있습니다. DPM을 사용하여 IT 관리자는 필요한 복구 유형을 선택할 수 있습니다. 또한 DPM은 최종 사용자 복구를 지원합니다. 예를 들어 SQL 관리자, 파일 시스템 관리자 또는 클라이언트 사용자는 관리 부서의 도움을 받지 않고 직접 모든 데이터를 복구할 수 있습니다.

    동적 환경에서 프로덕션 서버는 새 데이터를 지속적으로 만듭니다. DPM은 작업 중에 새로 생성된 데이터를 자동으로 찾아서 구성하는 인스턴스 수준의 보호를 제공하여 백업 관리자를 지원합니다. 따라서 백업 관리자가 수동으로 새 데이터 인스턴스를 찾은 후 백업 구성에 추가하지 않아도 됩니다.

  • 엔터프라이즈 확장 및 중앙 집중식 관리: 단일 DPM 서버로 80TB의 프로덕션 데이터 또는 100대의 프로덕션 서버를 보호할 수 있습니다. DPM 중앙 콘솔을 배포하여 중앙의 단일 위치에서 최대 100대의 DPM 서버를 관리할 수 있습니다. DPM 중앙 보고를 사용하여 모든 DPM 서버에 대한 사용자 지정 보고서를 간단히 생성할 수 있습니다.

  • 효율적인 사설 클라우드 보호 - 사설 클라우드 데이터 센터가 Hyper-V 가상 컴퓨터를 독립 실행형 서버에서 실행하도록 구성되었는지 아니면 Windows 파일 서버의 SMB 파일 공유에 원격 연결된 Windows 서버에서 실행하도록 구성되어 있는지에 관계없이, DPM은 DPM의 고유한 가상 컴퓨터 백업 기술을 사용하여 가상 컴퓨터를 효율적으로 백업할 수 있습니다.

    예를 들어 DPM은 백업 관리자의 적극적인 지원 없이도 자동으로 가상 컴퓨터 마이그레이션을 검색하고 가상 컴퓨터를 계속 보호합니다. 가상 컴퓨터 호스트 간에 마이그레이션하는 경우 동일한 DPM 서버가 DPM 수정 또는 수동 단계 없이 계속 백업하게 됩니다.

  • 클라우드 통합된 백업 - DPM은 Hyper-V 사설 클라우드, Azure 공용 클라우드 또는 호스팅 서비스 공급자 클라우드에 배포되는 작업을 보호할 만큼 충분히 유연합니다. Azure에서 Microsoft 작업을 실행하는 회사는 이러한 작업을 보호하기 위해 Azure에서 실행되는 DPM을 활용할 수 있습니다. DPM은 Azure 백업 서비스를 사용하여 Azure에 대해 오프사이트 백업을 수행하도록 지원합니다. Azure 백업 서비스는 DPM 보호 및 복구 워크플로로 통합되어 오프사이트 백업 설정을 쉽게 관리하고 수년 동안 데이터를 보존할 수 있도록 합니다. Azure 백업 기능은 오프사이트 전달 및 테이프 유지 관리 요구를 충족하여 테이프 백업의 대안으로 사용됩니다. 이제 백업 관리자는 테이프 유지 관리 업무에서 완전히 자유로워졌습니다.

데이터 중복 제거 개요

데이터 중복 제거는 Windows Storage Server 2008의 SIS(단일 인스턴스 저장소) 기능에 대한 차세대 대안으로 Windows Server 2012에 도입되었습니다. 이 기능은 고급, 가변 블록 크기 청크 알고리즘을 사용하여 볼륨당 중복 제거 효과를 최대화합니다. 모든 파일 시스템 의미 체계를 유지하고 기본 데이터 경로 성능에 미치는 영향을 없애기 위해 후처리 접근 방식이 사용됩니다. 자세한 내용은 데이터 중복 제거 개요를 참조하세요.

데이터 중복 제거는 서버의 기본 작업에 영향을 주지 않도록 하기 위해, 전용 하드웨어를 더 추가하지 않고도 기본 데이터 볼륨에 설치할 수 있게 설계되었습니다. 기본 설정에 따라 데이터를 5일 동안 보존했다가 특정 파일을 처리할 수 있으며 기본 최소 파일 크기가 32KB로 유지되므로 기본 설정은 그대로 유지됩니다. 이 기능은 메모리 및 CPU 사용량 부족 상황을 위해 구현되었습니다. 다음 작업에 대해 중복 제거를 구현할 수 있습니다.

  • 일반 파일 공유: 그룹 콘텐츠 게시 및 공유, 사용자 홈 폴더 및 폴더 리디렉션/오프라인 파일

  • 소프트웨어 배포 공유: 소프트웨어 바이너리, 이미지 및 업데이트

  • VHD 라이브러리: 하이퍼바이저로 프로비전하기 위한 VHD(가상 하드 디스크) 파일 저장소

  • VDI 배포 (Windows Server 2012 R2만 해당): Hyper-V를 사용하여 VDI(가상 데스크톱 인프라) 배포

  • 가상화된 백업: Windows 파일 서버의 VHD/VHDX 파일에 백업 데이터를 저장하는 백업 솔루션(예: Hyper-V 가상 컴퓨터에서 실행되는 DPM)입니다.

중복 제거 계획에 대해 자세히 알아보세요.

비즈니스 이점

DPM과 함께 중복 제거를 사용하면 큰 저장 공간 절감 효과를 얻을 수 있습니다. DPM 백업 데이터를 최적화할 경우 중복 제거를 통해 절약되는 공간의 크기는 백업되는 데이터의 형식에 따라 달라집니다. 예를 들어 암호화된 데이터베이스 서버를 백업하면 암호화 프로세스에 의해 중복 데이터가 숨겨지므로 절감 효과가 떨어집니다. 그러나 대규모 VDI(가상 데스크톱 인프라) 배포를 백업하면 가상 데스크톱 환경 사이에서 많은 양의 중복된 데이터가 제거되므로 70-90+% 정도로 큰 절감 효과를 얻을 수 있습니다. 이 항목에 설명된 구성에서는 다양한 작업 부하 테스트를 실행하여 50%~90% 수준의 절감 효과가 확인되었습니다.

권장 배포

DPM을 중복 제거된 볼륨에 데이터를 백업하는 가상 컴퓨터로 배포하려는 경우 다음과 같은 배포 토폴로지가 권장됩니다.

  • Hyper-V 호스트 클러스터의 가상 컴퓨터에서 실행되는 DPM

  • 파일 서버의 SMB 3.0 공유에 저장된 VHD/VHDX 파일을 사용하는 DPM 저장소

  • 이 예제 배포에서는 직접 연결된 SAS 드라이브를 사용하여 작성된 저장소 공간 풀에서 구성된 저장소 볼륨을 사용하여 배포한 SOFS(스케일 아웃 파일 서버)로 해당 파일 서버를 구성했습니다. 이 배포는 적절한 규모에서 성능을 보장합니다.

Dedup and VHDX

다음 사항에 유의하십시오.

  • 이 시나리오는 DPM 2012 R2에 대해 지원됩니다.

  • 이 시나리오는 데이터가 DPM 2012 R2에 의해 백업될 수 있는 모든 작업에 대해 지원됩니다.

  • DPM 가상 하드 디스크가 상주하고 중복 제거를 사용하도록 설정할 모든 Windows 파일 서버 노드에서는 Windows Server 2012 R2와 2014년 11월 업데이트 롤업이 실행되고 있어야 합니다.

시나리오 배포에 대한 일반 권장 사항 및 지침은 제공됩니다. 하드웨어 관련 예제가 제공될 때마다 Microsoft CPS(클라우드 플랫폼 시스템)에 배포된 하드웨어가 참조로 사용됩니다.

테스트된 하드웨어

이 시나리오에서는 백업 데이터를 저장하기 위해 원격 SMB 3.0 공유를 사용하므로 기본 하드웨어 요구 사항은 Hyper-V 노드가 아닌 파일 서버 노드를 기반으로 합니다. 다음과 같은 하드웨어 구성이 백업 및 프로덕션 저장을 위해 CPS에서 사용됩니다. 전체 하드웨어가 백업 및 프로덕션 저장 둘 다에 사용되지만 드라이브 엔클로저에 나열된 드라이브 수만 백업에 사용됩니다.

  • 4노드 스케일 아웃 파일 서버 클러스터

  • 노드당 구성

    • 2x Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz, 2001 MHz, 8코어, 16개의 논리 프로세서

    • 128GB 1333MHz RDIMM 메모리

    • 저장소 연결: SAS의 2개 포트, 10GbE iWarp/RDMA의 1개 포트

  • JBOD 드라이브 엔클로저 4개

    • 각 JBOD에 디스크 18개 – 4TB HDD 16개 + 800GB SSD 2개

    • 각 드라이브에 대한 이중 경로 - 다중 경로 I/O 부하 분산 정책이 장애 조치(Failover) 전용으로 설정

    • SSD는 WBC(나중 쓰기 캐시)용으로 구성되고 나머지는 저널 드라이브 전용으로 구성

중복 제거된 볼륨 계획 및 설정

DPM 데이터를 포함하는 중복 제거된 VHDX 파일을 지원하기 위해 필요한 볼륨 크기를 고려해 보세요. CPS에서는 각각 7.2TB인 볼륨을 만들었습니다. 최적의 볼륨 크기는 주로 변경되는 볼륨의 데이터 크기 및 빈도와 디스크 저장소 하위 시스템의 데이터 액세스 처리 속도에 따라 좌우됩니다. 중복 제거 처리가 매일의 데이터 변경(변동) 속도를 따라갈 수 없으면 처리가 완료될 때까지 절감 효과가 떨어집니다. 자세한 내용은 데이터 중복 제거를 위한 볼륨 크기 조정을 참조하세요. 중복 제거 볼륨에 대해 다음 일반 지침이 권장됩니다.

  • 복원력 유지 및 디스크 사용률 증가를 위해 엔클로저 인식 패리티 저장소 공간을 사용합니다.

  • 스파스 파일에 대한 중복 제거가 좀 더 용이하도록 64KB 할당 단위 및 큰 파일 레코드 세그먼트를 지정하여 NTFS를 포맷합니다.

  • 위의 하드웨어 구성에서 권장 볼륨 크기는 7.2TB이고 볼륨은 다음과 같이 구성됩니다.

    • 엔클로저 인식 이중 패리티 7.2TB + 1GB 나중 쓰기 캐시

      • ResiliencySettingName == Parity

      • PhysicalDiskRedundancy == 2

      • NumberOfColumns == 7

      • Interleave == 256KB(64KB 인터리브에서의 이중 패리티 성능은 기본 256KB 인터리브의 경우보다 더 낮음)

      • IsEnclosureAware == $true

      • AllocationUnitSize=64KB

      • 큰 FRS

      지정된 저장소 풀의 새 가상 디스크를 다음과 같이 설정합니다.

      New-VirtualDisk -Size 7.2TB -PhysicalDiskRedundancy 2 -ResiliencySettingName Parity -StoragePoolFriendlyName BackupPool -FriendlyName BackupStorage -NumberOfColumns 7 -IsEnclosureAware $true
      
    • 그런 후 이러한 각 볼륨은 다음으로 포맷해야 합니다.

      Format-Volume -Partition <volume> -FileSystem NTFS -AllocationUnitSize 64KB –UseLargeFRS -Force
      

      CPS 배포에서 이후에 이러한 볼륨이 CSV로 구성됩니다.

    • 이러한 볼륨 내에서 DPM은 백업 데이터를 보관하기 위한 일련의 VHDX 파일을 저장합니다. 볼륨을 포맷한 후에 다음과 같이 중복 제거를 사용하도록 설정합니다.

      Enable-DedupVolume –Volume <volume> -UsageType HyperV
      Set-DedupVolume -Volume <volume> -MinimumFileAgeDays 0 -OptimizePartialFiles:$false
      

      이 명령은 다음과 같은 볼륨 수준 중복 제거 설정도 수정합니다.

      • UsageTypeHyperV로 설정합니다. 이 경우 열린 파일의 중복 제거가 진행됩니다. 백업 저장을 위해 DPM에서 사용되는 VHDX 파일은 가상 컴퓨터에서 DPM이 실행되는 동안 열려 있으므로 이 설정이 필요합니다.

      • PartialFileOptimization을 사용하지 않도록 설정합니다. 이렇게 하면 중복 제거 기능은 사용 기간이 최소인 변경된 섹션을 검색하는 것이 아니라 열린 파일의 모든 섹션을 최적화합니다.

      • MinFileAgeDays 매개변수를 0으로 설정합니다. PartialFileOptimization을 사용하지 않도록 설정하면 MinFileAgeDays는 중복 제거 기능이 그 며칠 동안 변경되지 않은 파일만 고려하도록 동작을 변경합니다. 중복 제거 기능이 지연 없이 모든 DPM VHDX 파일의 백업 데이터 처리를 시작하도록 하기 원하므로 MinFileAgeDays를 0으로 설정해야 합니다.

중복 제거 설정에 대한 자세한 내용은 데이터 중복 설치 및 구성(영문)을 참조하세요.

DPM 저장소 계획 및 설정

조각화 문제를 방지하고 유지 관리 효율성을 높이기 위해 중복 제거된 볼륨에 있는 VHDX 파일을 사용하여 DPM 저장소가 할당됩니다. 각 크기가 1TB인 동적 VHDX 파일 10개가 각 볼륨에서 생성된 후 DPM에 연결됩니다. 중복 제거에 의해 구현된 저장 공간 절약 효과를 활용하기 위해 3TB의 저장소 초과 프로비저닝이 수행됩니다. 중복 제거는 추가적인 저장 공간을 절약해주므로 이러한 볼륨에 절약된 공간을 사용할 새 VHDX 파일을 만들 수 있습니다. VHDX 파일을 최대 30개 연결하여 DPM을 테스트했습니다.

  1. 다음 명령을 실행하여 나중에 DPM 서버에 추가할 가상 하드 디스크를 만듭니다.

    New-SCVirtualDiskDrive -Dynamic -SCSI -Bus $Bus -LUN $Lun -JobGroup $JobGroupId -VirtualHardDiskSizeMB 1048576 -Path $Using:Path -FileName <VHDName>
    
  2. 다음과 같이 만든 가상 하드 디스크를 DPM 서버에 추가했습니다.

    Import-Module "DataProtectionManager"
    Set-StorageSetting -NewDiskPolicy OnlineAll
    $dpmdisks = @()
    $dpmdisks = Get-DPMDisk -DPMServerName $env:computername | ? {$_.CanAddToStoragePool –
    eq $true -and $_.IsInStoragePool -eq $false -and $_.HasData -eq $false}
    Add-DPMDisk $dpmdisks
    

    이 단계에서는 저장소 풀을 DPM에서 보호된 데이터의 복제본 및 복구 지점을 저장하는 디스크로 구성합니다. 이 풀은 DPM 구성의 일부이며 이전 섹션에 설명된 데이터 볼륨을 만드는 데 사용하는 저장소 공간 풀과는 별개입니다. DPM 저장소 풀에 대한 자세한 내용은 디스크 저장소 및 저장소 풀 구성을 참조하세요.

Windows 파일 서버 클러스터 계획 및 설정

데이터의 배율 및 개별 파일 크기가 다르기 때문에 중복 제거를 위해서는 가상화된 DPM 저장소를 지원하기 위한 특별한 구성 옵션 집합이 필요합니다. 이러한 옵션은 클러스터 또는 클러스터 노드 전체에 적용됩니다. 중복 제거를 사용하도록 설정하고 클러스터의 각 노드에서 클러스터 설정을 개별적으로 구성해야 합니다.

  1. Windows 파일 서버 저장소에서 중복 제거 사용 - Windows 파일 서버 클러스터의 모든 노드에서 중복 제거 역할을 설치해야 합니다. 이를 위해서는 클러스터의 각 노드에 대해 다음 PowerShell 명령을 실행해야 합니다.

    Install-WindowsFeature -Name FileAndStorage-Services,FS-Data-Deduplication -ComputerName <node name>
    
  2. 백업 데이터 파일에 대한 중복 제거 처리 조정 - 지연 없이 최적화를 시작하고 부분 파일 쓰기를 최적화하지 않으려면 다음 PowerShell 명령을 실행합니다. 기본 GC(가비지 수집) 작업은 매주로 예약되며, GC 작업은 메모리 및 시간을 좀 더 많이 소비하는 데이터 검색 작업을 제거하기 위해 "심층 GC" 모드에서 4주 간격으로 실행됩니다. DPM 작업 부하의 경우 이 “심층 GC" 모드를 사용할 경우 큰 효과를 얻지 못하며 중복 제거를 통해 데이터를 최적화할 수 있는 기간이 줄어듭니다. 따라서 이 심층 모드는 사용하지 않도록 설정합니다.

    Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name DeepGCInterval -Value 0xFFFFFFFF
    
  3. 대규모 작업에 대한 성능 조정 - 다음 PowerShell 스크립트를 실행하여 다음 작업을 수행합니다.

    • 전체 가비지 수집을 실행하는 경우 추가 처리 및 I/O 사용 안 함

    • 해시 처리용으로 추가 메모리 예약

    • 큰 파일의 즉각적인 조각 모음을 허용하도록 우선 순위 최적화 사용

    Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name HashIndexFullKeyReservationPercent -Value 70
    Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name EnablePriorityOptimization -Value 1
    

    이러한 설정은 다음을 수정합니다.

    • HashIndexFullKeyReservationPercent: 이 값은 새 청크 해시와 기존 청크 해시에 대해 사용되는 최적화 작업 메모리의 양을 제어합니다. 기본값인 50%보다 높은 70% 배율을 사용할 때 최적화 처리량이 더 높아집니다.

    • EnablePriorityOptimization: 파일 크기가 1TB에 가까워질 경우, 단일 파일의 조각화만으로 파일 기준 제한에 가까워질 만큼 충분한 조각을 누적할 수 있습니다. 최적화 처리는 이러한 조각을 통합하여 이 제한에 도달하지 못하게 합니다. 이 레지스트리 키를 설정하면 조각화가 많이 일어난 중복 제거된 파일을 먼저 처리하는 프로세스가 추가됩니다.

DPM/중복 제거 일정 계획 및 설정

백업과 중복 제거 작업을 둘 다 I/O를 많이 발생합니다. 이러한 두 작업이 동시에 실행되면 작업 간을 전환하는 데 필요한 추가 오버헤드가 발생하며 매일 백업 또는 중복 제거되는 데이터 양이 저하됩니다. 따라서 별도의 전용 중복 제거 및 백업 기간을 유지하는 것이 좋습니다. 이렇게 하면 이러한 각 작업에 대한 I/O 트래픽을 매일의 시스템 작업에 효율적으로 분산하는 데 도움이 됩니다. 예약에 대한 권장 지침은 다음과 같습니다.

  • 백업 및 중복 제거 작업이 겹치지 않도록 시간을 분할합니다.

  • 사용자 지정 백업 일정을 설정합니다.

  • 사용자 지정 중복 제거 일정을 설정합니다.

  • 매일의 중복 제거 시간에 최적화 작업을 예약합니다.

  • 주말 중복 제거 일정을 따로 설정하여 해당 시간에 가비지 수집 및 작업 삭제를 수행합니다.

다음 PowerShell 명령을 사용하여 DPM 일정을 설정할 수 있습니다.

Set-DPMConsistencyCheckWindow -ProtectionGroup $mpg -StartTime $startTime –
DurationInHours $duration
Set-DPMBackupWindow -ProtectionGroup $mpg -StartTime $startTime –DurationInHours
$duration

이 구성에서 DPM은 오후 10시부터 오전 6시 사이에 가상 컴퓨터를 백업하도록 구성되어 있습니다. 중복 제거는 하루 중 남은 16시간 동안 예약됩니다. 구성하는 실제 중복 제거 시간은 볼륨 크기에 따라 달라집니다. 자세한 내용은 데이터 중복 제거를 위한 볼륨 크기 조정을 참조하세요. 백업 기간이 끝나고 오전 6시에 시작되는 16시간의 중복 제거 기간은 개별 클러스터 노드에서 다음과 같이 구성됩니다.

#disable default schedule
Set-DedupSchedule * -Enabled:$false
#Remainder of the day after an 8 hour backup window starting at 10pm $dedupDuration = 16
$dedupStart = "6:00am"
#On weekends GC and scrubbing start one hour earlier than optimization job.
# Once GC/scrubbing jobs complete, the remaining time is used for weekend
# optimization.
$shortenedDuration = $dedupDuration - 1
$dedupShortenedStart = "7:00am"
#if the previous command disabled priority optimization schedule
#reenable it
if ((Get-DedupSchedule -name PriorityOptimization -ErrorAction SilentlyContinue) -ne $null)
{
Set-DedupSchedule -Name PriorityOptimization -Enabled:$true
}
#set weekday and weekend optimization schedules
New-DedupSchedule -Name DailyOptimization -Type Optimization -DurationHours $dedupDuration -Memory 50 -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -Days Monday,Tuesday,Wednesday,Thursday,Friday
New-DedupSchedule -Name WeekendOptimization -Type Optimization -DurationHours $shortenedDuration -Memory 50 -Priority Normal -InputOutputThrottleLevel None -Start $dedupShortenedStart -Days Saturday,Sunday
#re-enable and modify scrubbing and garbage collection schedules
Set-DedupSchedule -Name WeeklyScrubbing -Enabled:$true -Memory 50 -DurationHours $dedupDuration -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -StopWhenSystemBusy:$false -Days Sunday
Set-DedupSchedule -Name WeeklyGarbageCollection -Enabled:$true -Memory 50 -DurationHours $dedupDuration -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -StopWhenSystemBusy:$false -Days Saturday
#disable background optimization
if ((Get-DedupSchedule -name BackgroundOptimization -ErrorAction SilentlyContinue) -ne $null)
{
Set-DedupSchedule -Name BackgroundOptimization -Enabled:$false
}

백업 시간대가 수정될 때마다 중복 제거 기간도 겹치지 않게 수정해야 합니다. 중복 제거 및 백업 기간이 하루 24시간을 모두 채울 필요는 없지만 작업 및 데이터가 매일 변경될 수 있으므로 처리 시간을 변경할 수 있게 설정하는 것이 바람직합니다.

백업 성능에 미치는 영향

파일 집합이 중복 제거된 후에 파일에 액세스할 때 성능이 다소 저하될 수 있습니다. 중복 제거된 파일에 사용되는 파일 형식에 액세스하기 위해 추가 처리가 필요하기 때문입니다. 이 시나리오에서 해당 파일은 백업 시간 동안 DPM에서 연속으로 사용되는 것으로 확인된 VHDX 파일의 집합입니다. 중복 제거된 이러한 파일 때문에 중복 제거를 하지 않을 때보다 백업 및 복구 작업이 좀 더 느려질 수 있습니다. 백업 제품의 경우, DPM은 복원 작업 중에 읽기 작업이 가장 중요한 쓰기 집약적 작업입니다. 중복 제거로 인해 백업 성능에 미치는 영향을 줄이기 위한 권장 지침은 다음과 같습니다.

  • 읽기/복원 작업: 중복 제거 기능이 중복 제거된 청크를 캐시하므로 읽기 작업에 미치는 영향은 일반적으로 미미하며 특별한 고려 사항은 필요하지 않습니다.

  • 쓰기/백업 작업: 백업 시간을 정의할 때 백업 시간의 약 5%~10%를 늘리도록 계획합니다. (이러한 연장 기간은 중복 제거되지 않은 볼륨에 쓸 경우의 예상 백업 시간과 비교해서 결정합니다.)

모니터링

DPM 및 데이터 중복 제거를 모니터링하여 다음을 확인할 수 있습니다.

  • 백업 데이터를 저장할 충분한 디스크 공간이 프로비전되었습니다.

  • DPM 백업 작업이 정상적으로 완료됩니다.

  • 백업 볼륨에서 중복 제거가 사용되도록 설정되어 있습니다.

  • 중복 제거 일정을 올바르게 설정했습니다.

  • 매일 정상적으로 중복 제거 처리를 완료하고 있습니다.

  • 중복 제거에 따른 절감률이 시스템 구성에 대해 가정한 사항과 일치합니다.

중복 제거의 성공 여부는 전반적인 시스템 하드웨어 기능(CPU 처리 속도, I/O 대역폭, 저장소 용량 포함), 올바른 시스템 구성, 평균 시스템 부하 및 매일 수정되는 데이터 크기에 따라 좌우됩니다.

DPM 중앙 콘솔을 사용하여 DPM을 모니터링할 수 있습니다.중앙 콘솔 설치를 참조하세요.

다음 PowerShell 명령으로 중복 제거를 모니터링하여 중복 제거 상태, 절감 비율 및 예약 상태를 확인할 수 있습니다.

상태를 확인합니다.

PS C:\> Get-DedupStatus
FreeSpace SavedSpace OptimizedFiles InPolicyFiles Volume
-------------- ---------- -------------- ------------- ------
280.26 GB 529.94 GB 36124 36125 X:
151.26 GB 84.19 GB 43017 43017 Z:

절감 비율을 확인합니다.

PS C:\> Get-DedupVolume
Enabled SavedSpace SavingsRate Volume
------- ---------- ----------- ------
True 529.94 GB 74 % X:

Get-DedupSchedule cmdlet을 사용하여 예약 상태를 확인합니다.

이벤트 모니터링

이벤트 로그를 모니터링하면 중복 제거 이벤트 및 상태를 이해하는 데 도움이 됩니다.

  • 중복 제거 이벤트를 보려면 파일 탐색기에서 응용 프로그램 및 서비스 로그 > Microsoft > Windows > 중복 제거로 이동합니다.

  • Get-DedupStatus |fl Windows PowerShell 결과에 값 LastOptimizationResult = 0x00000000이 나타나면 전체 데이터 집합이 이전 최적화 작업에 의해 처리된 것입니다. 그렇지 않은 경우 시스템에서 중복 제거 처리를 완료할 수 없으므로 사용자는 볼륨 크기와 같은 구성 설정을 확인할 수 있습니다.

보다 자세한 cmdlet 예를 보려면 데이터 중복 제거 모니터링 및 보고(영문)를 참조하세요.

백업 저장소 모니터링

구성 예에서 7.2TB의 볼륨이 1TB 동적 VHDX 파일 10개에 저장된 10TB의 "논리" 데이터(중복 제거하지 않은 경우의 데이터 크기)로 채워져 있습니다. 이러한 파일은 추가 백업 데이터를 누적하므로, 볼륨을 채우는 속도가 느립니다. 중복 제거로 인한 절감 비율이 충분히 높은 경우 10개의 파일 모두가 최대 논리 크기에 도달할 수 있지만 여전히 7.2TB 볼륨을 초과하지 않습니다(DPM 서버가 사용할 추가 VHDX 파일을 할당하기 위한 추가 공간이 있을 수 있음). 하지만 중복 제거로 인한 크기 절감 효과가 충분하지 않으면 VHDX 파일이 전체 논리 크기에 도달하기 전에 볼륨의 공간이 부족해지고 볼륨이 가득 찰 수 있습니다. 볼륨이 가득 차는 것을 방지하기 위해 다음 작업이 권장됩니다.

  • 볼륨 크기 요구 사항을 준수하고 저장소에 대한 일부 과도 프로비전을 허용합니다. 예상되는 중복 제거 절감 효과 및 데이터 변동의 편차를 허용하기 위해 백업 저장소 사용량을 계획할 때 10% 이상의 버퍼를 허용하는 것이 좋습니다.

  • 공간 사용량 및 중복 제거 절감 속도가 예상 수준인지 확인하기 위해 백업 저장소에 사용되는 볼륨을 모니터링합니다.

볼륨이 가득 찰 경우 다음과 같은 현상이 발생합니다.

  • DPM 가상 컴퓨터가 일시 중지-위험 상태가 되고 해당 VM에 의해 추가 백업 작업을 실행할 수 없게 됩니다.

  • 전체 볼륨의 VHDX 파일을 사용하는 모든 백업 작업이 실패합니다.

이 조건에서 복구하고 시스템을 정상 작동 상태로 복원하기 위해 추가 저장소를 프로비전할 수 있으며, DPM 가상 컴퓨터 또는 해당 VHDX의 저장소 마이그레이션을 수행하여 공간을 확보할 수 있습니다.

  1. 전체 백업 공유에서 VHDX 파일을 소유하는 DPM 서버를 중지합니다.

  2. NTFS 및 중복 제거에 대한 설정을 포함하여 기존 공유에 사용되는 것과 동일한 구성 및 설정을 사용하여 추가 볼륨 및 백업 공유를 만듭니다.

  3. DPM 서버 가상 컴퓨터에 대한 저장소를 마이그레이션하고 전체 백업 공유의 하나 이상의 VHDX 파일을 2단계에서 만든 새 백업 공유에 마이그레이션합니다.

  4. 가득 찬 원본 백업 공유에 대해 데이터 중복 제거 GC(가비지 수집) 작업을 실행합니다. GC 작업이 성공적으로 수행되고 사용 가능한 공간이 확보되어야 합니다.

  5. DPM 서버 가상 컴퓨터를 다시 시작합니다.

  6. 이전에 실패한 모든 데이터 원본에 대한 다음 백업 기간 동안 DPM 일관성 확인 작업이 트리거됩니다.

  7. 이제 모든 백업 작업이 성공해야 합니다.

결론

중복 제거와 DPM을 함께 사용하면 공간을 크게 절약할 수 있습니다. 이렇게 하면 더 높은 보존율이 높아지고, 좀 더 자주 백업되고, DPM 배포에 대한 TCO가 나아집니다. 이 문서에 나오는 지침과 권장 사항은 DPM 저장소에 대한 중복 제거를 구성하고 배포를 진행하면서 얻는 이점을 확인하는 데 필요한 도구 및 지식을 제공합니다.

FAQ

Q: DPM VHDX 파일의 크기는 1TB여야 합니다. 이것은 DPM이 1TB보다 큰 VM, SharePoint 또는 SQL DB나 파일 볼륨을 백업할 수 없다는 것을 의미하나요?

A: 아니요. DPM은 여러 볼륨을 하나로 집계하여 백업을 저장합니다. 따라서 1TB라는 파일 크기가 DPM이 백업할 수 있는 데이터 원본 크기를 나타내는 것은 아닙니다.

Q: DPM 저장소 VHDX 파일은 원격 SMB 파일 공유에만 배포해야 하는 것 같습니다. DPM 가상 컴퓨터가 실행되고 있는 동일한 시스템의 중복 제거 사용 볼륨에 백업 VHDX 파일을 저장하면 어떻게 되나요?

A: 위에 설명된 것처럼 DPM, Hyper-V 및 중복 제거는 데이터 저장 및 계산이 많이 발생하는 작업입니다. 이러한 세 가지를 단일 시스템에 결합하면 I/O 및 프로세스 집약적 작업이 발생하여 Hyper-V 및 해당 VM에서 메모리가 부족할 수 있습니다. 시험적으로 동일한 시스템에서 백업 저장소 볼륨이 있는 VM에 DPM을 구성하기로 결정한 경우 성능을 주의 깊게 모니터링하여 동일한 시스템에서 세 가지 작업을 모두 유지할 수 있는 충분한 I/O 대역폭 및 계산 용량이 있는지 확인해야 합니다.

Q: Microsoft에서는 별도의 전용 중복 제거 및 백업 기간을 유지할 것을 권장합니다. DPM이 백업되는 동안 중복 제거를 사용할 수 없는 이유는 무엇인가요? SQL DB를 15분마다 백업해야 합니다.

A: 중복 제거 및 DPM은 저장소를 많이 필요로 하는 작업이므로 두 가지 기능을 동시에 실행하는 것은 비효율적일 수 있으며 I/O에 문제가 발생할 수 있습니다. 따라서 하루에 두 번 이상 작업을 보호하고(예: 15분마다 SQL Server) 동시에 데이터 중복 제거를 사용하려면 리소스 부족을 방지하기 위해 충분한 I/O 대역폭 및 컴퓨터 용량이 필요합니다.

Q: 설명된 구성에 따르면, DPM은 가상 컴퓨터에서 실행해야 합니다. VHDX 파일이 아니라 복제본 볼륨 및 섀도 복사본 볼륨에 대해 직접 중복 제거를 사용하도록 설정할 수 없는 이유는 무엇인가요?

A: 중복 제거를 사용하면 볼륨당 중복 제거 작업이 개별 파일에 대해 수행됩니다. 중복 제거는 파일 수준에서 최적화되므로 DPM이 백업 데이터를 저장하는 데 활용하는 VolSnap 기술을 지원하도록 설계되지 않았습니다. VM에서 DPM을 실행하면 Hyper-V는 DPM 볼륨 작업을 VHDX 파일 수준에 매핑하여 중복 제거를 통해 백업 데이터를 최적화하고 더 많은 저장 공간을 절약할 수 있습니다.

Q: 위의 샘플 구성은 7.2TB 볼륨만 만들었습니다. 더 크거나 작은 볼륨을 만들 수 있나요?

A: 중복 제거는 볼륨당 하나의 스레드를 실행합니다. 볼륨 크기가 더 커지면 중복 제거의 최적화를 완료하는 데 더 많은 시간이 필요합니다. 반면에 작은 볼륨을 사용할 때는 더 적은 데이터에서 중복 청크를 찾으면 되므로 시간이 절약됩니다. 따라서 최대한 시간을 절약하려면 전체 청크 및 시스템 하드웨어 용량에 따라 볼륨 크기를 세부적으로 조정하는 것이 좋습니다. 중복 제거에 사용되는 볼륨 크기 결정에 대한 자세한 내용은 Windows Server의 중복 제거를 위한 볼륨 크기 조정에서 찾을 수 있습니다. 중복 제거에 사용되는 볼륨 크기 결정에 대한 자세한 내용은 데이터 중복 제거를 위한 볼륨 크기 조정(영문)을 참조하세요.