重複資料刪除概觀

 

發行︰ 2016年8月

適用於: Windows Storage Server 2012、Windows Server 2012 R2、Windows Server 2012

本主題描述 Windows Server 2012 R2 和 Windows 2012 Server 的重複資料刪除功能,並說明此功能的實際應用。

功能說明

重複資料刪除是有關尋找和移除資料內的重複項目,而不會犧牲它的真實性或完整性。 其目標是透過將檔案區分成小型的 (32–128 KB) 不限大小區塊、識別重複的區塊,然後為每個區塊保留一份複本,以便在較少的空間儲存較多的資料。 區塊的重複複本由單一複本的參照取代。 區塊壓縮後會在系統磁碟區資訊資料夾中整理成特殊容器檔案。

如此每個檔案都會進行磁碟轉換,如圖 1 所示。 進行重複資料刪除之後,就不再將檔案儲存為獨立的資料流,且這些檔案會被取代為虛設常式,並指向一般區塊存放區內儲存的資料區塊。 由於這些檔案會共用區塊,因此這些區塊只會儲存一次,這樣可減少儲存所有檔案所需的磁碟空間。 在檔案存取期間,會明確組合正確的區塊以處理資料,而且呼叫應用程式或使用者不需要知道對檔案進行的磁碟上轉換。 這樣可以讓系統管理員將重複資料刪除套用至檔案,且不需擔心對應用程式的行為有任何改變或對存取這些檔案的使用者有任何影響。

圖 1 磁碟上的檔案轉換

圖 1 重複資料刪除期間的檔案磁碟上轉換

啟用磁碟區的重複資料刪除且最佳化資料後,磁碟區會包含下列內容:

  • 未最佳化的檔案。 例如,未最佳化的檔案包含不符合選取之檔案使用期限原則設定的檔案、系統狀態檔案、替代資料流、加密檔案、含擴充屬性的檔案、小於 32 KB 的檔案、其他重新分析點檔案,或是其他應用程式正在使用的檔案 (「正在使用」的限制在 Windows Server 2012 R2 中已移除)。

  • 最佳化的檔案。 儲存為重新分析點的檔案,其中包含的指標會指向要求還原檔案時所需區塊存放區中各自區塊的對應。

  • 區塊存放區。 最佳化檔案資料的位置。

  • 其他可用空間。 最佳化的檔案和區塊存放區所佔用的空間遠比最佳化之前少。

實際應用

為了解決企業中資料儲存空間成長的問題,系統管理員正在合併伺服器,並將容量調整和資料最佳化做為關鍵目標。 重複資料刪除提供一些實際的方法可以達成這些目標,包含:

  • **容量最佳化。**重複資料刪除會在較少的實體空間儲存較多的資料。 這比使用單一例項存放 (SIS) 或 NTFS 壓縮提供更大的儲存空間效率。 重複資料刪除使用子檔案不限大小區塊化及壓縮,為一般檔案伺服器提供最佳比例 2:1,虛擬化資料則提供高達 20:1 的比例。

  • **縮放與效能。**重複資料刪除功能具備高延展性,高資源效率而且不會產生干擾。 它可以在 Windows Server 2012 R2 處理每秒最多 50 MB,在 Windows 2012 Server 則大約每秒 20 MB 的資料。 它可以在多個磁碟區上同時執行而不會影響伺服器上的其他工作負載。 透過降低 CPU 與記憶體資源的消耗量,來維持對伺服器工作負載的最低影響。 當伺服器非常忙碌時,重複資料刪除可以完全停止。 此外,系統管理員可以隨時執行重複資料刪除,也可以彈性設定應該執行重複資料刪除的排程以及建立檔案選取原則。

  • **可靠性及資料完整性。**套用重複資料刪除時,會維護資料的完整性。 重複資料刪除會使用總和檢查碼、一致性和身分識別驗證來確保資料的完整性。 針對所有中繼資料以及最常參考的資料,重複資料刪除會以備援的方式確保發生資料損毀的情況時能夠復原資料。

  • **BranchCache 的頻寬效率。**透過與 BranchCache 結合,相同的最佳化技術也會套用到經由 WAN 傳輸到分公司的資料。 這樣的結果會讓檔案下載的速度變快,而且使用較少的寬頻。

  • **使用熟悉的工具進行最佳化管理。**重複資料刪除的最佳化功能已內建到伺服器管理員與 Windows PowerShell。 預設設定可以立即省去自行設定的步驟,系統管理員也可以微調設定以便更符合自己的需求。 每個人都可以使用 Windows PowerShell Cmdlet 輕鬆地開始最佳化工作或排程在未來執行最佳化。 安裝重複資料刪除功能以及在選定的磁碟區上啟用重複資料刪除的作業,也可以使用呼叫 Windows PowerShell 指令檔的 Unattend.xml 檔案來完成,而且可以在系統初次開機時搭配 Sysprep 來部署重複資料刪除。

新功能和變更的功能

下表說明重複資料刪除功能的變更。 如需詳細資訊,請參閱什麼是 Windows Server 中的重複資料刪除的新功能

特色/功能

新功能或更新功能?

描述

虛擬桌面基礎結構 (VDI) 工作負載遠端存放的重複資料刪除

Windows Server 2012 R2 的新功能

藉由在叢集共用磁碟區 (CSV) 上實作重複資料刪除,針對虛擬桌面基礎結構 (VDI) 工作負載的作用中虛擬硬碟 (VHD) 進行最佳化。

在原始路徑展開最佳化檔案

Windows Server 2012 R2 的新功能

使用 Windows PowerShell 中的新 Expand-DedupFile Cmdlet,視需要在原始路徑上的指定路徑展開最佳化檔案,以獲得應用程式的相容性、效能或其他需求。 如需 Cmdlet 的詳細資訊,請參閱 T:Deduplication.Expand-DedupFile。

虛擬化備份應用程式所使用的備份磁碟區重複資料刪除

Windows Server 2012 R2 的新功能

透過在叢集共用磁碟區 (CSV) 或有限的超聚合式組態上實作重複資料刪除,最佳化虛擬化備份應用程式工作負載所使用的作用中虛擬硬碟 (VHD)。 (支援具有 2014 年 11 月更新彙總套件的 Windows Server 2012 R2 (KB 3000850) 或更新版本)。

需求

若要充分利用重複資料刪除功能,您的環境必須符合下列需求:

  • 伺服器:一部執行 Windows Server 2012 R2 或 Windows 2012 Server 的電腦或虛擬機器,且至少要有一個資料磁碟區

  • (選擇性) 另一部執行 Windows Server 2012 R2 或 Windows 2012 Server 的電腦或虛擬機器 (需透過網路連線到伺服器)

    重要

    若在 VDI 或虛擬化備份工作負載上執行重複資料刪除,則所有 VHD 檔案必須:

    • 儲存在執行 Windows Server 2012 R2 的檔案伺服器上,且儲存體節點和計算節點在不同的伺服器上執行。

    • 以特定、有限的超聚合式組態儲存在本機儲存體上。 如需詳細的需求,請參閱計劃部署重複資料刪除

與 Azure 虛擬機器的互通性

您可以在 Azure 虛擬機器上執行此 Windows Server 角色服務。 這種情況已經過 Windows Server 2012 R2 測試。 我們建議搭配使用重複資料刪除與磁碟區讀取頻繁但寫入不頻繁的 Microsoft Azure 虛擬機器。 在這些情況下,重複資料刪除可以提供有效率的方式,在 Azure VM 中儲存更多資料。

下列工作負載在搭配 Azure VM 上的重複資料刪除使用時是很好的對象:

  • 具有相當靜態內容的一般檔案伺服器

  • 具有相當靜態內容的 Microsoft SharePoint 網站

  • 具有相當靜態內容的網站

下列工作負載不建議搭配 Azure VM 上的重複資料刪除使用,因為工作負載所使用的大型檔案會有頻繁的變更:

  • 訊息伺服器,例如 Microsoft Exchange Server

  • 資料庫伺服器,例如 Microsoft SQL Server

若要瞭解如何開始使用 Azure 虛擬機器,請瀏覽 Azure 網站

架構概觀

重複資料刪除功能包含監視本機或遠端 I/O 的篩選驅動程式,以及控制三種可用工作類型 (最佳化、廢棄項目收集和清除) 的重複資料刪除服務。

重複資料刪除架構中原本就有硬體故障的恢復能力,這些功能包含資料和中繼資料的完整總和檢查碼驗證,包括中繼資料以及最常存取的資料區塊備援。

重複資料刪除可能可以處理所選磁碟區上的資料 (但不包括大小小於 32 KB 的檔案、已排除之資料夾中的檔案,或是已套用保留天數設定的檔案)。 您應該仔細判斷伺服器和連接的磁碟區是否為合適的重複資料刪除候選項目,然後才啟用此功能。 我們強烈建議在刪除重複作業期間,您定期備份重要資料。

另請參閱

如需其他相關資訊,請參閱下列資源。

內容類型

參考

產品評估

部署

操作

社群資源

相關技術