在企业中优化您的 SSIS 包数据流（SQL Server 视频）

00:00

您好，我是 David Noor，Microsoft 的 SQL Server Integration Services 的高级开发负责人。欢迎观看本视频，它介绍如何在企业中优化您的 SSIS 包数据流。

本视频是名为 SSIS：性能的设计和优化系列的第二部分，这个系列共四个部分。在这个系列的第一部分中，Denny 介绍了如何最好地测量和理解 SSIS 包的性能。在本单元中，我们将以第一部分为基础，看看如何改进您的 SSIS 包数据流的性能。开始时，我们将标识每个数据流中的共同主题，以及在尝试改进性能时如何选择应首先处理的数据流部分。一旦您理解了性能问题所在，就可以对您的数据流执行多种处理，从而加快运行速度、提高运行效率。我们将观看您在设计、开发、甚至执行数据流时可以应用的一系列具体技巧。

现在就开始吧！

大多数包数据流都以提取、转换和加载关键数据为中心，这三个过程有时候统称为 ETL。优化您的数据流意味着优化数据流的上述每个阶段：提取、转换和加载。

对于提取，我们将讨论如何优化 SSIS 源组件以及可提供最佳性能且对您的源系统影响最小的查询。

在您的数据流中优化转换意味着考察您需要完成的工作，通过消除不需要的步骤选择用来完成该工作的最佳方法，以及有时候更改为您执行转换的原始源查询。

最后，优化数据流的加载环节意味着优化 SSIS 目标组件、网络、锁定以及在尝试将数据加载到目标时可能会阻碍数据流行进的其他因素。

在这个视频中，我们将介绍一些实践技巧，您可以使用它们在数据流的所有这三个阶段中发现优化机会。

在我们开始观看这些技巧前需要牢记的是，在处理性能问题时通常没有所谓的“万灵丹”。这里没有一个技巧可以解决您的数据流可能遇到的所有性能问题。我们将展示的这些技巧在一些常见情形下可以大展身手，但不要认为只应用了这些技巧后您的问题就会迎刃而解。您最好始终理解您的数据流的用途，确保在设计上很好地满足这些目标，测量其当前性能，对您的数据流反复进行更改并且衡量所做更改是否改进了性能。

此外，当您斟酌某一性能问题时，很容易被局限在特定的技术或组件上，有时候只是因为您熟悉该技术或代码。但无论原因如何，都应该尽量在整个生态系统环境中考虑您的数据流 — 整个生态系统最可能由多个关系数据库、一个网络、多种操作系统、多种文件系统以及许多片断构成。您对整个生态系统了解的越多，在其中任何一个环节面临真正的性能挑战时，您就能够更好地把握全局，并且将能够作出效率更高而风险更小的改变。

06:29

现在我们来进入 ETL 的第二个阶段：转换。在转换中，您处理已加载到数据流中的数据并尝试数据在加载前即获得适当的格式。在 SSIS 中，每个转换都表现为您可以拖入设计中的对象，但并非所有转换都是一样的。让我们看一下在 SSIS 中存在的三种转换：

• 同步或基于行的转换就地对数据的缓冲区进行操作。在数据流经时此类转换不生成数据缓冲区或数据行的副本。它们直接在缓冲区中转换数据。这使得同步转换的速度相对较快。同步转换的例子包括数据转换、派生列和查找。
  
• 部分阻塞的异步转换则有所不同。随着数据进入这些转换，转换需要持有这些数据以便完成转换。为此，它将传入的数据复制到内部缓冲区中并占用内存，有时候甚至会占用很多内存。随着数据继续流入，这些转换可能会认识到可以进一步写入输出数据。它们将写入输出数据并且释放一直在持有的相应内部内存。一旦数据流完成，它们将释放所占用的所有内存。但到了这个时候，它们通常将使用显著的数据量。
  此类转换的例子包括 Merge、MergeJoin 和 Union All。当您在数据流中具有这些转换时，应该寻求优化方法。是否存在它们的冗余副本？是否存在您可以“上推”到您的源系统的 MergeJoin 或 Union？我在过去看到过在源查询中执行 JOIN 的包，它们使用 OLE DB 源从两个表中提取了所有数据，然后在包中使用了 Merge Join 来执行联接，即使它们可能只在源上编写了 SQL 联接；由于数据库能够优化该查询，因此其速度可以大幅提高。请发现这些机会以便合并和减少异步转换的数目。
  在 SQL Server 2008 中，我们在数据流任务计划程序中付出了很多努力，以使复杂的数据流在性能上更优异并且更好地利用可用 CPU。如果您已在 SQL Server 2005 中开始使用 SSIS，则可能已将 Union All 转换引入到您的数据流中，以便人工拆分和并行化执行树。您不应再执行此操作。由于我们在 SQL Server 2008 中作出的改进，该操作不再需要并且不建议采用。删除这些人工 Union All 组件后，性能应该会得到提升。
  
• 第三组转换是阻塞异步转换，它们就像是前一组转换的极端版本 – 它们必须首先持有所有输入数据，然后才能写入任何输出数据。如果在具有大批次数据的数据流中使用这些转换，则常常会显著减慢数据流的速度。如果您在大数据流中使用它们，请确保不要以冗余方式使用它们。如果您在同一数据流中对相同的数据具有两个聚合或两个排序，则应该对您的包进行重新处理以便认真考虑改变其中一个。
  

在介绍了基本知识后，让我们看一下几个具体的技巧：

• 数据流需要转换某一列的数据类型的情况相当常见。尽量只执行此操作一次，并且使用尽可能窄的类型范围来保持数据缓冲区的紧密。转换数据也会占用 CPU 时间；因此，如果您的整个数据流可以将一种类型用于某一给定列，则考虑使用 SQL 的 CAST 或 CONVERT 函数或您的数据库的 SQL 方言中的等效函数，在您的数据源转换该列。
  
• 我在以前的几个幻灯片中曾提到过这个问题，但您要通过睿智地思考在哪里需要采用来优化转换，并且不必担心在数据源使用 SQL 会影响您的利益。例如，如果您在对源数据进行排序，请考虑对您的数据源使用 SQL 中的 ORDER BY 子句。与数据流相比，您的数据库返回已排序数据的效率可能会高得多。对于需要对数据进行排序且这些数据是从多个数据源合并在一起的情况，请保存此处的排序组件。同样，在数据源使用 GROUP BY 和 SQL 聚合函数可以更快地执行某些聚合。
  
• 如果您在使用 SQL Server 2008 并且使用渐变维度 (SCD) 组件，则应关注 SQL Server 中的新的 MERGE 功能。MERGE 可以完成该 SCD 可完成的许多相同工作，但没有那么多的网络往返的数目。
  
• 此外，不要忘记 SQL 的 INSERT INTO 功能的实用性。如果您的数据流比较简单并且源和目标都位于同一数据库实例上，则可能能够通过单个 SQL 语句以快得多的速度执行相同的数据移动，这是因为数据移动完全在该数据库上发生。在这些情况下，INSERT INTO 的运行速度与数据流相比可以快一个数量级，因为数据永远不需要脱离服务器。
  
• 最后，但也很重要的是，如果您在进行增量加载，则要关注对简单重新加载的替代方法。我看到某些系统用了很多时间来执行 Delta 检测以避免重新加载数据，但为了完成这一检测而占用的 I/O 和 CPU 最终会导致该作业的执行速度非常慢。
  

15:02

好啦，上面的内容就是这个性能系列的第二部分。特别感谢 Thomas 提供的所有帮助性信息，这些信息构成了这个视频系列的基础；同时还要感谢 Carla 和 Douglas，他们也对这个系列的创建帮助很大。有关这些主题的详细信息，请参考 Top 10 SQL Server Integration Services Best Practices（前 10 位的 SQL Server Integration Services 最佳实践）。

感谢您观看这个视频。请确保查看 SSIS：性能的设计和优化这个视频系列的其他三个部分。希望其内容会对您有所帮助，并且我们真诚欢迎您的反馈。在视频主页上的右上角中，有一个链接可供您进行评级和提供反馈。