Gerenciamento de informações da empresa usando o SSIS, o MDS e o DQS em conjunto

O gerenciamento de informações em uma empresa normalmente envolve a integração dos dados na empresa e fora dela, a limpeza dos dados, a correspondência dos dados para remover qualquer duplicata, a padronização dos dados, o enriquecimento dos dados, a adequação dos dados com os requisitos legais e de conformidade e o armazenamento do dados em um local centralizado com todas as configurações de segurança necessárias.

O SQL Server 2012 fornece todos os componentes necessários para uma solução efetiva de Gerenciamento de Informações da Empresa (EIM) em um único produto. Estes são os principais componentes do SQL Server 2012 que ajudam a criar uma solução EIM:

  • SQL Server Integration Services

  • SQL Server Data Quality Services

  • SQL Server Master Data Services

O SQL Server Integration Services (SSIS) fornece uma plataforma sofisticada e extensível para a integração de dados de várias fontes em uma solução de extração, transformação e carregamento (ETL) abrangente que oferece suporte a fluxos de trabalho comerciais, data warehouse ou gerenciamento de dados mestre. Consulte o tópico Visão geral do Integration Services para obter uma visão geral rápida e os usos comuns do SSIS.

O SQL Server Data Quality Services (DQS) permite a limpeza, a correspondência, a padronização e o enriquecimento dos dados; portanto, é possível enviar informações confiáveis para business intelligence, data warehouse e cargas de trabalho de processamento de transações. Consulte o tópico Introdução ao Data Quality Services para saber as necessidades comerciais do DQS e como ele responde a essas necessidades.

O SQL Server Master Data Services (MDS) fornece um hub de dados central que assegura a constante integridade das informações e consistência dos dados entre diferentes aplicativos. Consulte o tópico Visão geral do Master Data Services para obter descrições resumidas de recursos importantes do MDS.

Consulte os whitepapers Gerenciamento de informações da empresa com o SQL Server 2012 e Limpeza e correspondência de dados mestre usando as tecnologias EIM para obter uma orientação abrangente sobre a implementação de uma solução EIM usando essas tecnologias em conjunto e assista ao vídeo Gerenciamento de informações da empresa (EIM): associando o SSIS, o DQS e o MDS para ver uma demonstração interessante de um cenário de EIM

Neste tutorial, você aprenderá a usar o SSIS, o MDS e o DQS em conjunto para implementar um exemplo de solução de Gerenciamento de informações da empresa (EIM). Primeiro, use o DQS para criar uma base de dados de conhecimento que contenha informações sobre os dados (metadados), limpar os dados em um arquivo do Excel usando a base de dados de conhecimento, e fazer a correspondência dos dados para identificar e remover duplicatas. Em seguida, use o Suplemento MDS para Excel a fim de carregar os dados limpos e correspondentes no MDS. Depois, automatize todo o processo usando uma solução SSIS. A solução SSIS neste tutorial lê os dados de entrada de um arquivo do Excel, mas é possível estendê-lo para que essa leitura seja feita de várias fontes, como o Oracle, o Teradata, o DB2 e o Banco de dados SQL do Windows Azure.

Pré-requisitos

  1. Microsoft SQL Server 2012 com os seguintes componentes instalados.

    1. Integration Services (SSIS)

    2. Master Data Services (MDS)

    3. Data Quality Services (DQS)

    4. SQL Server Data Tools

      Consulte o Guia de Instalação do SQL Server 2012 para obter detalhes sobre como instalar o produto.

  2. Configure o MDS usando o Gerenciador de Configuração do Master Data Services

    Use o Gerenciador de Configuração para criar e configura um banco de dados do Master Data Services. Depois que você criar o banco de dados do MDS, crie um aplicativo Web para o MDS em um site (por exemplo: https://localhost/MDS) e associe o banco de dados do MDS ao aplicativo Web do MDS. Observe que, para criar um aplicativo Web do MDS, você deve ter o IIS instalado no computador. Consulte Requisitos do aplicativo Web (Master Data Services) e Requisitos do banco de dados (Master Data Services) para obter detalhes sobre os pré-requisitos da configuração do banco de dados do MDS e do aplicativo Web.

  3. Instale e configure o DQS usando o Instalador do Servidor do Data Quality. Clique em Iniciar, em Todos os Programas, em Microsoft SQL Server 2012, em Data Quality Services e em Instalador do Servidor do Data Quality.

  4. Microsoft Excel 2010 (32 bits é preferencial).

  5. Instale o Suplemento Master Data Services para Excel (32 bits ou 64 bits, com base na versão do Excel existente no computador) por aqui. Para localizar a versão do excel instalada no seu computador, execute Excel, clique em Arquivo na barra de menus e clique em Ajuda para ver a versão no painel direito. Observe que você precisa instalar o Visual Studio 2010 Tools for Office runtime antes de instalar o Suplemento do Excel.

  6. (Opcional) Crie uma conta com o Windows Azure Marketplace. Uma das tarefas no tutorial exige que você tenha uma conta do Azure Marketplace (inicialmente nomeada como Data Market). Você poderá ignorar essa tarefa se desejar e passar para a próxima tarefa.

  7. Baixe o arquivo Suppliers.xls no Centro de Download da Microsoft.

  8. O DQS não permite a exportação dos resultados da limpeza ou da correspondência para um arquivo do Excel se você estiver usando a versão de 64 bits do Excel. Esse é um problema conhecido. Para resolvê-lo, faça o seguinte:

    1. Instale o SQL Server 2012 SP1 (em computadores de 64 bits com o Excel de 64 bits).

    2. Execute o DQLInstaller.exe –upgrade. Se você tiver instalado a instância padrão do SQL Server, o arquivo DQSInstaller.exe estará disponível em C:\Arquivos de Programas\Microsoft SQL Server\MSSQL11.MSS QLSERVER\MSSQL\Binn. Clique duas vezes no arquivo DQSInstaller.exe.

    3. Em Gerenciador de Configuração do Master Data Services, clique em Selecionar Banco de Dados, selecione o banco de dados existente do MDS e clique em Atualizar.

Lições

Lição

Descrição breve

Tempo estimado para concluir (em minutos).

Lição 1: Criando a base de dados de conhecimento do DQS Fornecedores

Nesta lição, você criará uma base de dados de conhecimento do DQS chamada Fornecedores.

60

Lição 2: Limpando dados de fornecedor usando a base de dados de conhecimento Fornecedores

Nesta lição, você criará e executará um projeto do DQS para limpar os dados do fornecedor em um arquivo do Excel usando a Base de Dados de Conhecimento Fornecedores criada na primeira lição.

45

Lição 3: Correspondendo dados para remover duplicatas da lista de fornecedores

Nesta lição, você criará um projeto do DQS para executar a atividade de correspondência a fim de identificar e remover duplicatas da lista de fornecedores limpa.

45

Lição 4: Armazenando dados do fornecedor no MDS

Nesta lição, você carregará os dados de fornecedor limpos e comparados no Master Data Services (MDS) usando o Suplemento MDS para Excel.

45

Lição 5: Automatizando a limpeza e a correspondência usando o SSIS

Nesta lição, você criará uma solução SSIS que limpa os dados de entrada usando o DQS, faz a correspondência dos dados limpos para remover duplicatas, e armazena os dados limpos e correspondentes no MDS de forma automatizada.

75

Próximas etapas

Para começar o tutorial, vá para a primeira lição: Lição 1: Criando a base de dados de conhecimento do DQS Fornecedores.