19 Dezembro 2017

O Informatica PowerCenter como ferramenta de ETL

Na sua essência, o Informatica PowerCenter é um software cuja função é a extração de dados de diversos sistemas, limpeza de dados e transformação conforme as regras de negócio, para posteriormente serem carregados num Data Mart ou num Data Warehouse.

Uma das vantagens do PowerCenter é a sua portabilidade, não existindo a necessidade de uma base de dados específica para que a ferramenta funcione pois é capaz de aceder a praticamente qualquer distribuidor, inclusive a mainframes.

A estrutura do PowerCenter suporta processamento de dados tanto em batch como em tempo real. A plataforma da ferramenta permite o acesso real-time à base transacional para que os dados sejam atualizados com a velocidade e necessidade exigida pelo negócio.

                                           Figura 1 - Overview do PowerCenter

Posto isto, o objetivo será dar um enquadramento de algumas funcionalidades da ferramenta em conjunto com um exemplo prático.

O PowerCenter divide-se em quatro componentes que no conjunto permitem a extração, tratamento e carregamento dos dados. Passaremos então a dar a conhecê-los.

Repositório

O repositório do PowerCenter permite partilhar meta dados em repositórios para criar um Data Mart. Num domínio de Data Mart, podemos criar um único repositório global para armazenar metadados usados numa empresa e uma série de repositórios locais para partilhar os metadados globais conforme a necessidade.

1. Adicionar um Repositório (Add Repository)

 

2. Definir o nome do Repositório e o seu Username

 

Designer

O Designer é usado para criar e configurar as definições das nossas sources, targets e transformações que os dados vão sofrer para mais tarde serem criados os mappings.

Para iniciar o Designer é necessário conectarmo-nos ao repositório anteriormente criado, ao carregarmos (double click) sobre o nome do repositório que criámos deverá aparecer a seguinte janela:

 

Depois de entrarmos dentro do repositório, estas são as principais funcionalidades que dispomos:

 

• Source Analyser: para importar ou criar as definições das sources;
• Target Designer: para importar ou criar as definições de targets;
• Transformation Developer: Desenvolvimento das transformações que vão ser usadas nos mappings;
• Mapplet Designer: para criar os conjuntos de transformações (mapplet) usadas no mapping;
• Mapping Designer: para criar o mapeamento que o serviço de integração usa para extrair, transformar e carregar a informação.

 

Monitor

Esta componente permite, tal como o próprio nome indica, monitorizar os workflows e tasks existentes, dando assim a possibilidade de vermos os detalhes das extrações, transformações e carregamentos através de um gráfico de Gantt ou uma visualização mais simples com logs.

Em suma podemos:

• Ver os detalhes de um workflow: Através de um gráfico de Gantt ou da opção task view;
• Correr, parar, abortar e ver o resumo dos workflows ou tasks;
• Ver os workflows que carregaram da última vez;
• Ver o histórico pois o Monitor recebe informação do Repositório.

 

Manager

Permite criar ou alterar um conjunto ordenado de uma ou mais sessões e outras tarefas, projetadas com uma finalidade operacional geral. Executa uma série de mapeamentos (como sessões - podem ou não ser reutilizáveis conforme a necessidade do desenvolvimento em questão) e outras tarefas. De forma geral, permite construir e processar workflows.

É composto por:

• Task Developer: cria as tasks que pretendemos realizar no workflow;
• Worklet Designer: cria um worklet, que não é nada mais do que um objeto que agrupa um conjunto de tasks, é idêntico a um workflow mas sem informações de agendamento;
• Workflow Designer: cria um fluxo que conecta as tasks entre si. (Nota: as tasks também podem ser criadas à medida que vai sendo criado o workflow).