28 Novembro 2018

O poder das Análises Avançadas

A informação como suporte à decisão

O uso de informação (dados) para suportar decisões, é um ato tão natural como respirar para o ser humano. Usamos informação (dados) nas decisões mais banais da nossa vida: para atravessar a rua validamos se o semáforo está verde, ajustamos a velocidade do nosso carro na estrada aos limites de velocidades apresentados nos sinais de transito, decidimos a linha do metro a usar consultando o mapa do metro, e poderíamos continuar com muitos mais exemplos banais como estes.

Se olharmos para o universo das organizações, sejam elas empresas, instituições públicas, associações ou mesmo governos, os dados e a informação são o sangue vital que mantém as mesmas vivas e coesas. Os processos mais básicos e simples que tornam uma organização viva e consolidada dependem da informação sobre a mesma.

Diz a história que Genghis Khan foi o maior governante do seu tempo, sendo senhor de um império que se estendeu desde da Asia até à Europa Oriental. Para manter um império destes unido, com múltiplas etnias, religiões, povos e idiomas, apenas um exercito poderoso não era suficiente. A unidade de um império dependia fortemente da capacidade de transmitir informação/dados (ex: mensagens, documentos) rapidamente em longas distancias. Genghis Khan dispunha de uma vasta rede de comunicação (Yam), que consistia num serviço de correio montado baseado numa rede de estações bem organizada espalhada por todo o território do império. Esta rede permitia a difusão de informações a todo o império a uma velocidade nunca vista até à altura. Manter um império desta dimensão consolidado não era possível sem informação.

Gerir o que se consegue medir

Que informação e dados sobre uma organização são realmente relevantes para a sua gestão, ciclo de vida e coesão?

No universo da gestão costuma-se dizer que só se consegue gerir ou avaliar o que se consegue medir. No contexto das organizações, os dados que permitem a monitorização (medição) e gestão são na sua forma mais elementar os KPI’s e Métricas. Estes KPI’s e Métricas são completados com informação de contexto (dimensões, perspetivas de análise, tempo, centros de custo, produtos, armazéns), que permitem uma melhor compreensão dos mesmos e melhores insights. Estes KPI’s e Métricas são agrupados e analisados em Dashboards. Costuma-se estabelecer um paralelo entre um Dashboard e um painel de instrumentos de um avião, que permite aferir o estado do avião/organização e a direção em que se desloca.

Tradicionalmente no universo do Business Intelligence, a análise destes indicadores (KPI’s e métricas) é feita com base em dados históricos, permitindo uma análise histórica da organização, e no máximo uma análise do estado atual da organização. Apesar dos dados históricos serem a matéria prima das análises avançadas, podemos considerar que as análises tradicionais se focam na análise empírica dos dados histórico (passado).

A industrialização das técnicas de análise de dados

Na última década aconteceram transformações tecnológicas e científicas que permitiram industrializar um conjunto de técnicas avançadas de processamento e análise de dados (data Mining ou Data Science) que anteriormente apenas existiam no meio académico (ex: Deep Learning, Support Vector Machines, GLM, Random Forests, entre outros).

A evolução da capacidade dos processadores, do armazenamento de dados e dos algoritmos de Data Mining, permitiu disponibilizar ao comum dos mortais a utilização destas técnicas avançadas usando muitas vezes um simples computador pessoal. Hoje em dia um smartphone tem mais capacidade de processamento e armazenamento do que tinham muitos servidores nos anos 90 usados em Data Mining (basta avaliar quanto custava 1GB de disco no inicio dos anos 90).

As técnicas que hoje em dia são conhecidas como Data Science são técnicas que na última década levaram a uma nova revolução na forma como se analisam os dados.

Diz-se muitas vezes que os dados são o petróleo do futuro, porque a aplicação sistemática destas técnicas permite detetar insights, padrões ou relações mais profundas nos dados, fazer previsões ou gerar recomendações, entre outros.  No fundo, permitem descobrir conhecimento escondido nos dados, que seria impossível detetar usando um processo empírico, e que podem representar para uma organização informação preciosa para gerar novas oportunidades de negócio, redução de custos, conhecimento dos clientes, etc.

No fundo estas técnicas avançadas permitem industrializar e automatizar o processo de análise de dados e descoberta de conhecimento dentro das organizações, que tradicionalmente era feita de forma empírica e manual (a conhecida análise ad-hoc é o melhor exemplo disto).

Outro elemento fundamental que se tem vindo a observar nos últimos anos, e que é também um sinal de mudança, é o aumento da cultura científica dentro das organizações nos processos de análise de dados. Já é comum a utilização da estatística como ferramenta inicial na análise exploratória dos dados.

O referido contextualiza as mudanças que se observaram nos últimos anos, levando à materialização do conceito de Análises Avançadas (do inglês Advanced Analytics).

O que distingue então uma análise tradicional de uma análise avançada?

Análises Tradicionais

Estas análises baseiam-se nas tradicionais ferramentas de BI que analisam dados históricos. Trata-se de um tipo de análise do passado, baseado no principio empírico que analisando e percebendo o passado, poderei tomar melhores decisões para o futuro, partindo do princípio que existem padrões observados no passado que se repetirão no futuro (o que não é necessariamente verdade). Estes processos de análise são habitualmente manuais, e na sua forma mais avançada são baseados em análise e exploração ad-hoc dos dados.

Podemos sistematizar as Análises Tradicionais nas seguintes variantes:

  • Relatórios e Dashboards– Análise do passado. Perceção do que aconteceu no passado, ou o que acontece no momento na organização.
  • Análise Ad-Hoc / Exploração Multidimensional – Análise exploratória dos dados de forma empírica, tentando detalhar informação/indicadores já disponíveis em reports/dashboards. Perceção do detalhe (drill down, drill thru) contextualizando mais os indicadores em análise (onde acontece, quando acontece).
  • Alertas – Notificações automáticas da ocorrência de determinados eventos (ex: valores de KPI fora dos limites aceitáveis, quebras de stock,…).

Análises Avançadas

Análises avançadas assentam em técnicas mais cientificas, baseadas em estatística (ex: testes de hipóteses), algoritmos de data science (data mining), algoritmos de otimização e análise de cenários. Este tipo de análise baseia-se em processos mais científicos já que o processo analítico dos dados históricos é feito de forma massiva e automática usando uma máquina (execução do algoritmo e não a inspeção manual dos dados como nas análises tradicionais). A deteção de padrões nos dados históricos passa a ser uma tarefa automática, rápida e de baixo custo, sendo que se utilizam processos científicos (ex: testes de hipóteses) para validar a probabilidade de um padrão se repetir no futuro (ou visto de outra forma, se um padrão que se observa numa amostra duma população se vai refletir na população toda).

As Análises Avançadas incluem por exemplo as seguintes técnicas:

  • Análise Exploratória e Inferência estatística
  • Forecasting e análise de cenários
  • Data, text and Web Mining
  • Análise Semântica
  • Análise de Sentimento
  • Visualização avançada (visual data mining)
  • Análise de Redes Sociais (análise de redes/grafos)
  • Análise preditiva

No contexto das organizações a inovação na utilização destas técnicas surge pela possibilidade de criar modelos de análise que permitem de alguma forma “prever” ou antecipar o futuro, em oposição das análises mais tradicionais que “olham” apenas para o passado.

Não podemos, contudo, ver as Análise Avançadas como algo independente ou oposto das análises tradicionais. As duas complementam-se. Por exemplo, uma análise de clusters (data mining) pode levar à criação duma segmentação de clientes, que passará a ser apresentada no tradicional Dashboard de Análise de Cliente já existente numa organização. Muito do conhecimento “escondido” nos dados que é descoberto por estas técnicas, leva muitas vezes à criação de novos indicadores (KPIs) que passam a ser incluídos e monitorizados nos tradicionais relatórios e dashboards duma organização. Temos de ver estas técnicas como processos automáticos de descoberta de conhecimento.

David Ferreira
   Manager