Convertir los datos en información

Data is the new oil, traduzida literalmente para “os dados são o novo petróleo” é uma frase icónica que todos nós já ouvimos e que parece ser cada vez mais atual, apesar de ter sido dita pela primeira vez há mais de uma década (em 2006, por Clive Humby, Senior Marketer na Tesco). Mas será mesmo verdade?

Como consumidores, experimentamos todos los días en primera persona cómo nuestros datos influyen en las organizaciones para mejorar sus productos y servicios.

Diariamente, millones de personas en todo el mundo utilizan las redes sociales como motores de búsqueda. Actualmente, las grandes organizaciones a nivel mundial atribuyen gran parte de su éxito a la recopilación y el análisis de datos a gran escala sobre cómo se utilizan sus plataformas, ya que éstas proporcionan bases sólidas para tomar decisiones que mejoren la experiencia de los usuarios.

Podemos afirmar que los datos pasan a tener un papel esencial en todas las esferas de actividad.

No entanto, analisando a frase data is the new oil, conseguimos identificar uma grande diferença entre os dois sujeitos - o petróleo é valioso, mas escasso, enquanto que os dados têm tendência a gerar cada vez mais valor com o tempo e utilização. Organizações que recolhem grandes quantidades de dados geram mais e melhores insights que podem ser traduzidos em valor direto para as organizações. À recolha e análise de dados em grande escala dá-se o nome de big data.

A importância de um data warehouse moderno

Os armazéns de dados (data warehouses) têm um papel chave a desempenhar no processo de criação de valor para as organizações, pois são em primeiro lugar os responsáveis pela agregação de dados das mais diversas fontes de informação, podendo ser geridos tanto on-premises como na Cloud. Essencial para que os possam ser analisados em grande escala, um data warehouse moderno: suporta qualquer fonte de dados; é facilmente escalável e de simples acesso; centraliza todos os dados (internos ou externos), relevantes para a organização; fornece insights em tempo real através de dashboard; suporta modelos de analítica avançada como machine learning ou Inteligência Artificial.

Um data warehouse moderno deve armazenar dados de forma a que estes sejam facilmente acessíveis pelos seus consumidores e simultaneamente possuir a capacidade de processar e interpretar todo o tipo de dados de forma ágil e eficiente.

¿Cómo estructurar los datos a gran escala?

En el pasado, las únicas fuentes de datos para las aplicaciones eran las bases de datos. Sin embargo, actualmente existen cientos, si no miles, de fuentes diferentes y cada una de ellas con tipos de datos diferentes, pudiendo ser estruturadas o no.

Los datos estruturados tienen patrones que pueden ser fácilmente interpretados. Como por ejemplo: nombre de los clientes; moradas; geolocalización; datos; contactos telefónicos; nombres de productos; unidades de stock (SKU).

Sin embargo, no todos los datos de las organizaciones pueden clasificarse numérica o semánticamente, y aquí entran los datos no estructurados como: imágenes; vídeos; correos electrónicos y documentos; dispositivos IoT y sensores.

Estos datos son extremadamente relevantes al ser consolidados e integrados con los demás datos, permitiendo obtener una visión holística sobre los componentes de negocio, como por ejemplo sus clientes.

Para lograr este objetivo es esencial asegurarse de que las soluciones de datos son capaces de integrar estos dos tipos de datos en un único punto central.

Construir uma Data pipeline

Após identificar todas as diferentes fontes de dados, é essencial criar uma data pipeline. Os passos necessários nesta fase são:

1. transferir os dados de todas as fontes (estruturados e não estruturados) para a data warehouse;

2. armazenar os dados num data lake;

3. aplicar processos e procedimentos de data quality, preparando-os para serem utilizados em modelos analíticos avançados;

4. aplicar regras e conceitos de negócio, disponibilizando-os para serem consumidos pelos seus utilizadores;

5. exploração e visualização dos dados em plataformas como o Power BI. Data visualisation fornece uma representação rica e relevante dos dados que permitem a tomada de decisões data-driven, adicionando valor ao negócio e aos clientes.

Através desta abordagem, é construída uma arquitetura altamente escalável que serve todos os utilizadores: desde utilizadores finais, a data engineers e cientistas de dados que exploram os dados, a analistas que os interpretam para o negócio e até ao CEO que pretende compreender melhor o que acontece no seu negócio em tempo real.

Artigo de branded content na IT Insight, página 44.