Data Mesh um novo conceito para Arquitetura de Dados

O conceito de Data Mesh ainda é relativamente novo e foi proposto pela Zhamak Dehghani, diretora de tecnologia na ThoughtWorks, e consiste em uma abordagem inovadora para a arquitetura de dados das empresas com o objetivo de facilitar a democratização em escala dos dados.

Uma nova abordagem baseada em uma arquitetura moderna e distribuída para gerenciamento de dados analíticos. Ele permite que os usuários finais acessem e consultem facilmente os dados onde estiverem, sem primeiro transportá-los para um data lake ou data warehouse. A estratégia descentralizada de malha de dados distribui a propriedade dos dados para equipes específicas de domínio que gerenciam, possuem e fornecem os dados como um produto.

Por que Data Mesh e por que agora?

A criação de dados globais está projetada para exceder 180 zettabytes nos próximos cinco anos. As plataformas de dados atuais apresentam várias falhas de arquitetura que dificultam o processamento de dados corporativos e inibem o crescimento dos negócios.

3 Problemas das Plataformas de Dados Atuais

Problema nº 1: até agora, as empresas usavam uma estratégia de centralização para processar dados extensos com várias fontes de dados, tipos e casos de uso. No entanto, a centralização exige que os usuários importem/transporte dados de locais de presença para um data lake central para serem consultados para análise, o que é demorado e caro.

Como o Data Mesh resolve:

A arquitetura distribuída do data mesh vê os dados como um

produto com propriedade de domínio separada de cada unidade de negócios. Esse modelo de propriedade de dados descentralizado reduz o tempo de obtenção de insights e o tempo de obtenção de valor, capacitando as unidades de negócios e as equipes operacionais a acessar e analisar dados “não essenciais” de maneira rápida e fácil.

Problema nº 2: À medida que os volumes de dados globais continuam a aumentar, o método de consulta em um modelo de gerenciamento centralizado requer alterações em todo o pipeline de dados que não responde em escala. Ele diminui o tempo de resposta para novos consumidores/fontes de dados à medida que o número de fontes aumenta, o que afeta negativamente a agilidade dos negócios para obter valor dos dados e responder às mudanças.

Como o Data Mesh resolve:

O Data mesh delega a propriedade dos conjuntos de dados da central para os domínios (equipes individuais ou usuários de negócios) para permitir agilidade nos negócios e mudanças em escala. A arquitetura de malha de dados orienta as empresas para a tomada de decisões em tempo real, fechando a lacuna de tempo e espaço entre a ocorrência de um evento e seu consumo/processo para análise.

Problema nº 3: a transferência de dados geralmente é suscetível a diretrizes de residência e privacidade de dados que proíbem a migração de dados se os dados estiverem armazenados em determinadas geografias ou jurisdições legais, como dados armazenados em um país da UE, mas que precisam ser acessados ​​por um usuário na América do Norte . O cumprimento dos regulamentos de governança de dados é demorado e tedioso, e pode atrasar significativamente o processamento de dados e as equipes de análise que precisam de inteligência de negócios crítica que os ajude a manter uma vantagem competitiva.

Como o Data Mesh resolve:

No gerenciamento descentralizado de dados, os domínios são responsáveis

pela qualidade, segurança e transferência de seus produtos de dados. A malha de dados fornece uma camada de conectividade que permite acesso direto e recursos de consulta por usuários técnicos e não técnicos a conjuntos de dados onde residem, evitando transferências de dados dispendiosas e preocupações de residência.