- Techno News
Data Mesh um novo conceito para Arquitetura de Dados

O conceito de Data Mesh ainda é relativamente novo e foi proposto pela Zhamak Dehghani, diretora de tecnologia na ThoughtWorks, e consiste em uma abordagem inovadora para a arquitetura de dados das empresas com o objetivo de facilitar a democratização em escala dos dados.
Uma nova abordagem baseada em uma arquitetura moderna e distribuída para gerenciamento de dados analíticos. Ele permite que os usuários finais acessem e consultem facilmente os dados onde estiverem, sem primeiro transportá-los para um data lake ou data warehouse. A estratégia descentralizada de malha de dados distribui a propriedade dos dados para equipes específicas de domínio que gerenciam, possuem e fornecem os dados como um produto.
Por que Data Mesh e por que agora?
A criação de dados globais está projetada para exceder 180 zettabytes nos próximos cinco anos. As plataformas de dados atuais apresentam várias falhas de arquitetura que dificultam o processamento de dados corporativos e inibem o crescimento dos negócios.
3 Problemas das Plataformas de Dados Atuais
Problema nº 1: até agora, as empresas usavam uma estratégia de centralização para processar dados extensos com várias fontes de dados, tipos e casos de uso. No entanto, a centralização exige que os usuários importem/transporte dados de locais de presença para um data lake central para serem consultados para análise, o que é demorado e caro.
Como o Data Mesh resolve:
A arquitetura distribuída do data mesh vê os dados como um
produto com propriedade de domínio separada de cada unidade de negócios. Esse modelo de propriedade de dados descentralizado reduz o tempo de obtenção de insights e o tempo de obtenção de valor, capacitando as unidades de negócios e as equipes operacionais a acessar e analisar dados “não essenciais” de maneira rápida e fácil.
Problema nº 2: À medida que os volumes de dados globais continuam a aumentar, o método de consulta em um modelo de gerenciamento centralizado requer alterações em todo o pipeline de dados que não responde em escala. Ele diminui o tempo de resposta para novos consumidores/fontes de dados à medida que o número de fontes aumenta, o que afeta negativamente a agilidade dos negócios para obter valor dos dados e responder às mudanças.
Como o Data Mesh resolve:
O Data mesh delega a propriedade dos conjuntos de dados da central para os domínios (equipes individuais ou usuários de negócios) para permitir agilidade nos negócios e mudanças em escala. A arquitetura de malha de dados orienta as empresas para a tomada de decisões em tempo real, fechando a lacuna de tempo e espaço entre a ocorrência de um evento e seu consumo/processo para análise.
Problema nº 3: a transferência de dados geralmente é suscetível a diretrizes de residência e privacidade de dados que proíbem a migração de dados se os dados estiverem armazenados em determinadas geografias ou jurisdições legais, como dados armazenados em um país da UE, mas que precisam ser acessados por um usuário na América do Norte . O cumprimento dos regulamentos de governança de dados é demorado e tedioso, e pode atrasar significativamente o processamento de dados e as equipes de análise que precisam de inteligência de negócios crítica que os ajude a manter uma vantagem competitiva.
Como o Data Mesh resolve:
No gerenciamento descentralizado de dados, os domínios são responsáveis
pela qualidade, segurança e transferência de seus produtos de dados. A malha de dados fornece uma camada de conectividade que permite acesso direto e recursos de consulta por usuários técnicos e não técnicos a conjuntos de dados onde residem, evitando transferências de dados dispendiosas e preocupações de residência.