Há algum tempo a buzzword do momento era Data Mesh. Os líderes da área de dados não paravam de falar sobre isto e era uma daquelas clássicas buzzwords que todos falavam, mas quase ninguém realmente sabia do que se tratava. Para começar, era comum ouvir pessoas falando sobre o tema como se Data Mesh fosse uma tecnologia ou uma metodologia, mas na verdade se trata de uma forma de organizar a área de dados. Em 2022 a Gartner publicou uma matéria onde previa que o Data Mesh poderia se tornar obsoleto rapidamente devido ao grande hype que sofria e a limitada possibilidade de implementação que possuía. Contudo, o que de fato aconteceu com o Data Mesh? Vamos conversar sobre isto no nosso artigo de hoje.

O Data Mesh foi criado pela Zhamak Dehghani, uma consultora da ThoughtWorks (você, assim como eu, também tem dificuldade de pronunciar o nome dessa empresa???). Ela começou a publicar uma série de artigos onde explicava suas ideias de como a área de dados deveria ser reorganizada para se tornar mais eficiente. Felizmente, assim que o conceito começou a ser difundido a autora escreveu um livro onde agrega e explica todas as suas ideias. Logo no início do livro a autora deixa claro que o Data Mesh é voltado para grandes empresas e que ele só deve ser adotado quando a área de dados começa a ter dificuldades de ser gerida devido ao seu tamanho e complexidade. Logo, qualquer pessoa que você ouça falando sobre aplicar Data Mesh em uma startup, pode ter certeza que está falando algo completamente sem sentido.

Mas afinal, do que se trata o Data Mesh. Basicamente é uma forma de organizar a área de dados orientada aos domínios de negócio, muito semelhante ao DDD (Domain Driven Design). Com isto, ao invés da empresa ter uma única equipe de dados que atende as demandas das diversas área de negócio da empresa, cada área passa a ter a sua própria equipe de dados, havendo apenas uma equipe de Governança de Dados centralizada (Governança federada). É comum que muitos profissionais digam que aplicam Data Mesh porque em sua empresa cada área de negócio possui a sua própria equipe de dados. Contudo, o Data Mesh não limita-se a isto! Há também o conceito de dados como um produto, sendo os dados de toda a empresa governados de forma que sejam disponibilizados e consumidos pelos diversos domínios de negócio como se fossem mercadorias. Para que isto ocorra é necessário que cada área tenha profissionais responsáveis pela catalogação dos dados que serão compartilhados. Estes profissionais são chamados de Data Stewards.

Com as diversas áreas disponibilizando os seus dados e consumindo os dados de outras áreas, podemos identificar outra forte característica do Data Mesh: o self-service de dados. Embora haja uma Governança federada, esta serve para prover diretrizes, não para executar demandas das áreas. Desta forma, é necessário ter ferramentas que possibilitem que cada área possa disponibilizar os seus dados de forma autônoma. Isto também envolve a inserção de metadados que ajudem no entendimento dos dados e na identificação dos responsáveis por cada dados. Os dados então são compartilhados internamente por meio de um catálogo de dados e existem algumas empresas que criam até mesmo marketplaces internos ou externos para o compartilhamento dos seus dados.

Com a popularização do Data Mesh, diversas plataformas voltadas para a governança federada dos dados começaram a surgir, dentre elas se destacam o Collibra e o MS Purview. Estas plataformas trazem ferramentas que auxiliam na implementação de diversos conceitos que formam o Data Mesh, sendo alguns deles o catálogo de dados, a governança de dados federada, dados como produtos e dados certificados. No entanto, é importante ressaltar que o conceito de Data Mesh e estas plataformas são coisas distintas, assim como a Arquitetura medalhão é algo distinto do Databricks. Em geral, as empresas que implementam estas ferramentas são multinacionais gigantescas e nem sempre as ferramentas são aplicadas de forma global. Ainda é comum que existam áreas dentro destas empresas que trabalham de forma isolada e acabam por não padronizar ou nem mesmo compartilhar os dados gerados. Estas áreas são conhecidas como silos de dados e o Data Mesh foi criado justamente para evitar que este problema, comum em empresas muito grandes, ocorra.

Contudo, ainda não respondemos à questão colocada no início deste artigo: o Data Mesh ainda é relevante ou a previsão da Gartner se concretizou? Pela minha experiência, o Data Mesh se consolidou e está sendo fortemente adotado pelas grandes empresas. Porém, não é preciso parar tudo e começar a estudar o Data Mesh desesperadamente, a menos que você seja um diretor de uma multinacional. O Data Mesh exige mudanças de processos e organização em alto nível e para quem atua em níveis operacionais, basta seguir as diretrizes passadas pelas empresas. No meu caso, como eu atuo como Arquiteto de Dados da área de Data Governance em uma multinacional, eu eventualmente lido situações onde eu preciso saber os conceitos do Data Mesh para criar algumas soluções. Porém, mesmo assim, só poucas as oportunidades que tenho para aplicar esses conceitos.

 Por fim, se por acaso este artigo atiçou a sua curiosidade sobre o Data Mesh, eu recomendo que leia o livro publicado pela Zhamak Dehghani. Porém, não se sinta pressionado! Certamente que todo conhecimento que você puder ter sobre a área de dados irá te ajudar em sua carreira, porém alguns conhecimentos são mais prováveis de serem úteis do que outros, e o Data Mesh se encontra na categoria dos menos prováveis.