Data Mesh: entenda o que é e quais os seus princípios
Se a sua empresa está implementando uma cultura data-driven, soluções baseadas em dados e Machine Learning, então você deve considerar a implementação da nova abordagem chamada Data Mesh no seu negócio. Essa concepção é nova no mundo da tecnologia, sendo considerada uma tendência que pode auxiliar consideravelmente na análise de dados.
Como se trata de uma concepção nova, essa pode ser uma estratégia que diferencia seu negócio no mercado, criando uma vantagem competitiva que destaca sua empresa. Por isso, continue lendo este material para entender mais sobre o assunto!
O que é Data Mesh e do que se trata essa nova abordagem?
Data Mesh (Malha de Dados) é um novo modelo de arquitetura de dados que opera de forma descentralizada. Foi inicialmente introduzido por Zhamak Dehghani, diretora de tecnologias da Thoughworks da América do Norte e tem o objetivo de ajudar empresas a lidar com pontos problemáticos associados à grande escala de dados.
Essa abordagem funciona de forma oposta aos Data Lakes ou Data Warehouses, que aglomeram todas suas informações em um único repositório. O Data Mesh vai de encontro à perspectiva tradicional de que o Big Data precisa ser centralizado para ter potencial analítico.
Data Mesh surgiu pela necessidade das empresas em encontrar novas formas para lidar com problemas e desafios ligados à grande escala de dados que precisa ser analisada atualmente. Isso significa que dados centralizados podem ser não suficientes para atender as necessidades da empresa em razão do amplo volume de informações aglomeradas.
Sua premissa é permitir a escalabilidade da análise de dados, além de assegurar mais acessibilidade e disponibilidade das informações. Esses dois fatores são cruciais pelo fato de que cada vez mais aplicações estão usando Machine Learning e soluções centradas em dados.
Quais são os princípios do Data Mesh?
Para aplicar o Data Mesh na prática, Dehghani estabeleceu quatro princípios que precisam ser adotados para garantir suas funcionalidades. Entenda quais são eles a seguir.
Disponibilização de dados como produto
Os dados do domínio dão entregues produtos (datasets), podendo ser acessados por outros domínios por meio de APIs, códigos usados para conectar soluções e plataformas.
Governança federada de dados
Essa governança objetiva permitir a interoperabilidade dos domínios. Isso é feito por políticas, códigos, padrões, regras e responsabilidades. Assim, a governança operacional do modelo deve ser conduzida pelos representantes das equipes de cada domínio.
Infraestrutura para disponibilização dos dados como self-service
São tecnologias que permitem a descentralização dos dados, como plataformas integradas para gestão de dados do início ao fim (analítico e operacional). Elas ainda permitem que novos times de domínio sejam criados sem depender de um time centralizado.
Arquitetura de dados descentralizada
Esse é o contexto de negócios no qual os times de produtos de dados operam. As equipes se tornam donas do ciclo de vida de dados, devem garantir sua qualidade e têm a responsabilidade de entregar valor.
Qual o papel desse conceito dentro do Analytics?
A implementação do Data Mesh impacta diretamente o Analytics, trazendo benefícios para a análise de dados. Saiba como a seguir.
Agilidade e escalabilidade
De forma geral, são aprimorados o tempo de chegada no mercado, a agilidade e escalabilidade do domínio de negócios. Essa abordagem também diminui o backlog de TI, já que as equipes de projeto podem atuar de forma independente e dar mais foco aos produtos com dados mais relevantes para o negócio.
Governança central forte
Essa forma de estrutura permite controlar a conformidade dos dados de ponta a ponta. A arquitetura tradicional (como Data Lakes e Data Warehouses) dificulta a reconciliação da semântica com o grande volume de dados.
Com a descentralização das operações e aplicação de diretrizes globais de governança, é possível entregar dados de qualidade, facilitar o acesso e gerenciá-los mais facilmente.
Equipes de domínio multifuncionais
Abordagens tradicionais de arquitetura de dados acabam isolando as equipes. Mas o Data Mesh propõe uma solução em que os proprietários do domínio e os especialistas da área têm amplo comando. Isso é garantido pelo fato das equipes de TI terem maior conhecimento e controle do domínio, trabalharem mais próximas dos negócios e, caso sejam virtuais, serem mais ágeis.
Entrega de dados mais rápida
Muitas vezes a configuração da infraestrutura de dados é um obstáculo para a gestão de dados, isso inclui atividades como armazenamento de dados, gerenciamento de identidade, processamento e monitoramento de dados, entre outras.
Como o Data Mesh fornece uma infraestrutura mais fácil de governar, sua equipe se torna menos sobrecarregada de problemas e questões para resolver, permitindo uma entrega mais rápida de dados.
Quais são exemplos de uso do Data Mesh?
O Data Mesh tem aplicações práticas que podem impulsionar o desenvolvimento da empresa ao solucionar problemas comuns na rotina de um time de TI. Entenda a seguir quais são esses entraves e como esse novo conceito pode solucioná-los.
Difícil centralização de dados
A abordagem comum exige a coleta de dados de variadas fontes e conectar esses pontos diferentes para um Data Lake ou Warehouse central. Essa movimentação de informações é consideravelmente cara e pode levar muito tempo.
Graças ao Data Mesh, os datasets são separados em cada unidade do negócio, o que minimiza o tempo necessário para obtenção de insights. As equipes operacionais podem acessar e analisar os dados de forma mais fácil e rápida.
Aumento no volume de dados
A quantidade de dados que vem sendo coletada cresce exponencialmente a todo momento, especialmente pelo fato de que cada vez mais soluções estão utilizando dados para aprimorar suas atividades. Com isso, o número de fontes para coleta de dados também aumenta, o que afeta negativamente a agilidade das empresas para obter valor dessas informações e responder às mudanças.
O Data Mesh delega várias atividades para equipes individuais ou usuários de negócios, trazendo maior agilidade aos negócios e transformações em escala. Na prática, são usados diferentes servidores para coletar as informações e eles atualizam relatórios em tempo real, permitindo que suas decisões também sejam mais rápidas.
Cumprimento das normas
Caso a empresa colete dados de outros países, é preciso se adequar à legislação de dados daquela região, o que também demanda muito tempo e recursos da empresa.
O Data Mesh permite uma gestão descentralizada dos dados, eliminando a necessidade de que todo o servidor seja adequado às jurisdições legais de vários locais ao redor do mundo.
Data Mesh é um conceito que está sendo estudado e testado pelas empresas ao redor do mundo. Entretanto, certamente consiste em uma tendência que poderá agregar muito valor para as empresas pelo fato de solucionar problemas crescentes para todas empresas que operam com dados.
Quer ficar sempre atualizado sobre assuntos relevantes na área? Siga-nos já no LinkedIn para ficar antenado sobre o assunto!
Machine Learning nas empresas: como essa tecnologia tem sido usada?
É verdade que muitos gestores têm se perguntado como aplicar o Machine Learning em suas empresas. Esse conceito vem ocupando a cada dia mais espaços na indústria — sendo usado em suas diversas formas e nos diferentes setores.
Se você chegou neste artigo buscando saber mais sobre como as empresas conseguem melhores análises e soluções de problema com o uso de algoritmos avançados e supercomputadores, você está no lugar certo!
Abordaremos, no decorrer desse post, quais são algumas das principais aplicações para essa tecnologia e o que você deve fazer para preparar a sua empresa para receber essa inovação. Vamos lá?
O que é Machine Learning?
Saiba que desde meados do século passado já nos perguntávamos se as máquinas podem pensar por si mesmas. O teste de Turing foi criado em 1950 buscando responder a essa pergunta e desde então diversas evoluções na área tecnológica foram aplicadas e muitas delas aproximaram as máquinas de um “pensamento autônomo”.
Machine Learning pode ser traduzido como "aprendizado de máquina", basicamente. A partir do uso de algoritmos — passos para realizar uma ação, ou, ainda melhor, uma linha de raciocínio escrita de maneira que um computador entenda — conseguimos obter análises e previsões a partir de dados, o que seria humanamente impossível de ser processado e compreendido de forma eficiente
As bases para as ações realizadas pela Machine Learning são conjuntos massivos de dados, ou Big Data: um grupo bastante variado de informações que apresentam tamanhos estratosféricos se comparados a dados convencionais.
O aprendizado que a máquina pode realizar para automatizar decisões só funciona quando temos uma grande variedade e quantidade de dados disponíveis. Esses dados podem ser provenientes de fontes públicas como plataformas de anúncios e redes sociais, assim como os próprios canais da empresa (site institucional ou loja virtual, por exemplo) e levam tempo para serem obtidos.
Por isso, se a sua empresa já faz a mineração desses dados, mas ainda não usa recursos de Machine Learning para otimizações, é bom correr. Uma empresa nessa condição pode se tornar defasada e perder espaço muito espaço no mercado, colocando em risco a saúde do negócio.
Como aplicar a Machine Learning em minha empresa?
As soluções trazidas pela Machine Learning tem sido procuradas por boa parte do mercado, em todos os setores. Com a previsão de que sejam investidos quase 100 bilhões de dólares em Machine Learning até 2025, podemos dizer que esse, muito provavelmente, será um dos principais investimentos das indústrias e prestadores de serviço nos próximos anos.
As aplicações que essa solução pode ter nas empresas são muito variadas e dependem tanto dos processos corporativos internos, quanto da quantidade e qualidade de dados disponíveis para análises.
Pensando em ajudar você a compreender sobre essas soluções e se o uso da Machine Learning será realmente vantajoso para a empresa, trouxemos alguns exemplos sobre como essa tecnologia pode ser aplicada nos negócios.
Acompanhe, na sequência, quais são os principais processos nos quais essa tecnologia pode ter um papel essencial na gestão de sua empresa.
No controle de qualidade
O controle de qualidade pode ser uma tarefa árdua para muitas empresas e muitas vezes processos manuais de avaliação podem ser impossíveis de serem adotados devido à sua complexidade. A Machine Learning dispõe de algumas abordagens que podem suprir com essas necessidades.
Por meio de algoritmos, é possível realizar análises dos mais diversos componentes presentes nas corporações. O controle de qualidade feito por meio desses recursos busca identificar padrões qualitativos e, uma vez que essa informação seja processada, aplicar uma avaliação correspondente durante a linha de produção.
Um bom exemplo a ser usado em uma indústria que, através da mensuração de medidas como peso, tamanho e coloração, define a qualidade de uma unidade qualquer durante a linha de produção, seja um biscoito ou peça automotiva. Inclusive, imagens de referência também podem ser usadas durante esse processo de classificação realizado pelos algoritmos de Machine Learning.
Na identificação de lacunas no sistema e problemas humanamente indetectáveis
Imagine contar com um aspecto onipresente durante o gerenciamento de seus negócios — é mais ou menos isso que a aplicação da Machine Learning, de forma integrada nos setores de uma empresa, pode parecer à primeira vista.
Diversos tipos de dados, como, por exemplo, informações sobre colaboradores, opiniões de clientes e aspectos gerais do mercado são informações simples que o aprendizado de máquina utiliza para realizar análises complexas.
Essas informações são processadas para que a solução possa fazer uma análise consistente, indicando gargalos e riscos iminentes de alguma falha na produção — tudo baseado em informações e estatísticas realizadas em tempo real. Com isso, é possível desenvolver e aplicar estratégias de negócio e alcançar metas e objetivos de forma assertiva.
Na logística de diversas áreas do universo corporativo
A logística é uma das áreas que podem ser uma das mais afetadas pelo uso da tecnologia de Machine Learning. Isso já era de se esperar por aqueles que sabem o quão dinâmico pode ser esse setor em qualquer empresa.
Os processos logísticos podem variar muito e compõem uma imensa diversidade de aplicações. De forma prática, as soluções a partir de Machine Learning podem permitir, por exemplo, que uma empresa saiba para onde direcionar os seus produtos de maneira mais precisa e quais horários são os mais adequados para o transporte e deslocamento.
A Machine Learning e seu futuro nas empresas
As soluções dependentes do uso de Machine Learning têm se solidificado no ambiente corporativo e a tendência é que essa tecnologia ocupe ainda mais espaço em um futuro próximo. A adequação a essas mudanças faz parte de um bom gerenciamento empresarial em um mundo moderno e conectado.
Portanto, é importante não perder tempo — o estudo da área pelos gestores e a contratação de empresas parceiras especializadas nessas novas capacidades administrativas é de suma importância para uma manutenção otimizada dos negócios. O número de soluções desenvolvidas através dessa tecnologia será cada vez maior, estando disponível para os mais diversos setores.
E aí, gostou de saber a diversidade de soluções possível oferecidas pelos recursos da Machine Learning. Compartilhe esse artigo em suas redes sociais para que mais pessoas saibam como essa tecnologia está impactando as empresas.
Automatizar decisões de forma inteligente é possível, combinando o uso de Machine Learning e regras de negócio
As empresas têm conseguido introduzir o poder dos insights analíticos do Machine Learning nas suas operações de negócio, mas integrá-los na automação das decisões necessita implementar uma inteligência artificial explicável (XAI).
Este artigo apresenta o potencial da combinação da escoragem preditiva com a abordagem prescritiva (regras de negócio) para entregar as melhores decisões operacionais. O resultado é um conjunto de regras de negócio que alia uma estratégia de negócio e eventuais restrições regulatórias (lógica determinística) com os insights de um modelo de Machine Learning treinado a partir de dados históricos.
Exemplo prático
No exemplo abaixo, em tempo de execução da regra, um serviço de escoragem considera todos os atributos do cliente que faz parte o contexto da decisão corrente, e a classificação analítica (baixa escoragem de crédito e propensão a desistência baixa ou média) condiciona a aceitação da solicitação daquele cliente.
Se:
- A classificação do cliente é PLATINUM
- A escoragem do crédito do cliente é BAIXA
- Não é verdadeiro que a propensão do cliente a desistir é ALTA
Então,
Aceitar a solicitação do cliente.
Aprendendo a inferir
O Machine Learning é a aplicação de algoritmos de natureza estatística capaz de processar uma grande quantidade de dados contextuais (observações) e dados comportamentais (variáveis resposta), com possibilidade de apreender e inferir um modelo estatístico caracterizado por um conjunto de variáveis inter-relacionadas, que, ao ser estimulado com novos dados, calcula uma escoragem, ou seja, a probabilidade de um determinado fato ocorrer (ou não).
As duas tabelas a seguir apresentam a complementaridade das regras de negócio para o Machine Learning junto a alguns exemplos:
Casos de uso
Alguns exemplos de casos de uso de automação das decisões operacionais:
BANCOS E SERVIÇOS FINANCEIROS: subscrição e acompanhamento dos empréstimos, adequação dos serviços ao perfil dos clientes, avaliação de risco, investigação regulatória, elegibilidade de serviços e automação dos pagamentos.
SEGURADORAS: Processamento automático de sinistros, subscrição (novas propostas e renovação de apólices), detecção e investigação de fraudes.
VAREJO: Serviços de atendimento ao cliente com recomendação de produtos e serviços (personalização de oferta up-sell / cross-sell), aplicação dos programas de fidelidade, cálculo de comissões de venda.
INDÚSTRIA: Qualidade e controle da manufatura, investigação dos defeitos, manutenção baseada em condições.
SAÚDE: Processamento dos tratamentos e acompanhamento dos pacientes, processos de correspondência de doadores.
GOVERNO: Cálculo de imposto, aposentadoria, pensões, detecção e investigação de fraudes, processamento de reclamações.
Com IBM Operational Decision Manager, os especialistas de negócio utilizam uma plataforma Web para realizar atividades, que não precisam envolver profissionais de Tecnologia da Informação:
- Criar ou manter regras textuais ‘se... então... senão” e tabelas de decisão, utilizando um vocabulário de negócio;
- Revisar as lógicas de decisão, se necessário;
- Validar o que foi alterado, por quem, quando e por qual motivo;
- Testar, simular, gerenciar e governar os artefatos de decisão;
- Implantar as manutenções de regras no ambiente de Produção.
Se quiser saber mais sobre automação de decisões, pode contar comigo e com a equipe Scala.
Jerome Chartier
Advanced Analytics & Decision Management
-----------------------
Fontes:
IBM Impact 2020
IBM Decision Lab, Paris
Machine Learning: quando usar? Sua empresa está preparada?
Quase todos os processos de negócios orientados por dados podem ser aprimorados com ferramentas de Machine Learning: segmentação de clientes, marketing personalizado, classificação de textos, on bording de novos usuários, análise e prevenção de fraudes, entre tantos outros exemplos de uso. Mas há um fator importante que determina o sucesso dessa empreitada: é preciso um volume grande de dados para que a ferramenta de Machine Learning aprenda e, então, execute a tarefa de forma autônoma.
O aprendizado de máquina reúne ferramentas que “aprendem” a tomar uma decisão baseadas em exemplos, e não a partir de uma programação específica. Portanto, é preciso fornecer esses exemplos.
Numa empresa de seguros, por exemplo, os segurados apresentam fotografias dos danos ocorridos, seja um amassado no carro, um vidro quebrado, um motor fundido etc. Antes da automação, uma pessoa deveria olhar foto por foto, milhares delas, para assegurar que o acidente de fato ocorreu.
Para o olho humano, é fácil entender um amassado na lataria. Mas, para uma máquina, será preciso milhares de imagens, em ângulos diferentes, com iluminação diferente, foco e distância, para que ela consiga aprender e distinguir a lataria amassada de, digamos, um latão de lixo. Porém, uma vez que aprenda, a máquina será capaz de executar a tarefa de forma incrivelmente mais rápida e precisa do que o homem, analisando milhares de imagens em segundos.
Machine Learning, portanto, é uma ferramenta boa e que traz enorme impacto na empresa quando há volumes grandes de dados rotulados, de forma que os algoritmos possam aprender com eles.
SUA EMPRESA ESTÁ PREPARADA?
Eis algumas perguntas que você precisa responder antes de implementar um projeto de Machine Learning:
- Seu projeto tem objetivos claros? Mesmo que seja um experimento, deve haver uma meta de negócios final que realmente importe e justifique os esforços.
- Você definiu se o projeto de Machine Learning deve reduzir custos ou aumentar a receita? Um projeto bem-sucedido reduzirá os custos, aumentará a receita ou ambos.
- Como o sucesso será medido? Cada projeto é diferente e será preciso estabelecer o KPI para avaliar seu impacto na organização. As métricas podem ser o número de horas gastas em uma tarefa, o número de erros, o engajamento de novos usuários, unidades vendidas etc. Para essa medição, é preciso entender os dados de entrada de forma a aplicar os algoritmos adequados.
- Sua organização está coletando os dados certos? Algoritmos de Machine Learning não fazem milagre. Eles precisam de grande volume de dados para funcionar, dados especificados e rotulados, para que o algoritmo possa analisá-los, compará-los e aprender com eles.
SOLUÇÃO INDICADA
O IBM Watson Machine Learning facilita a colaboração de desenvolvedores e cientistas de dados para integrar recursos preditivos a seus aplicativos. Desenvolvido na plataforma de análise SPSS da IBM, o Watson Machine Learning permite desenvolver aplicativos que tomam decisões mais inteligentes, resolvem problemas difíceis e melhoram os resultados do usuário. Desenvolver aplicativos de negócios inteligentes com mais facilidade e confiança!
Saiba mais, confira o vídeo:
Para suas demandas de Machine Learning e de Inteligência Artificial, é bom poder trocar ideias com especialistas. Na Stefanini Scala eles estão à sua disposição.