Fazendo sentido os dados com ambientes de low-code

Com os dados continuando a crescer, as organizações estão centralizando cada vez mais suas atividades de dados. Entretanto, quando se trata de ferramentas, a paisagem ainda está altamente fragmentada. A maioria dos analistas de negócios estão limitados a planilhas clássicas e ferramentas de BI para manipulação a exploração de dados estatísticos, enquanto os cientistas de dados utilizam modelos de previsão de código manual em uma variedade de idiomas diferentes e confiam na TI para a implantação. Enquanto isso, os engenheiros de dados fornecem a todos acessos a agregados de dados apropriados que são extraídos de uma multiplicidade de fontes de dados, on-premise e na nuvem.

Um ambiente eficaz de low-code permite que essas pessoas trabalhem juntas de forma mais produtiva e, ao mesmo tempo, fornece uma plataforma única e adequada para esses diversos públicos. Os usuários empresariais podem se concentrar em agregar e explorar dados, os cientistas de dados podem aplicar métodos sofisticados de aprendizagem de máquinas (ML) e inteligência artificial (AI), e os engenheiros de dados podem se certificar de que as manipulações de dados sejam executadas no ambiente correto e sigam as regras de conformidade da empresa. O ambiente certo de low-code serve essencialmente como um ambiente para alguns desses usuários e como um ambiente de programação visual para outros, que estão construindo soluções mais complexas.

Além disso, junto com a TI, a equipe estabelece os protocolos de produção apropriados, de modo que o que eles criaram possa ser implantado continuamente na produção – como uma aplicação interativa, no limite, ou simplesmente automatizada para execução regular. O ambiente certo também deixa o departamento de conformidade satisfeito.

Vamos olhar para as diferentes partes interessadas e como elas se beneficiam de um ambiente de low-code.

No-code para especialistas do negócio

Os analistas de negócios precisam gerar automaticamente resumos e visualizações de sínteses de dados para identificar rapidamente mudanças nas tendências (ou simplesmente para economizar tempo em auditorias e relatórios regulares). Além disso, eles se beneficiam da capacidade de olhar seus dados de vários ângulos, muitas vezes levando a novos insights sobre as operações em andamento.

O ambiente de low-code apropriado torna estas tarefas mais fáceis do que escrever macros do Excel e menos limitadoras do que a agregação de dados que pode ser feita dentro de uma ferramenta de BI padrão. Sem nunca tocar no código, um usuário empresarial pode modelar um fluxo de dados de forma direta e intuitiva. Este caso de uso “no-code” tem o efeito adicional de que esse processo é devidamente documentado e pode ser explicado (ou entregue) a outros facilmente.

Usando o ambiente certo, a porta não está fechada para agregações e visualizações de dados automatizadas e bem documentadas. Agora que nossos especialistas em negócios têm mais tempo disponível, eles podem começar a explorar mais dados, assim como outras técnicas. Gradualmente, eles aprenderão mais sobre a ciência de dados moderna e aumentarão continuamente seu repertório de métodos que os ajudam a dar sentido a seus dados. O ambiente certo abre a porta para tomar medidas para se tornar um cientista de dados, e como seus colegas da ciência de dados já estão usando o mesmo ambiente, eles podem se beneficiar diretamente de exemplos e projetos criados por eles.

Low-code para engenheiros de dados

Ser capaz de gerar e entregar rapidamente diferentes visões sobre, idealmente, todos os repositórios de dados corporativos ainda é um dos maiores obstáculos para dar sentido a todos esses dados. Podemos continuar esperando que os data warehouses corporativos, bem organizados e sempre atualizados, finalmente apareçam, ou podemos continuar confiando em uma equipe de engenheiros de dados que responda rapidamente e forneça a visão correta. Tampouco é muito eficiente ou provável.

Um ambiente de low-code proporciona aos especialistas em dados a capacidade de criar essas visualizações de dados virtualmente, em tempo real, e entregá-las a seus usuários. Os engenheiros de dados podem projetar fontes de dados internas que atendam às regras de governança, enquanto seus usuários aproveitam o mesmo ambiente para personalizar ainda mais a visualização de dados para atender às suas necessidades.

Feito corretamente, os engenheiros de dados podem até mesmo mudar de uma fonte de dados (por exemplo, seu atual provedor de armazenamento em nuvem) para outra – ou adicionar mais uma nova fonte à mistura – sem que seus usuários precisem se preocupar. Tudo o que eles vêem é a mesma visão sobre os dados, e suas soluções de low-code continuam a funcionar sem falhas. Dessa forma, os engenheiros de dados estão continuamente implantando novas e atualizadas visualizações em seu armazém virtual de dados. E, mais uma vez, o ambiente de low-code documenta automaticamente cada passo dado ao longo do caminho.

No final, o que os engenheiros de dados estão fazendo é a programação visual da maioria em SQL. Se quiserem, eles podem alcançar e fornecer trechos de código reais também, mas em um ambiente de low-code bem projetado, isto raramente será necessário. E se for, ele será encapsulado no fluxo de low-code e será governado e documentado assim como o resto.

Low-code para cientistas de dados

Ainda é difícil de fazer uma seleção a partir da riqueza de técnicas estabelecidas de ciência de dados, experimentar algoritmos de borda sangrando e automatizar peças selecionadas da otimização do modelo e/ou do processo de engenharia de recursos de forma a facilitar a implantação dos resultados. Muitos ambientes são muito complexos ou muito simplificados ou, mais tragicamente, falham em cobrir a profundidade do que uma equipe de ciência de dados quer ter acesso. Um cientista de dados quer um controle preciso sobre todos os pequenos botões e mostradores de um algoritmo de aprendizado, e eles querem escolha – a capacidade de escolher a partir de um amplo repertório de técnicas.

Um ambiente sério de low-code proporciona aos cientistas de dados flexibilidade em torno das ferramentas que eles utilizam. Ao mesmo tempo, permite o foco nas partes interessantes de seu trabalho, abstraindo da interface de ferramentas e das diferentes versões das bibliotecas envolvidas. Um bom ambiente permite que os cientistas de dados cheguem ao código se quiserem, mas garante que eles não tenham que tocar no código toda vez que quiserem controlar a interna de um algoritmo. Essencialmente, isto permite a programação visual de um processo de fluxo de dados – a ciência dos dados feita para o real é complexa, afinal de contas.

Se feito corretamente, o ambiente de low-code continua a permitir o acesso a novas tecnologias, tornando-o prova de futuro para inovações em andamento no campo. Mas os melhores ambientes de low-code também garantem compatibilidade retroativa e incluem um mecanismo para facilmente empacotar e implantar modelos treinados junto com todas as etapas necessárias para transformação de dados em produção.

No code para o CxO (e outros usuários do negócio)

A relação entre o departamento de ciência de dados e seus usuários finais é tipicamente tensa. Os empresários freqüentemente reclamam que as pessoas de dados trabalham lentamente, não entendem bem o problema real e, no final de tudo, não chegam à resposta que o lado comercial estava procurando. A equipe de ciência de dados reclama sobre o quanto eles têm que explicar e o quão subestimado é seu trabalho árduo. Ambos os lados estão frustrados: os negócios não conseguiram o que queriam e a equipe de ciência de dados não consegue o crédito.

Um ambiente de low-code também pode ajudar aqui; permite que a equipe de ciência de dados discuta com os usuários empresariais como eles pretendem chegar à resposta de uma forma intuitiva e visual. Os usuários empresariais não precisarão entender todos os detalhes de como os dados são misturados e que tipo de modelo ML é usado para fazer a previsão, mas eles podem entender o fluxo dos dados e fornecer feedback instantâneo sobre quando não estão obtendo as respostas que estão buscando. Para a equipe de ciência de dados, o ambiente de low-code também permite um retorno muito mais rápido; os ajustes no fluxo de dados são rápidos e fáceis.

O resultado é que a ciência de dados não é mais feita isoladamente, mas sim em um esforço colaborativo, aproveitando eficientemente a experiência dos especialistas em dados e negócios. Um ambiente adequado de low-code também permite que eles implantem rapidamente na produção e tornem os serviços API ou aplicações web resultantes tão interativos quanto necessário. Em vez de construir uma dúzia de versões diferentes da aplicação, eles podem decidir simplesmente implantar uma que permita um pouco mais de interação para atender a essa dúzia de necessidades (e uma dúzia de futuras).

No-code para o CDO

Garantir que todos os dados sejam usados corretamente para ajudar a acelerar e melhorar as operações em toda parte da organização ainda é extremamente difícil, e é por isso que muitas organizações agora têm um “departamento de dados” central. Mas isso não resolve o problema; apenas reconhece que ele existe e coloca a responsabilidade de fazer as coisas funcionarem sobre os ombros de alguém.

O ambiente de low-code correto removerá uma tonelada de atrito da forma como os dados são usados dentro de uma organização. Antes de tudo, os especialistas em dados podem trabalhar juntos em um único ambiente colaborativo. Eles não precisam esperar até que todos os dados e ferramentas estejam integrados em um sistema, mas podem misturar dados e ferramentas quando necessário. Em segundo lugar, eles podem – juntamente com os usuários comerciais – projetar soluções para os usuários finais reais e podem facilmente e de forma confiável mover essas soluções para a produção. E, em terceiro lugar, o ambiente certo de low-code também permite que uma organização garanta a governança e a auditabilidade fora da caixa.

Mas, olhando para o futuro, há mais: Tendo construído fluxos de trabalho de low-code para resolver problemas específicos, sua documentação inerente e integrada facilita seu uso como projetos para problemas futuros, para que a equipe não tenha que começar sempre do zero. Se a equipe adotar a abordagem modular correta, eles podem prontamente construir componentes que resolvam partes de um problema, tais como estabelecer acesso bem definido aos lagos de dados da organização e fornecer modelos para relatórios padronizados. E finalmente, se for um ambiente aberto, todas as novas tecnologias que estão sendo inventadas atualmente ainda podem ser usadas pela equipe de ciência de dados. A adoção de um ambiente tão aberto e de low-code não tem o custo de se manter atualizado com as últimas e maiores tecnologias.

Um ambiente de low-code faz sentido

Um ambiente de low-code é útil para fazer sentido com sucesso dos dados corporativos em uma base contínua. Ele permite a colaboração entre todas as partes interessadas, permite a criação ágil de novos insights, serviços de dados e aplicações e traz consigo a transparência inerente que é crítica para a governança.

Um ambiente eficaz de low-code também mantém todos na organização usando tecnologias modernas sem a constante necessidade de ferramentas de troca, pois elas servem como uma camada de abstração longe das complexidades da ferramenta. Esta é a propriedade mais crítica: garantir que uma organização utilize tecnologia de dados que seja verdadeiramente à prova de futuro e livre de trancas.

Fonte: venturebeat.com