Fazer sentido dos dados com ambientes de Low-code

Com os dados a continuarem a crescer, as organizações estão cada vez mais a centralizar as suas atividades de dados. No entanto, quando se trata de ferramentas, a paisagem ainda está altamente fragmentada. A maioria dos analistas de negócios estão limitados a folhas de cálculo clássicas e ferramentas de BI para manipulação e exploração de dados estáticos, enquanto os cientistas de dados utilizam modelos de previsão de códigos manuais numa variedade de línguas diferentes e confiam nas TI para a sua implementação. Entretanto, os engenheiros de dados fornecem a todos o acesso a agregados de dados apropriados que são extraídos de uma multiplicidade de fontes de dados, on-prem e na nuvem.

Um ambiente eficaz de low-code permite que essas pessoas trabalhem em conjunto de forma mais produtiva e, ao mesmo tempo, fornece uma plataforma única adequada para esses diversos públicos. Os utilizadores empresariais podem concentrar-se na agregação e exploração de dados, os cientistas de dados podem aplicar métodos sofisticados de aprendizagem de máquinas (ML) e inteligência artificial (IA), e os engenheiros de dados podem certificar-se de que as manipulações de dados são executadas no ambiente certo e seguir as regras de conformidade da empresa. O ambiente certo de low-code serve essencialmente como um ambiente no-code para alguns destes utilizadores e como um ambiente de programação visual para outros, que estão a construir soluções mais complexas.

Além disso, em conjunto com as TI, a equipe estabelece os protocolos de produção apropriados, de modo que o que criaram possa ser continuamente implementado na produção – como uma aplicação interativa, no limite, ou simplesmente automatizada para execução regular. O ambiente adequado também deixa o departamento de conformidade satisfeito.

Vejamos os diferentes intervenientes e como estes beneficiam de um ambiente de low-code.

_{No-code para peritos empresariais}

Os analistas de negócios precisam de resumos e visualizações de dados gerados automaticamente para identificar rapidamente alterações nas tendências (ou simplesmente para poupar tempo em auditorias e relatórios regulares). Além disso, beneficiam da capacidade de olhar para os seus dados de vários ângulos, levando frequentemente a novos conhecimentos sobre as operações em curso.

O ambiente de low-code apropriado torna estas tarefas mais fáceis do que escrever macros Excel e menos limitativas do que a agregação de dados que pode ser feita dentro de uma ferramenta padrão de BI. Sem nunca tocar no código, um utilizador empresarial pode modelar um fluxo de dados de forma direta e intuitiva. Este caso de utilização low-code tem o efeito secundário adicional de que esse processo é devidamente documentado e pode ser facilmente explicado (ou entregue) a outros.

Utilizando o ambiente certo, a porta não é fechada a agregações e visualizações de dados automatizadas e bem documentadas. Agora que os nossos peritos empresariais têm mais tempo disponível, podem começar a explorar mais dados, bem como outras técnicas. Gradualmente, irão aprender mais sobre a ciência de dados moderna e aumentar continuamente o seu repertório de métodos que os ajudam a dar sentido aos seus dados. O ambiente certo abre-lhes a porta para tomarem medidas no sentido de se tornarem cientistas de dados, e uma vez que os seus colegas cientistas de dados já estão a utilizar o mesmo ambiente, podem beneficiar directamente de exemplos e projectos criados por eles.

_{Low-code para engenheiros de dados}

Ser capaz de gerar e entregar rapidamente diferentes opiniões sobre, idealmente, todos os repositórios de dados corporativos é ainda um dos maiores obstáculos para dar sentido a todos esses dados. Podemos continuar a esperar que os armazéns de dados corporativos, organizados e sempre atualizados, apareçam finalmente, ou podemos continuar a contar com uma equipa de engenheiros de dados que responda rapidamente e forneça a visão correta. Nenhum deles é muito eficiente ou provável.

Um ambiente de low-code proporciona aos especialistas em dados a capacidade de criar virtualmente, em tempo real, essas visualizações de dados e entregá-las aos seus utilizadores. Os engenheiros de dados podem conceber fontes de dados internas que cumpram as regras de governação, enquanto os seus utilizadores aproveitam o mesmo ambiente para personalizar ainda mais a visualização de dados de modo a satisfazer as suas necessidades.

Feito corretamente, os engenheiros de dados podem até mudar de uma fonte de dados (por exemplo, o seu atual fornecedor de armazenamento na nuvem) para outra – ou adicionar mais uma nova fonte à mistura – sem que os seus utilizadores precisem se preocupar. Tudo o que eles têm é a mesma visão sobre os dados, e as suas soluções de low-code continuam a funcionar sem falhas. Desta forma, os engenheiros de dados estão continuamente a implementar novas e atualizadas visualizações no seu armazém virtual de dados. E, mais uma vez, o ambiente de low-code documenta automaticamente cada passo dado ao longo do caminho.

No final, o que os engenheiros de dados estão fazendo é programação visual de maioritariamente SQL. Se o desejarem, podem também alcançar e fornecer trechos de código reais, mas num ambiente de low-code bem concebido, isto raramente será necessário. E se o for, ficará encapsulado no fluxo de low-code e será governado e documentado tal como o resto.

_{Low-code para cientistas de dados}

A seleção a partir da riqueza de técnicas de ciência de dados estabelecidas, experimentando algoritmos de borda sangrenta e automatizando peças selecionadas da otimização do modelo e/ou do processo de engenharia de características, ainda é difícil de fazer de uma forma que torne os resultados fáceis de implementar. Muitos ambientes são muito complexos ou muito simples ou, mais tragicamente, não conseguem cobrir a profundidade daquilo a que uma equipe de ciência de dados quer ter acesso. Um cientista de dados quer um controlo preciso sobre todos os pequenos botões e mostradores de um algoritmo de aprendizagem, e eles querem escolha – a capacidade de escolher a partir de um vasto repertório de técnicas.

Um ambiente sério de low-code proporciona aos cientistas de dados flexibilidade em torno das ferramentas que utilizam. Ao mesmo tempo, permite concentrar-se nas partes interessantes do seu trabalho, abstraindo da interface de ferramentas e das diferentes versões das bibliotecas envolvidas. Um bom ambiente permite que os cientistas de dados cheguem ao código se o desejarem, mas assegura que não têm de tocar no código sempre que quiserem controlar a interna de um algoritmo. Essencialmente, isto permite a programação visual de um processo de fluxo de dados – a ciência dos dados feita para o real é, afinal, complexa.

Se feito corretamente, o ambiente de low-code continua a permitir o acesso a novas tecnologias, tornando-o prova de futuro para as inovações em curso no campo. Mas os melhores ambientes de low-code asseguram também a compatibilidade retroativa e incluem um mecanismo para facilmente embalar e implementar modelos treinados juntamente com todos os passos necessários para a transformação de dados em produção.

_{No-code para o CxO (e outros utilizadores empresariais)}

A relação entre o departamento de ciência de dados e os seus utilizadores finais é tipicamente tensa. Os empresários queixam-se frequentemente de que o pessoal dos dados trabalha lentamente, não compreende bem o verdadeiro problema e, no fim de tudo, não chega exatamente à resposta que o lado empresarial procurava. A equipe de ciência dos dados queixa-se de quanto tem de explicar e do quão subestimado é o seu trabalho árduo. Ambos os lados estão frustrados: o negócio não conseguiu o que queria, e a equipe de ciência de dados não fica com os louros.

Um ambiente de low-code também pode ajudar aqui; permite a equipe de ciência de dados discutir com os utilizadores empresariais como pretendem chegar à resposta de uma forma intuitiva e visual. Os utilizadores empresariais não precisarão compreender todos os pormenores de como os dados são misturados e que tipo de modelo ML é utilizado para fazer a previsão, mas podem compreender o fluxo dos dados e fornecer feedback instantâneo sobre quando não estão a obter as respostas que procuram. Para a equipe de ciência dos dados, o ambiente de low-code permite também uma reviravolta muito mais rápida; os ajustamentos ao fluxo de dados são rápidos e fáceis.

O resultado é que a ciência de dados já não é feita isoladamente, mas sim num esforço de colaboração, aproveitando eficientemente a perícia tanto dos especialistas em dados como dos peritos empresariais. Um ambiente adequado de low-code também lhes permite implementar rapidamente na produção e tornar os serviços API ou aplicações web resultantes tão interativos quanto necessário. Em vez de construírem uma dúzia de versões diferentes da aplicação, podem decidir simplesmente implantar uma que permita um pouco mais de interação para responder a essa dúzia de necessidades (e uma dúzia de futuras).

_{No-code para o CDO}

Assegurar que todos os dados são utilizados corretamente para ajudar a acelerar e melhorar as operações em toda a organização é ainda extremamente difícil, razão pela qual muitas organizações têm agora um “departamento de dados” central. Mas isso não resolve o problema; apenas reconhece que existe e coloca a responsabilidade de fazer com que as coisas funcionem nos ombros de alguém.

O ambiente de low-code adequado irá remover uma tonelada de fricção da forma como os dados são utilizados dentro de uma organização. Em primeiro lugar, os peritos em dados podem trabalhar em conjunto num único ambiente de colaboração. Não precisam esperar até que todos os dados e ferramentas estejam integrados num único sistema, mas podem misturar dados e ferramentas quando necessário. Em segundo lugar, eles podem – juntamente com os utilizadores empresariais – conceber soluções para os utilizadores finais reais e podem facilmente transferir essas soluções para a produção. E, em terceiro lugar, o ambiente certo de low-code também permite a uma organização assegurar a governação e a auditabilidade fora da caixa.

Mas olhando para o futuro, há mais: Tendo construído fluxos de trabalho de low-code para resolver problemas específicos, a sua documentação inerente e integrada facilita a sua utilização como plantas para problemas futuros, para que a equipe não tenha de começar sempre do zero. Se a equipe adotar a abordagem correta e modular, pode facilmente construir componentes que resolvam partes de um problema, tais como o estabelecimento de acesso bem definido aos lagos de dados da organização e o fornecimento de modelos para relatórios padronizados. E finalmente, se for um ambiente aberto, todas as novas tecnologias que estão atualmente a ser inventadas podem ainda ser utilizadas pela equipe de ciência de dados. A adoção deste ambiente aberto de low-code não se faz à custa de se manter a par das mais recentes e maiores tecnologias.

_{Um ambiente de low-code faz sentido}

Um ambiente de low-code é útil para fazer sentido de forma contínua e com sucesso a partir de dados empresariais. Permite a colaboração entre todos os interessados, permite a criação ágil de novos conhecimentos, serviços de dados e aplicações e traz consigo uma transparência inerente que é crítica para a governação.

Um ambiente eficaz de low-code também mantém todos na organização utilizando tecnologias modernas sem a constante necessidade de mudar de ferramenta, uma vez que servem como uma camada de abstração longe das complexidades da ferramenta. Esta é a propriedade mais crítica: garantir que uma organização utiliza tecnologia de dados que seja verdadeiramente à prova de futuro e sem bloqueio.

Michael Berthold é o co-fundador e CEO da KNIME.