Logo
Imprimir esta página

CodeFlare reduz substancialmente o tempo para configurar, executar e escalar testes de aprendizado de máquina

Quando aplicado a estrutura para analisar e otimizar aproximadamente 100.000 pipelines para treinar modelos de aprendizado de máquina, o CodeFlare reduziu o tempo de execução de cada pipeline de 4 horas para 15 minutos.

Junto com a proliferação de análises de aprendizado de máquina e tecnologias de dados em quase todos os setores, há uma complexidade crescente de tarefas. Ter conjuntos de dados maiores e uma quantidade maior de sistemas para pesquisas baseadas em IA é ótimo, mas enquanto esses fluxos de trabalho se tornam cada vez mais elaborados, mais tempo eles requerem dos pesquisadores para sua configuração e, com isso, menos tempo para conduzirem ciência de dados.

IBM anunciou o CodeFlare , uma estrutura de código aberto destinada a simplificar a integração e o dimensionamento eficiente de big data e fluxos de trabalho de IA na nuvem híbrida. O CodeFlare é construído em Ray, uma estrutura emergente de computação distribuída de código aberto para aplicativos de aprendizado de máquina. O CodeFlare estende os recursos do Ray e adiciona elementos específicos para facilitar o dimensionamento do fluxo de trabalho.

Atualmente, para criar um modelo de aprendizado de máquina, pesquisadores e desenvolvedores devem primeiro treinar e otimizar este modelo. Essas tarefas podem envolver limpeza de dados, extração de recursos e otimização de modelo. O CodeFlare simplifica esse processo usando uma interface baseada em Python, para o que é chamado de pipeline, que simplifica as etapas de integração, paralelização e compartilhamento de dados. O objetivo da nova estrutura é unificar fluxos de pipeline em várias plataformas sem que os cientistas de dados tenham que aprender uma nova linguagem de fluxo de trabalho.

Os pipelines CodeFlare são executados facilmente na nova plataforma serverless da IBM, IBM Cloud Code Engine e Red Hat OpenShift. Os usuários podem implementá-lo em quase qualquer lugar, estendendo os benefícios da plataforma serverless para cientistas de dados e pesquisadores de IA. Também é mais fácil integrar e fazer a ponte com outros ecossistemas nativos na nuvem, fornecendo adaptadores para acionadores de eventos (como a chegada de um novo arquivo), carregando e particionando dados de uma ampla gama de fontes, como armazenamentos de objetos em nuvem, data lakes e sistemas de arquivos distribuídos.

Com o CodeFlare, espera-se que os desenvolvedores não tenham que duplicar seus esforços ou enfrentar a dificuldade de determinar o que os colegas fizeram no passado para colocar um determinado pipeline em execução. Com o CodeFlare, a IBM visa fornecer aos cientistas de dados ferramentas e APIs mais avançadas que possam ser utilizadas de forma mais integrada, permitindo que se concentrem mais em suas pesquisas em andamento e se desliguem da complexidade de configuração e implementação.

E já estamos vendo isso. Por exemplo, quando um usuário aplicou a estrutura para analisar e otimizar aproximadamente 100.000 pipelines para treinar modelos de aprendizado de máquina, o CodeFlare reduziu o tempo de execução de cada pipeline de 4 horas para 15 minutos. Com outros usuários, o CodeFlare diminuir meses de desenvolvimento e permitir que os desenvolvedores lidem com problemas de dados cada vez maiores.

A IBM oferece o open-sourcing CodeFlare junto com uma série de postagens de blog sobre como ele funciona e sobre o que você precisa saber para começar. E este é apenas o começo da jornada que a IBM planeja fazer com o CodeFlare. Começou a aplicar essa tecnologia em temas que estão construindo na IBM, em sua própria pesquisa de inteligência artificial. Continuarão a trabalhar na evolução do CodeFlare para suportar pipelines cada vez mais complexos. Estão planejando fornecer níveis aprimorados de tolerância a falhas e consistência, bem como melhorar a integração e gerenciamento de dados para fontes externas e adicionar suporte para visualização de pipelines.


Compartilhe:: Participe do GRUPO SEGS - PORTAL NACIONAL no FACEBOOK...:
 
https://www.facebook.com/groups/portalnacional/

<::::::::::::::::::::>
IMPORTANTE.: Voce pode replicar este artigo. desde que respeite a Autoria integralmente e a Fonte...  www.segs.com.br
<::::::::::::::::::::>
No Segs, sempre todos tem seu direito de resposta, basta nos contatar e sera atendido. -  Importante sobre Autoria ou Fonte..: - O Segs atua como intermediario na divulgacao de resumos de noticias (Clipping), atraves de materias, artigos, entrevistas e opinioes. - O conteudo aqui divulgado de forma gratuita, decorrem de informacoes advindas das fontes mencionadas, jamais cabera a responsabilidade pelo seu conteudo ao Segs, tudo que e divulgado e de exclusiva responsabilidade do autor e ou da fonte redatora. - "Acredito que a palavra existe para ser usada em favor do bem. E a inteligencia para nos permitir interpretar os fatos, sem paixao". (Autoria de Lucio Araujo da Cunha) - O Segs, jamais assumira responsabilidade pelo teor, exatidao ou veracidade do conteudo do material divulgado. pois trata-se de uma opiniao exclusiva do autor ou fonte mencionada. - Em caso de controversia, as partes elegem o Foro da Comarca de Santos-SP-Brasil, local oficial da empresa proprietaria do Segs e desde ja renunciam expressamente qualquer outro Foro, por mais privilegiado que seja. O Segs trata-se de uma Ferramenta automatizada e controlada por IP. - "Leia e use esta ferramenta, somente se concordar com todos os TERMOS E CONDICOES DE USO".
<::::::::::::::::::::>

Copyright Clipping ©2002-2024 - SEGS Portal Nacional de Seguros, Saúde, Veículos, Informática, Info, Ti, Educação, Eventos, Agronegócio, Economia, Turismo, Viagens, Vagas, Agro e Entretenimento. - Todos os direitos reservados.- www.SEGS.com.br - IMPORTANTE:: Antes de Usar o Segs, Leia Todos os Termos de Uso.
SEGS é compatível com Browsers Google Chrome, Firefox, Opera, Psafe, Safari, Edge, Internet Explorer 11 - (At: Não use Internet Explorer 10 ou anteriores, além de não ter segurança em seu PC, o SEGS é incompatível)
Por Maior Velocidade e Mais Segurança, ABRA - AQUI E ATUALIZE o seu NAVEGADOR(Browser) é Gratuíto