Avanço em inferência da NVIDIA torna a IA de conversação mais esperta e interativa, da nuvem até a borda

A NVIDIA Enterprise lança o TensorRT ™ 8, a oitava geração do software de Inteligência Artificial da companhia, que reduz o tempo de inferência pela metade para consultas de idioma, permitindo que os desenvolvedores construam os melhores mecanismos de busca, recomendações de anúncios e chatbots do mundo, disponibilizando-os da nuvem à borda.

As otimizações do TensorRT 8 oferecem velocidade recorde para aplicações de linguagem, executando o BERT-Large, um dos modelos de machine learning transformer mais usados do mundo, em 1,2 milissegundos. No passado, as empresas tinham que reduzir o tamanho do modelo, o que apresentava resultados significativamente menos precisos. Agora, com o TensorRT 8, as empresas podem dobrar ou triplicar o tamanho do modelo para obter drásticas melhorias em precisão.

"Os modelos de IA estão ficando cada vez mais complexos, e a demanda mundial por aplicações em tempo real que usam Inteligência Artificial também está aumentando rapidamente. Por isso, é fundamental que as empresas implantem soluções de inferência de última geração. No último ano, o número de empresas que usaram o TensorRT dobrou, e o número de desenvolvedores triplicou, o que mostra a velocidade e a precisão incomparáveis que podem ser garantidas com essa tecnologia", afirma Greg Estes, vice-presidente de programas de desenvolvedores da NVIDIA.

Em cinco anos, mais de 350 mil desenvolvedores de 27,5 mil empresas em diversas áreas, como saúde, setor automotivo, finanças e varejo, fizeram download do TensorRT 2,5 milhões de vezes. As aplicações TensorRT podem ser implantados em data centers hyperscale, embutidos e em plataformas de produtos automotivos.

Confira as inovações em inferência

Além das otimizações do transformador, os avanços do TensorRT 8 na inferência de IA são possíveis por meio de dois outros recursos principais:

A dispersão é uma técnica nova de desempenho das GPUs da arquitetura NVIDIA Ampere que aumenta a eficiência, permitindo que os desenvolvedores acelerem as redes neurais e reduzam as operações computacionais.

O treinamento com quantização permite que os desenvolvedores usem modelos treinados para executar inferências com a precisão INT8 sem reduzir a exatidão. Com isso, a sobrecarga da computação e do armazenamento diminui significativamente, garantindo inferências eficientes em Tensor Cores.

Amplo suporte da indústria

Líderes de vários setores adotaram o TensorRT graças à sua capacidade na inferência de deep learning em conversações à base de IA e em sorte de outros campos.

A Hugging Face, líder em IA de código aberto e uma confiável parceira dos maiores fornecedores de serviços de IA do mundo em vários setores, está colaborando com a NVIDIA para ajudar a lançar aplicações inovadoras de IA de conversação que permitem análise de texto, pesquisa neural e aplicativos de conversação em escala.

"Estamos trabalhando de perto com a NVIDIA para oferecer o melhor desempenho possível para modelos de última geração nas GPUs NVIDIA. A API Hugging Face Accelerated Inference já oferece uma aceleração de até 100 vezes para modelos de transformadores com GPUs NVIDIA A100. Com o TensorRT 8, a Hugging Face atingiu uma latência de inferência inferior a 1ms no BERT. Esperamos oferecer esse desempenho aos nossos clientes ainda neste ano", conta Jeff Boudier, vice-presidente de produtos da Hugging Face.

A GE Healthcare, uma das principais inovadoras mundiais em tecnologias médicas, diagnósticos e soluções digitais, usa o TensorRT para ajudar médicos a oferecer atendimento da mais alta qualidade por meio de soluções inteligentes em saúde.

"Nos exames de ultrassom, os médicos passam muito tempo selecionando e avaliando imagens. No projeto de P&D do lançamento da linha Vivid Patient Care Elevated, precisávamos de um processo mais eficiente e implementamos a detecção automatizada de imagens do coração no sistema Vivid E95. O algoritmo de reconhecimento de imagens do coração seleciona as melhores opções para análise das contrações do órgão. Graças aos recursos de inferência em tempo real, o TensorRT, melhorou o desempenho do algoritmo de detecção de imagens e diminuiu o tempo de lançamento no mercado durante o projeto de P&D", afirma Erik Steen, líder de engenharia de ultrassom cardiovascular da GE Healthcare.

Disponibilidade

O TensorRT 8 já está disponível gratuitamente para os membros do Programa de Desenvolvedores NVIDIA. As versões mais atuais e livres dos plug-ins, analisadores e exemplos também estão disponíveis no repositório do TensorRT no GitHub.

Sobre a NVIDIA

A invenção da GPU pela NVIDIA (NASDAQ: NVDA), em 1999, estimulou o crescimento do mercado de games para PC e redefiniu a computação gráfica moderna, computação de alto desempenho e Inteligência Artificial. O trabalho pioneiro da empresa em computação acelerada e IA tem revolucionado setores de trilhões de dólares, como transporte, saúde e manufatura, enquanto incentiva o crescimento de muitos outros mercados.