NVIDIA Maxine
SDK acelerado com recursos de AI de última geração para a construção de aplicações virtuais de colaboração e criação de conteúdo.
O que é o NVIDIA Maxine?
NVIDIA Maxine é um SDK acelerado por GPU com recursos de AI de última geração para que os desenvolvedores criem aplicações de colaboração e criação de conteúdo virtuais, como videoconferência e streaming ao vivo.
Os SDKs AI da Maxine, efeitos de vídeo, efeitos de áudio e realidade aumentada (AR), são altamente otimizados e incluem recursos modulares que podem ser encadeados em pipelines de ponta a ponta para oferecer o melhor desempenho possível em GPUs, tanto em PCs quanto em data centers. O Maxine também pode ser usado com o NVIDIA Riva, um SDK para construir aplicações de AI de conversação, para oferecer recursos baseados em linguagem de classe mundial, como transcrição e tradução.
Os desenvolvedores podem adicionar efeitos de AI no Maxine em suas aplicações existentes ou desenvolver novos pipelines do zero usando o NVIDIA DeepStream, um SDK para criar análises de vídeo inteligentes e o NVIDIA Video Codec, um SDK para codificação, decodificação e transcodificação acelerada.
Vantagens
Recursos de AI de Última Geração
Modelos pré-treinados de classe mundial para recursos de alta qualidade de áudio, vídeo e realidade aumentada (AR).
Desempenho de AI em Tempo Real
Recursos de AI acelerados e otimizados para inferência em tempo real nas GPUs.
Solução de Ponta a Ponta
Pipelines completos de ponta a ponta para decodificação, transcodificação, codificação, AI conversacional, visão computacional, streaming de vídeo e análises de vídeo.
A Touchcast utiliza renderização de última geração e tecnologias de IA para a execução de belos eventos online com impressionantes locais virtuais realistas e recursos de colaboração em tempo real. Como líder em impulsionar a próxima era da computação, o NVIDIA Maxine está pavimentando o futuro das comunicações de vídeo, um futuro em que a AI e as redes neurais aprimoram e enriquecem o conteúdo de maneiras totalmente novas. Ao trabalhar com a NVIDIA, o Touchcast pode continuar na vanguarda da construção das experiências mais incríveis do mundo para seus clientes.
Edo Segal, Fundador e CEO
O SoftBank Corp. está empenhado em fornecer a melhor experiência de comunicação possível e o Maxine melhora significativamente a clareza e a qualidade da comunicação. Com recursos como remoção de ruído de fundo de áudio e super resolução de vídeo, nossos usuários veem e ouvem uns aos outros com mais clareza, tornando suas comunicações mais eficientes e eficazes.
Ryuji Wakikawa, Vice-Presidente, Head da Divisão de Tecnologia Avançada
A Pexip sempre expandiu os limites das comunicações de vídeo com sua plataforma de conferência virtualizada distribuída. Estamos explorando como os recursos do NVIDIA Maxine, como remoção de ruído de áudio e fundo virtual, podem oferecer suporte a experiências de videoconferência premium para empresas de todos os tamanhos. Junto com a NVIDIA, esperamos fornecer a próxima geração de comunicações de vídeo com tecnologia de AI, criando reuniões virtuais que são melhores do que as presenciais.
Giles Chamberlin, CTO e Cofundador
Acreditamos que a AI em tempo real pode tirar o trabalho da videoconferência para que as pessoas possam se encontrar sem distrações. O NVIDIA Maxine é a primeira plataforma que oferece suporte aos recursos de videoconferência AI em tempo real. O Maxine permite que nossos usuários se comuniquem de forma mais consistente e eficaz, focando no conteúdo da discussão ao invés das distrações.
Julian Green, CEO
O empolgante desempenho de cancelamento de ruído do SDK Maxine Audio provou ser fácil de usar e incrivelmente poderoso. Pretendemos usar o Maxine para permitir que nossos clientes tenham conversas claras e inteligíveis em situações que nunca antes pensamos ser possíveis.
John Chow, Gerente de Produto
Ao processar nossos streams de vídeo com Maxine no cloud, podemos oferecer aos nossos clientes habilidades avançadas, sem que eles tenham que investir em equipamentos caros. De acordo com nossos usuários, a qualidade da saída de vídeo do Maxine, aprimorado com recursos de AI, é a melhor em todo o mercado. Trabalhar com o SDK Maxine nos permitiu criar soluções de última geração para nossos clientes, em tempo recorde.
Tzafrir Rehan, CTO
O Maxine dá aos nossos usuários acesso ao rastreamento e remoção de fundo do corpo, em tempo real, de última geração. Eles podem rastrear e mascarar os artistas em uma configuração de performance ao vivo, que por sua vez permite um mundo inteiro de casos de uso criativos e todos usando apenas uma alimentação de câmera padrão, eliminando os desafios de soluções de rastreamento de hardware especial, que é uma virada de jogo real. A integração do SDK Maxine foi muito fácil e levou apenas alguns dias para ser concluída.
Matt Swoboda, Fundador e Director
Os recursos de AI do NVIDIA Maxine nos permitem aprimorar a qualidade de produção de nossos streamers de games, começando com a remoção de ruído dinâmica e inteligente para microfones para garantir uma fala nítida durante as transmissões. Também planejamos integrar outros recursos, como redução de ruído e aumento de escala de vídeo, bem como remoção de fundo sem uma tela verde em um futuro próximo.
Miguel Molina, Gerente Técnico de Produto
SDKs Maxine
SDK de Efeitos de Vídeo
O SDK de Efeitos de Vídeo do Maxine permite efeitos visuais baseados em AI que funcionam com entrada de webcam padrão e podem ser facilmente integrados em videoconferências e canais de criação de conteúdo. Os modelos de deep learning subjacentes são otimizados usando o NVIDIA® TensorRT™ para inferência de alto desempenho, possibilitando aos desenvolvedores aplicar vários efeitos em aplicações em tempo real.
Os principais recursos incluem:
- Super resolução: Gera um vídeo com detalhes aprimorados usando redes neurais de AI que reduz artefatos e preserva a textura com escalonamento de alta qualidade de até 4 vezes.
- Upscaler: Oferece alto rendimento e até 4 vezes de vídeo dimensionado de alta qualidade com um parâmetro de nitidez ajustável.
- Redução de artefato: remove artefatos de compressão do vídeo codificado, preservando os detalhes originais.
- Remoção de ruído de vídeo: remove o ruído de câmera de baixa luz introduzido no processo de captura de vídeo, preservando os detalhes.
- Plano de fundo virtual: segmenta uma pessoa e aplica remoção, substituição ou desfoque de plano de fundo com tecnologia de IA.
SDK de Realidade Aumentada
O SDK de Realidade Aumentada oferece rastreamento facial 3D em tempo real baseado em AI e estimativa de pose corporal com base em um feed de câmera da web padrão. Os desenvolvedores podem criar efeitos AR exclusivos, como sobrepor conteúdo 3D em um rosto, dirigir personagens 3D e interações virtuais em tempo real.
Os principais recursos incluem:
- Rastreamento de rosto: detecta rostos humanos em imagens e vídeos e especifica a localização e o tamanho da caixa delimitadora.
- Rastreamento de pontos de referência do rosto: reconhece características e contornos faciais usando 126 pontos-chave e rastreia a pose da cabeça e a deformação facial devido ao movimento e expressão da cabeça em três graus de liberdade em tempo real.
- Malha facial: representa um rosto humano com uma malha 3D com até 3.000 vértices e seis graus de liberdade.
- Estimativa da pose do corpo: prevê e rastreia 34 pontos-chave do corpo humano em 2D e 3D. Normalmente usado em reconhecimento de atividade, transferência de movimento e interações virtuais em tempo real.
- Contato com os olhos (inscreva-se para acesso antecipado): Simula o contato com os olhos estimando e alinhando o olhar com a câmera.
- Audio2Face (em breve): Anima um rosto digital 2D ou 3D com alta fidelidade com base apenas em uma entrada de áudio.
SDK de Efeitos de Áudio
O SDK de Efeitos de Áudio oferece algoritmos de aprimoramento de qualidade de áudio baseados em AI, melhorando a qualidade de conversação de ponta a ponta para áudio de banda estreita, banda larga e banda ultralarga.
Modelos de IA otimizados de alto desempenho permitem que milhares de streams de áudio sejam processados em tempo real por GPU, melhorando a qualidade do áudio em até dois pontos de pontuação média de opinião (MOS) em métricas de qualidade subjetiva e objetiva, como Avaliação Perceptual da Fala Qualidade (PESQ) e Análise Perceptual da Qualidade Escuta Objetiva (POLQA). Em aplicações de desktop, os modelos otimizados permitem que várias aplicações, como games, sejam executados simultaneamente com impacto mínimo na qualidade de ambos.
Os desenvolvedores podem se integrar a aplicações Windows e Linux independentes para processar áudio de microfone e alto-falante ou em servidores de alta densidade para processar milhares de fluxos de áudio por servidor.
Os principais recursos incluem:
- Remoção de ruído (NR): remove vários ruídos de fundo comuns usando modelos de AI de última geração, preservando a voz natural do falante.
- Remoção de eco da sala (REC): remove reverberações de áudio usando modelos de AI de última geração, restaurando a clareza da voz de um locutor.
- Super resolução de áudio (inscreva-se para acesso antecipado): Melhora a qualidade de áudio em tempo real aumentando a amostragem do fluxo de entrada de áudio de 8kHz para 16kHz e de 16kHz para 48kHz de taxa de amostragem.
- Cancelamento de eco acústico (inscreva-se para acesso antecipado): Cancela o eco do dispositivo acústico em tempo real do fluxo de áudio de entrada. Com a tecnologia baseada em AI, um cancelamento mais eficaz é obtido do que com o processamento de sinal digital tradicional.
Usando esses recursos, os desenvolvedores também podem criar múltiplos efeitos inovadores, combinando NR e REC, ao mesmo tempo que oferece desempenho otimizado e latência em tempo real.
Projeto Maxine Baseia-se em Poderosos SDKs NVIDIA
Explore tecnologias que se integram ao pipeline modular, personalizável e escalonável do Maxine. Por exemplo, a colaboração com públicos globais pode ser melhorar significativamente quando se fala em seu idioma. Para permitir uma melhor comunicação e compreensão, o Projeto Maxine integra tradução em tempo real do NVIDIA Riva e conversão de texto em voz com animação fotográfica "retrato ao vivo" e contato visual em tempo real. O Projeto Maxine é uma aplicação de referência para o Omniverse Avatar, uma plataforma de tecnologia para geração de avatares AI interativos.
Análise de Vídeo e Imagem
O SDK DeepStream oferece um pipeline de streaming de ponta a ponta para processamento de múltiplos sensor baseado em AI e compreensão de vídeo e imagem.
Codificação e Decodificação de Vídeo
O SDK de Codificação de Vídeo é um amplo conjunto de APIs, incluindo ferramentas de alto desempenho, amostras e documentação, para codificação e decodificação de vídeo acelerada por hardware no Windows e Linux. OAI Face Codec (em breve) permitirá vídeo mais suave e redução de largura de banda em até 10 vezes.
AI Conversacional
O SDK Riva é um framework de aplicação para serviços de AI conversacional multimodal que oferece desempenho em tempo real em GPUs.
Recursos
Reinventando Aplicações de Vídeo
Veja como os desenvolvedores de Notch, Headroom, Be.Live e Touchcast estão usando NVIDIA Maxine.
Novas Tecnologias de AI
Leia sobre as ferramentas de software de desenvolvedor mais recentes lançadas no GTC 2021.
Apresentação de Abertura do GTC 2021
Saiba mais sobre a atualização mais recente para NVIDIA Maxine do CEO da NVIDIA, Jensen Huang.
Últimas Notícias sobre Maxine
Leia como os principais provedores de colaboração, criação de conteúdo e streaming estão usando o NVIDIA Maxine.
O download do NVIDIA Maxine é gratuito para os membros do Programa de Desenvolvedores da NVIDIA.