SambaNova Systems alcança novo marco de desempenho de IA usando Llama 3

Por Xerife Tech, 5.08.2024 às 10:11 119

[ad_1]

A SambaNova Systems, importante player em IA generativa focada em empresas, estabeleceu um novo benchmark de desempenho ao atingir uma taxa de transferência de 1.000 tokens por segundo usando o modelo de instrução de parâmetro Llama 3 8B. Essa conquista, validada pela empresa de testes independente Análise Artificialsupera o recorde anterior de 800 tokens por segundo detido pela Groq. O marco representa um avanço significativo nas capacidades dos sistemas generativos de IA.

Aplicações empresariais e implicações

O aumento na velocidade de processamento tem implicações de longo alcance para vários aplicativos corporativos. Tempos de resposta mais rápidos, melhor utilização de hardware e custos operacionais reduzidos estão entre os benefícios. Essa aceleração é particularmente vantajosa para aplicações que exigem baixa latência e alto rendimento, como agentes de IA, aplicações de IA para consumidores e interpretação de documentos de alto volume. George Cameron, cofundador da Análise Artificial, Eu disse ao VentureBeat o ritmo crescente da corrida de chips de IA e destaca as opções de hardware em expansão disponíveis para desenvolvedores de IA. Sua empresa enfatiza o desempenho real desses sistemas, trazendo um novo entusiasmo para casos de uso dependentes de velocidade.

🚀 SambaNova arrasou a NVIDIA em um novo teste de velocidade realizado por Análise Artificial. 🚀

sambanova systems alcanca novo marco de desempenho de ia usando llama 3

Samba-1 Turbo tem um desempenho incrível rápido a 1.000 t/s, um recorde mundial: https://t.co/PmDHWrFGCH.#IA #GenAI #IAEmpresarial #LLM #PNL #AIAreAll #GPUAlternativa #IAEmpresarial #Chips de IA #ChipRace foto.twitter.com/TMtUqyZWpy

— Sistemas SambaNova (@SambaNovaAI) 29 de maio de 2024

Avanços tecnológicos por trás da conquista

O ponto central do sucesso do SambaNova é sua tecnologia Reconfigurable Dataflow Unit (RDU), que o diferencia dos aceleradores de IA tradicionais, como as GPUs da Nvidia. RDUs são chips de IA especializados projetados para apoiar as fases de treinamento e inferência do desenvolvimento de modelos de IA. Eles se destacam no atendimento às demandas de carga de trabalho empresarial, incluindo o ajuste fino do modelo. A pilha de software do SambaNova desempenha um papel crucial na otimização da RDU para ganhos de desempenho, permitindo a otimização iterativa da alocação de recursos em diferentes camadas da rede neural, levando a melhorias significativas na eficiência e na velocidade.

A introdução do Samba-1-Turbo, alimentado pelo chip SN40L, foi fundamental para alcançar este recorde mundial. O Samba-1-Turbo processa 1.000 tokens por segundo com precisão de 16 bits, executando o modelo avançado Llama-3 Instruct (8B). Ao contrário das GPUs tradicionais, que muitas vezes sofrem de capacidade limitada de memória no chip e transferências frequentes de dados, a RDU da SambaNova possui um enorme conjunto de memória distribuída no chip através de suas Unidades de Memória Padrão (PMUs). Essas PMUs são posicionadas próximas às unidades de computação, minimizando a movimentação de dados e aumentando a eficiência.

Otimizando a execução de redes neurais

GPUs tradicionais executam modelos de redes neurais em um moda kernel por kernel, que aumenta a latência e subutiliza unidades de computação. Em contraste, o compilador SambaFlow mapeia todo o modelo de rede neural como um gráfico de fluxo de dados na estrutura RDU, permitindo a execução de fluxo de dados em pipeline e aumentando o desempenho. Lidar com modelos grandes em GPUs geralmente requer paralelismo de modelos complexos, exigindo estruturas e códigos especializados. A arquitetura RDU do SambaNova automatiza dados e modela o paralelismo ao mapear múltiplas RDUs em um sistema, simplificando o processo e garantindo desempenho ideal.

O avançado Meta-Lhama-3-8B-Instruir potencializa a velocidade e eficiência sem precedentes do Samba-1-Turbo. Além disso, o pacote SambaLingo do SambaNova suporta vários idiomas, incluindo árabe, búlgaro, húngaro, russo, sérvio (cirílico), esloveno, tailandês, turco e japonês, demonstrando a versatilidade e aplicabilidade global do sistema. A forte integração de hardware e software no Samba-1-Turbo é fundamental para o seu sucesso, tornando a IA generativa mais acessível e eficiente para as empresas.


[ad_2]

Comentários 0

Por favor, dê-nos o seu valioso comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *