Cerebras dichiara un aumento di cinque volte del throughput dell’inferenza

Cerebras riferisce un incremento di cinque volte

Cerebras segnala risultati iniziali che indicano un aumento di cinque volte del throughput dell’inferenza grazie alla disaggregazione.

Secondo quanto riportato, il risultato è stato ottenuto utilizzando lo stesso numero di sistemi e senza ridurre la velocità di generazione dei token. L’approccio separa le diverse fasi dell’elaborazione per aumentare la capacità complessiva di gestione delle richieste.

Si tratta di risultati iniziali dichiarati dall’azienda: il dato evidenzia il potenziale della disaggregazione per rendere più efficiente l’inferenza dei modelli di intelligenza artificiale, mantenendo invariata la velocità di generazione.

Fonte: unite.ai
Leggi la notizia originale