Intel Gaudi 2 mostra performance elevate contro H100 e A100 in Stable Diffusion & Llama 2 LLMs.

Il nuovo post sul blog di Stability AI offre uno scontro sui benchmark AI tra Intel Gaudi 2 e gli acceleratori GPU H100 e A100 di NVIDIA. I benchmark mostrano che le soluzioni Intel offrono un grande valore e possono essere viste come un’alternativa rispettata per i clienti che cercano una soluzione veloce e facilmente disponibile rispetto alle offerte di NVIDIA.

Per testare l’efficienza dei propri modelli aperti in una vasta gamma di attività, l’azienda di intelligenza artificiale Stability AI ha utilizzato due dei suoi modelli, tra cui Stable Diffusion 3. Successivamente, ha eseguito un benchmark tra i più popolari acceleratori AI di NVIDIA e Intel per valutarne le prestazioni relative.

Nel nuovo capitolo di Stability Diffusion 3, un modello molto popolare di text-to-image, l’acceleratore AI Gaudi 2 di Intel ha dimostrato prestazioni eccezionali. Il modello, che varia dai parametri 800M a 8B, è stato testato utilizzando la versione con parametri 2B. Per un confronto accurato, sono stati impiegati 2 nodi con un totale di 16 acceleratori Intel e NVIDIA, impostando una dimensione batch di 16 per acceleratore e una dimensione batch fino a 512. Il risultato finale ha mostrato che l’Intel Gaudi 2 offre una velocità del 56% rispetto all’H100 GPU da 80 GB e una velocità 2,43 volte superiore rispetto alla GPU A100 da 80 GB.

La capacità HBM da 96 GB del Gaudi 2 di Intel ha anche permesso di adattarsi a una dimensione batch di 32 per acceleratore, per una dimensione batch totale di 512. Ciò ha portato a un’ulteriore velocità di 1.254 immagini al secondo, che rappresenta un aumento del 35% rispetto ai 16 batch sull’Acceleratore Gaudi 2, un incremento del 2,10x rispetto alle GPU AI H100 da 80 GB e un aumento del 3,26x rispetto alle GPU AI A100 da 80 GB.

Aumentando ulteriormente fino a 32 nodi (256 acceleratori) per entrambe le GPU Gaudi 2 e A100 da 80 GB, si osserva un aumento del 3,16x sulla soluzione Intel, che può produrre 49,4 immagini al secondo per dispositivo, rispetto alle soli 15,6 immagini al secondo della soluzione A100.

Infine, nel secondo modello, Stable Beluga 2.5 70B, una versione perfezionata di LLaMA 2 70B, i risultati sono stati notevoli. Senza ulteriori ottimizzazioni e utilizzando PyTorch, i 256 acceleratori Intel Gaudi 2 AI hanno raggiunto un throughput medio di 116.777 token al secondo. Questo risultato è stato circa il 28% più veloce della soluzione A100 da 80 GB in esecuzione con TensorRT.

Questo dimostra quanto il panorama dell’intelligenza artificiale stia diventando competitivo e che non è tanto l’hardware a fare la differenza, quanto piuttosto il software e le ottimizzazioni specifiche per ogni acceleratore. Anche se l’hardware è essenziale, avere il più recente e potente dispositivo non garantisce il successo. È fondamentale avere basi solide per gestire i numerosi core, la memoria e i vari acceleratori specifici per l’intelligenza artificiale, altrimenti si rischiano difficoltà in questo campo.

NVIDIA ha compreso da tempo l’importanza del software nel settore dell’intelligenza artificiale, il che spiega perché Intel e AMD stiano solo ora consolidando le loro suite software per l’IA. Rimane da vedere se saranno in grado di tenere il passo con il gigante verde e competere efficacemente con l’architettura CUDA/Tensor grazie a rilasci software rapidi.

Tuttavia, i benchmark attuali dimostrano che Intel sta emergendo come una soluzione valida non solo come alternativa, ma come una vera e propria alternativa competitiva alle offerte di NVIDIA. Con le future proposte di Gaudi e GPU AI, ci aspettiamo di vedere un settore AI più robusto, con diverse soluzioni tra cui i clienti possono scegliere, anziché dipendere da un’unica azienda.