Le GPU Arc A-Series trovano ora supporto all’interno di Intel Extension for PyTorch (IPEX), garantendo una maggiore velocità nelle funzionalità di intelligenza artificiale nel contesto del deep learning e dei LLM.
Le GPU Intel Arc A-Series, con l’architettura Alchemist alla base, stanno rivelando un potenziale hardware sempre più evidente, grazie agli sforzi costanti della divisione software per ottimizzare le prestazioni di gioco. Ora, l’attenzione si sposta sul mercato in crescita dell’intelligenza artificiale, dove le unità XMX integrate in queste GPU saranno sfruttate appieno grazie all’estensione Intel per PyTorch.
Con l’annuncio ufficiale di Intel, si conferma che l’IPEX (Intel Extension for PyTorch) ora offre supporto completo per le GPU Arc A-Series su sistemi operativi Windows, Linux e WSL2. Grazie a questa integrazione, le GPU Intel A-Series promettono di migliorare l’accelerazione dei modelli di deep learning, come LLM, e di introdurre nuove ottimizzazioni per l’hardware Intel. Questo consentirà prestazioni più veloci e offrirà agli utenti la possibilità di eseguire modelli PyTorch sulla gamma di GPU Alchemist.
Per coloro che posseggono una GPU Intel Arc A-Series e desiderano utilizzare il motore AI XMX all’interno di PyTorch, Intel ha reso disponibile un blog completo su come eseguire l’interfaccia Llama 2 su Windows e WSL2. Secondo il team software AI di Intel:
- GPUs are well suited for large language model (LLM) workloads as GPUs excel at massive data parallelism and high memory bandwidth. The Arc A-Series Graphics, including Arc A770 Graphics, are high-performance graphics, with up to 512 Xe Matrix Extensions (XMX) Engines, providing capability for accelerated execution of deep learning models, including LLMs.
- IPEX extends PyTorch with the latest performance optimizations for Intel hardware, taking advantage of XMX Engines on Intel discrete GPUs.
- IPEX Extension for PyTorch enables PyTorch XPU device, which allows it to easily move PyTorch model and input data to the device to execute on Intel discrete GPU with GPU acceleration.
- The latest release of IPEX (v2.1.10+xpu) officially supports Arc A-Series Graphics on WSL2, native Windows and native Linux.
- Demonstrated running Llama 2 7B and Llama 2-Chat 7B inference on Arc A770 Graphics on Windows and WSL2 via Ipex.
- To run Llama 2, or any other PyTorch models, on Arc A-Series GPUs, simply add a few additional lines of code to import intel_extension_for_pytorch and .to(“xpu”) to move model and data to device to execute on Arc A-Series GPU.
L’espansione del supporto alle GPU Arc A-Series da parte di Intel è un passo positivo nel segmento di mercato in cui NVIDIA e AMD dominano, offrendo un rapido supporto AI su hardware orientato al consumatore.
0 commenti