Requisiti delle GPU per i Large Language Models

Cosa sono i Large Language Models?

I Large Language Models (LLM) sono reti neurali avanzate che lavorano con enormi quantità di testo. Puoi usarli per generare testo, riassumere informazioni e interpretare il linguaggio umano. Esempi includono GPT di OpenAI e PaLM di Google. Questi modelli si basano su miliardi di parametri, cioè valori matematici che guidano come il modello comprende ed elabora il testo. A causa della loro dimensione e complessità, gli LLM necessitano di grande potenza di calcolo, specialmente durante il training e nelle attività su larga scala.

Come le GPU supportano gli LLM?

Le GPU, ovvero le Graphics Processing Unit, gestiscono molti calcoli contemporaneamente. Mentre le CPU (Central Processing Unit) sono ottime per compiti sequenziali, le GPU possono eseguire migliaia di operazioni in parallelo. Questa elaborazione parallela è necessaria per le moltiplicazioni di matrici e le operazioni sui tensori richieste dagli LLM. Utilizzando le GPU, puoi velocizzare sia il training (addestrare il modello con i dati) sia l’inferenza (far sì che il modello faccia previsioni o generi testo).

Training vs. Inferenza: esigenze GPU diverse

• Training: Quando costruisci un LLM da zero o lo adatti con nuovi dati, usi molte risorse. Addestrare un modello con miliardi di parametri spesso richiede molte GPU di fascia alta. Ogni GPU deve avere molta memoria video (VRAM) e accesso rapido alla memoria. Ad esempio, addestrare un modello con 7 miliardi di parametri in precisione a 16 bit può richiedere oltre 16GB di memoria GPU. Modelli più grandi, come quelli da 30 miliardi di parametri o più, possono necessitare di 24GB o oltre per GPU.
• Inferenza: Quando usi un LLM già addestrato per rispondere a domande o generare testo, hai bisogno di meno potenza di calcolo, ma le GPU veloci sono comunque utili—specialmente con modelli grandi o compiti in tempo reale. Per un’inferenza efficiente sono necessari almeno 8–16GB di VRAM, a seconda delle dimensioni e dell’ottimizzazione del modello.

Requisiti hardware chiave per gli LLM

• VRAM (memoria video): La VRAM memorizza i pesi e i dati necessari al modello. Senza sufficiente VRAM, puoi incorrere in errori o rallentamenti.
• Prestazioni di calcolo (FLOPS): Le operazioni in virgola mobile al secondo (FLOPS) misurano la velocità di calcolo della GPU. Più FLOPS significa training e inferenza più rapidi.
• Larghezza di banda della memoria: Indica la velocità con cui i dati si spostano tra la memoria e le unità di elaborazione della GPU. Maggiore larghezza di banda riduce i colli di bottiglia.
• Core specializzati: Alcune GPU, come quelle NVIDIA, hanno core extra come Tensor e CUDA core. Questi aiutano a eseguire i compiti di deep learning in modo più efficiente e migliorano le prestazioni negli LLM.

Fattori tecnici critici nella scelta di una GPU per LLM

Capacità di VRAM (Memoria Video)

I large language models richiedono molta VRAM per memorizzare i pesi del modello, mantenere le attivazioni e gestire l’elaborazione parallela dei dati. Se vuoi fare inferenza con modelli da 7 a 13 miliardi di parametri, di solito servono almeno 16GB di VRAM. I modelli da 30 miliardi di parametri o più spesso richiedono 24GB o oltre, specialmente usando la precisione FP16. Se prevedi di addestrare grandi modelli o eseguire più istanze contemporaneamente, potresti aver bisogno di 40GB, 80GB o anche più VRAM. Le GPU da data center offrono questi livelli di memoria.

Prestazioni di calcolo (FLOPS e Core specializzati)

La capacità di una GPU di gestire i carichi di lavoro LLM dipende dai suoi FLOPS (operazioni in virgola mobile al secondo). Più FLOPS significa maggiore velocità di elaborazione. Molte GPU moderne includono anche hardware specializzato, come i Tensor Core di NVIDIA o i Matrix Core di AMD. Questi core velocizzano le moltiplicazioni di matrici usate nei modelli transformer. Cerca GPU che supportino operazioni a precisione mista come FP16, bfloat16 e int8. Queste funzioni aumentano il throughput e aiutano a risparmiare memoria.

Larghezza di banda della memoria

Una banda di memoria elevata permette alla GPU di spostare rapidamente i dati tra la memoria e le unità di elaborazione. Per eseguire gli LLM in modo efficiente, è desiderabile una banda superiore a 800 GB/s. GPU come NVIDIA A100/H100 o AMD MI300 raggiungono queste velocità. Una banda elevata aiuta a evitare colli di bottiglia nei trasferimenti dati, soprattutto con modelli grandi o batch di dimensioni elevate. Se la banda è troppo bassa, può rallentare sia il training che l’inferenza.

Efficienza energetica e raffreddamento

La quantità di energia consumata da una GPU e il calore generato aumentano con le prestazioni. Le GPU da data center possono richiedere da 300 a 700 watt o più, quindi necessitano di sistemi di raffreddamento robusti. Le GPU consumer di solito assorbono tra 350 e 450 watt. Una GPU efficiente riduce i costi operativi e la necessità di infrastrutture complesse. Questo è utile per carichi di lavoro grandi o continuativi.

Supporto PCIe e NVLink

Se vuoi utilizzare più di una GPU o il tuo modello è troppo grande per la VRAM di una sola GPU, servono interconnessioni rapide. PCIe Gen4 e Gen5 sono le opzioni più comuni, mentre NVLink è disponibile su alcune GPU data center NVIDIA. Queste tecnologie permettono alle GPU di comunicare rapidamente e condividere la memoria, così puoi eseguire training o inferenza in parallelo su più GPU.

Supporto per quantizzazione e precisione

Molti workflow LLM ora usano modelli quantizzati, che impiegano formati a precisione ridotta come int8 o int4. Questi formati aiutano a ridurre l’uso di memoria e velocizzano l’elaborazione. Cerca GPU che supportino e accelerino l’aritmetica a bassa precisione. I Tensor Core di NVIDIA e i Matrix Core di AMD offrono ottime prestazioni per queste operazioni.

Tabella riassuntiva: Specifiche chiave da valutare

Quando scegli una GPU per i large language models, devi bilanciare questi fattori tecnici con il tuo budget e il tipo di lavoro che vuoi svolgere. Concentrati su VRAM e banda di memoria per gestire modelli grandi. Cerca buone prestazioni di calcolo e supporto della precisione per ottenere elaborazioni più rapide ed efficienti.

Confronto tra le migliori GPU per LLM nel 2024

Confronto scientifico delle GPU per compiti LLM

Quando scegli una GPU per i large language models (LLM), devi considerare dimensione della memoria, prestazioni di calcolo, banda e compatibilità con i tuoi strumenti software. Qui trovi un confronto diretto delle migliori GPU per LLM nel 2024, basato su benchmark e dettagli hardware.

GPU Data Center ed Enterprise

NVIDIA A100

• VRAM: Disponibili versioni da 40 GB o 80 GB di memoria HBM2e.
• Larghezza di banda: Fino a 1,6 TB/s.
• Prestazioni di calcolo: Fino a 19,5 TFLOPS (FP32) e 624 TFLOPS (operazioni Tensor).
• Punti di forza: Gestisce carichi paralleli molto efficientemente e supporta Multi-Instance GPU (MIG) per suddividere i compiti. Ottima sia per training che per l’esecuzione di modelli molto grandi.
• Utilizzo principale: Laboratori di ricerca e ambienti enterprise.

NVIDIA RTX 6000 Ada Generation

• VRAM: 48 GB di memoria GDDR6.
• Larghezza di banda: 900 GB/s.
• Prestazioni di calcolo: Fino a 40 TFLOPS (FP32).
• Punti di forza: Grande capacità di memoria, adatta a inferenza e training impegnativi.
• Utilizzo principale: Aziende e ambienti produttivi.

AMD Instinct MI100

• VRAM: 32 GB di memoria HBM2.
• Larghezza di banda: 1,23 TB/s.
• Prestazioni di calcolo: 23,1 TFLOPS (FP32).
• Punti di forza: Ottima banda e compatibilità con framework open-source e ROCm.
• Utilizzo principale: Data center e progetti di ricerca, soprattutto con software ROCm.

Intel Xe HPC

• VRAM: 16 GB HBM2 per tile, con supporto multi-tile.
• Larghezza di banda: Banda elevata, competitiva con le altre migliori GPU (i numeri esatti possono variare).
• Prestazioni di calcolo: Progettata per alte prestazioni in HPC e AI.
• Punti di forza: Porta una nuova opzione sul mercato con un ecosistema software in crescita.
• Utilizzo principale: HPC e carichi LLM sperimentali.

GPU Consumer e Prosumer

Specifiche NVIDIA RTX 4090

Organize is a system to keep your desk tidy and photo-worthy all day long. Procrastinate your work while you meticulously arrange items into dedicated trays.

VRAM

24 GB di memoria GDDR6X

Larghezza di banda

1.008 GB/s

Prestazioni di calcolo

Circa 82,6 TFLOPS (FP32)

Punti di forza

Migliori prestazioni per i consumatori; ideale per inferenza locale LLM e fine-tuning

Utilizzo principale

Ricercatori ed esperti per compiti locali potenti

Specifiche NVIDIA RTX 3090

Organize is a system to keep your desk tidy and photo-worthy all day long. Procrastinate your work while you meticulously arrange items into dedicated trays.

VRAM

24 GB di memoria GDDR6X

Larghezza di banda

936,2 GB/s

Prestazioni di calcolo

35,58 TFLOPS (FP32)

Punti di forza

Ampia disponibilità e prestazioni comprovate

Utilizzo principale

Appassionati e sviluppatori che cercano una soluzione economica

Specifiche NVIDIA TITAN V

Organize is a system to keep your desk tidy and photo-worthy all day long. Procrastinate your work while you meticulously arrange items into dedicated trays.

VRAM

12 GB di memoria HBM2

Larghezza di banda

652,8 GB/s

Prestazioni di calcolo

14,9 TFLOPS (FP32)

Punti di forza

Supporta modelli di media dimensione; VRAM limitata per gli LLM più recenti

Utilizzo principale

Utenti attenti ai costi o al mondo educativo

Specifiche AMD Radeon RX 7900 XTX

Organize is a system to keep your desk tidy and photo-worthy all day long. Procrastinate your work while you meticulously arrange items into dedicated trays.

VRAM

24 GB di memoria GDDR6

Larghezza di banda

960 GB/s

Prestazioni di calcolo

Ottime prestazioni in gaming e alcuni carichi LLM

Punti di forza

Miglior scelta AMD per i consumatori; ambiente software meno maturo

Utilizzo principale

Appassionati e sperimentatori open-source

Approfondimenti sui benchmark

• GPU Enterprise (A100, RTX 6000, MI100): Gestiscono modelli grandi (30B+ parametri) e supportano training lunghi. L’alta VRAM e banda aiutano nei workflow paralleli.
• GPU Consumer (RTX 4090, 3090): Utili per inferenza locale e fine-tuning su LLM più piccoli o quantizzati (fino a circa 13B parametri, salvo forti ottimizzazioni). Ottimo rapporto qualità/prezzo.
• AMD e Intel: AMD MI100 funziona bene nei data center, ma il supporto ROCm per i framework LLM è ancora in sviluppo. Intel Xe HPC promettente, ma poco diffusa al momento.
• GPU più vecchie (TITAN V, RTX 3090): Utili per l’educazione o lavori a basso budget. Possono non avere abbastanza VRAM per gli LLM attuali più grandi.

Conclusioni pratiche

Per il training di ricerca o enterprise, scegli NVIDIA A100 o RTX 6000 per gestire grandi LLM. Se vuoi la migliore GPU consumer per inferenza locale o prototipazione, punta sulla RTX 4090. AMD MI100 offre un’opzione open-source per data center, soprattutto se vuoi usare ROCm. Abbina sempre la GPU alla dimensione dell’LLM e al tipo di compito per ottenere risultati e efficienza ottimali.

Abbinare la scelta della GPU agli scenari d’uso LLM

Allineare le caratteristiche della GPU ai carichi LLM

Quando selezioni una GPU per i large language models (LLM), considera il tipo di lavoro che intendi svolgere. Questo può includere training, inferenza (utilizzare un modello già addestrato per fare previsioni) o entrambi. Ogni attività ha esigenze specifiche in termini di potenza di calcolo e memoria, che guideranno la scelta dell’architettura GPU.

Training dei Large Language Models

Il training degli LLM richiede molte risorse. Servono GPU con grandi quantità di VRAM—di solito 24GB o più per GPU—ottime capacità di calcolo e alta banda di memoria. Molti utilizzano più GPU collegate tramite NVLink o PCIe per gestire grandi dataset e modelli in parallelo. Questa configurazione riduce notevolmente i tempi di training. Le GPU data center come NVIDIA H100, A100 o AMD MI300 sono ideali per questi compiti. Supportano il training distribuito su molte GPU e offrono funzioni come correzione degli errori e virtualizzazione hardware.

Inferenza e fine-tuning

L’inferenza è l’uso di un LLM addestrato per generare testo o analizzare dati. Non richiede tanta potenza come il training, ma VRAM e prestazioni di calcolo elevate aiutano comunque, soprattutto con modelli grandi o non compressi. Il fine-tuning consiste nell’adattare un modello pre-addestrato usando un dataset più piccolo. Spesso puoi farlo su GPU consumer di fascia alta come NVIDIA RTX 4090, 3090 o RTX 6000 Ada, che hanno 16–24GB di VRAM. Queste GPU offrono ottime prestazioni in rapporto al prezzo e sono indicate per ricercatori, piccole imprese e appassionati che vogliono eseguire compiti locali o testare modelli.

Single-GPU vs. Multi-GPU e scalabilità

Se lavori con modelli piccoli o esegui solo inferenza/fine-tuning semplici, una singola GPU è sufficiente. Ad esempio, modelli come Llama 2 7B o Mistral 7B possono essere eseguiti su una sola GPU. Se vuoi addestrare modelli più grandi o velocizzare il lavoro, serviranno più GPU in parallelo. In questo caso, devi usare framework di calcolo parallelo come PyTorch Distributed Data Parallel e affidarti a connessioni hardware veloci per condividere il carico tra le GPU.

Deployment locale vs. cloud

Usare GPU in locale offre pieno controllo ed elimina i costi mensili. È ideale per sviluppo continuo o dove serve privacy. Le soluzioni cloud permettono l’accesso a GPU potenti come A100 o H100 senza acquistare hardware costoso. Il cloud offre scalabilità flessibile e meno manutenzione, ottimo per progetti con esigenze variabili o per evitare investimenti iniziali elevati.

Scenari pratici

• Individuo/Studente: Una singola RTX 4090 per inferenza locale e fine-tuning su piccola scala di LLM open-source.
• Startup/Gruppo di ricerca: GPU consumer locali per sviluppo, poi passaggio a GPU data center cloud per training su larga scala o run finali.
• Enterprise/Produzione: Cluster di GPU locali o cloud data center. La scalabilità multi-GPU supporta training completo, inferenza real-time o deployment su larga scala.

Tabella riassuntiva: Associazione tra scenario d’uso e GPU

Abbinando la scelta della GPU al tuo specifico carico di lavoro—che sia training, inferenza o scalabilità—puoi ottimizzare l’uso del budget e prepararti alle esigenze future.

Ecosistema software e compatibilità

Supporto dei framework e compatibilità GPU per LLM

La maggior parte dei framework LLM—come PyTorch, TensorFlow e Hugging Face Transformers—offre il massimo supporto per le GPU NVIDIA. Questi framework sono strettamente legati alla piattaforma CUDA di NVIDIA e alle librerie cuDNN. CUDA consente la programmazione diretta della GPU in linguaggi come C, C++, Python e Julia, accelerando i compiti di deep learning. La maggior parte degli LLM moderni usa questi framework per sviluppo, training e deployment. Hanno il supporto CUDA integrato.

Le GPU AMD utilizzano lo stack open-source ROCm (Radeon Open Compute). ROCm abilita la programmazione GPU tramite HIP (Heterogeneous-compute Interface for Portability) e supporta OpenCL. ROCm sta crescendo in compatibilità con i framework LLM, ma alcune funzioni e ottimizzazioni sono meno sviluppate rispetto all’ecosistema NVIDIA. Questo significa che potresti trovare meno modelli o maggiore instabilità. ROCm è open source ad eccezione di alcune parti firmware, e la community lavora per ampliarne il supporto per l’AI e il calcolo ad alte prestazioni.

Driver e dipendenze delle librerie

• NVIDIA: È necessario installare l’ultima versione del toolkit CUDA e delle librerie cuDNN per ottenere le migliori prestazioni con gli LLM. NVIDIA aggiorna spesso questi strumenti, sincronizzando i nuovi rilasci dei framework di deep learning per mantenere hardware e software compatibili.
• AMD: AMD si basa su driver e librerie ROCm. Il supporto ROCm migliora costantemente, soprattutto per PyTorch, ma potresti incontrare problemi di compatibilità con alcuni modelli recenti o funzioni avanzate. Verifica sempre quali versioni del framework e di ROCm sono compatibili prima di iniziare il progetto.

Strumenti di ottimizzazione e compatibilità avanzata

NVIDIA offre una suite completa di strumenti di ottimizzazione. Puoi usare TensorRT per inferenza più veloce, training a precisione mista (FP16 e BF16), quantizzazione e pruning. Questi strumenti aiutano a usare l’hardware in modo efficiente, risparmiando memoria e aumentando la velocità. AMD sta integrando funzioni simili in ROCm, ma questi strumenti hanno ancora meno utenti e maturità.

Soluzioni cross-vendor e alternative

Standard come SYCL, creato dal Khronos Group, puntano a rendere la programmazione GPU portabile tra diversi brand in C++. Questo potrà migliorare la compatibilità futura sia per hardware NVIDIA che AMD negli LLM. Per ora, i principali framework LLM funzionano meglio e in modo più affidabile su GPU con supporto CUDA.

Punti chiave sulla compatibilità GPU per LLM

• Le GPU NVIDIA offrono la soluzione più affidabile e supportata per gli LLM. Hai ottimo supporto dei framework, librerie di ottimizzazione avanzate e aggiornamenti regolari dei driver.
• Le GPU AMD stanno diventando più utili per gli LLM, soprattutto con ROCm, ma è sempre bene verificare che il tuo framework e i modelli scelti funzionino con l’hardware.
• Prima di acquistare hardware, verifica sempre che il framework di deep learning e gli strumenti di deployment supportino la tua configurazione. Il supporto software influisce direttamente sulle prestazioni dei progetti LLM.

Analisi dei costi e valutazioni di valore

Costo totale di possesso (TCO)

Quando valuti i costi delle GPU per i compiti LLM, considera non solo il prezzo iniziale, ma anche le spese continue come elettricità, raffreddamento ed eventuali upgrade hardware. GPU di fascia alta come NVIDIA RTX 4090 o 3090 consumano tra 350 e 450 watt a pieno carico, portando a costi annuali di elettricità elevati. Ad esempio, usando una GPU a 400 watt tutto l’anno con un costo di $0,15 per kWh, puoi spendere oltre $500 solo per l’elettricità.

Metriche prezzo-prestazioni

Quando confronti le GPU, concentrati sul prezzo per FLOP (operazione in virgola mobile al secondo) e sul prezzo per GB di VRAM. Questi numeri ti aiutano a misurare il valore. Le GPU consumer come RTX 4090 (24GB VRAM, circa $1.800) offrono ottimo rapporto qualità/prezzo per LLM locali e prototipazione. Le GPU enterprise, come NVIDIA H100 (80GB VRAM, circa $30.000), sono pensate per compiti paralleli estesi. Costano di più perché gestiscono carichi maggiori e prestazioni elevate per compiti impegnativi.

Efficienza costi hardware locale vs. cloud

Gli studi mostrano che, spesso, l’uso di servizi cloud API è più conveniente rispetto all’acquisto di una GPU di fascia alta—soprattutto se usi la GPU solo occasionalmente o per piccoli compiti. Il costo annuo dell’elettricità per una GPU locale può superare quello totale della generazione di centinaia di milioni di token tramite API cloud. I servizi cloud eliminano anche la manutenzione hardware e gli aggiornamenti. Ottieni accesso immediato all’ultima generazione di hardware, puoi scalare rapidamente e non hai spese iniziali elevate.

Consigli per il budget

• Studenti e appassionati: Cerca GPU consumer di generazione precedente o usate, purché abbiano abbastanza VRAM. Sono opzioni economiche per sperimentare in locale.
• Piccole imprese: Usa hardware locale per i test e crediti cloud per i lavori più grandi. In questo modo eviti spese iniziali elevate.
• Aziende: Investi in hardware solo se prevedi carichi pesanti e costanti. In questi casi, il TCO può diventare favorevole rispetto al noleggio cloud continuo.

Considerazioni pratiche sul valore

Per ottenere il massimo valore dalla spesa GPU per LLM, abbina l’hardware alle tue reali esigenze. Non acquistare più VRAM o potenza di calcolo del necessario per progetti piccoli. Considera sempre anche i costi di elettricità e raffreddamento. Usa API cloud quando serve maggiore capacità o vuoi eseguire compiti su larga scala. Per la maggior parte degli utenti che non hanno carichi enormi, l’accesso cloud agli LLM offre più valore e flessibilità.

Riassunto:
Scegli le GPU valutando l’intero arco dei costi: prezzo iniziale, consumo elettrico, raffreddamento e quanto prevedi di usarle. Le GPU locali di fascia alta sono ideali per carichi pesanti e continui. Per la maggior parte degli utenti, i servizi cloud offrono valore e accesso migliori.

Consigli pratici per l’acquisto e errori da evitare

Valuta il tuo reale carico LLM

Inizia identificando il modello linguistico più grande che intendi utilizzare e se vuoi concentrarti su training, inferenza o entrambi. Per l’inferenza LLM locale, assicurati che la VRAM della GPU sia pari o leggermente superiore alle esigenze del modello. Di solito servono 12–24GB di VRAM per modelli quantizzati da 7–13 miliardi di parametri. Se lavori con modelli più grandi o prevedi training, potresti aver bisogno di 24GB o più. Sovrastimare le esigenze porta a spese inutili; sottostimarle può causare errori di memoria e interruzioni.

Dai priorità alla compatibilità software

Le GPU NVIDIA sono compatibili con il maggior numero di framework LLM grazie al supporto consolidato di CUDA e cuDNN. Le GPU AMD possono far risparmiare, ma devi controllare che la versione ROCm e i driver siano compatibili con il software. Le schede AMD possono richiedere passaggi di configurazione extra. Verifica sempre che framework e modelli LLM funzionino con l’architettura e i driver della tua GPU. Saltare questo controllo può portare a lunghe sessioni di troubleshooting o rendere il sistema inutilizzabile.

Non trascurare alimentazione, raffreddamento e limiti fisici

Le GPU di fascia alta consumano molta energia e generano calore. Prima dell’acquisto, verifica che l’alimentatore supporti il wattaggio richiesto dalla GPU (molte schede consumer richiedono 350–600 watt). Controlla che il case del PC abbia un buon flusso d’aria. Se il raffreddamento è insufficiente, la GPU può rallentare per evitare il surriscaldamento, riducendo le prestazioni e la durata. Molti trascurano questi aspetti e finiscono con sistemi instabili o costi di upgrade extra.

Prevedi il futuro, ma evita l’overbuying

Scegli una GPU con un po’ più di VRAM e potenza di calcolo rispetto alle esigenze attuali, così sarai pronto per nuovi modelli e aggiornamenti software. Tuttavia, non pagare in più per funzioni che non userai. La maggior parte degli utenti trova il miglior valore in una GPU consumer di fascia alta, che offre un ottimo mix tra prezzo, velocità e longevità. Controlla anche quanto la tua GPU mantiene il valore sull’usato, in caso di upgrade futuro.

Errori comuni da evitare

• Scegliere una GPU solo in base a memoria o potenza senza verificarne il supporto con il framework LLM.
• Pensare che tutte le nuove GPU funzioneranno automaticamente—leggi sempre documentazione e forum aggiornati.
• Ignorare alimentatore, dimensioni del case o compatibilità della scheda madre.
• Spendere troppo per una workstation potente quando potresti usare GPU cloud per carichi pesanti occasionali.

Consiglio pratico

Se hai dubbi, inizia con una GPU consumer ben supportata come NVIDIA RTX 4090 per test locali. Per training o inferenza su larga scala necessari solo a volte, usa servizi cloud con GPU enterprise. In questo modo limiti i costi e hai flessibilità man mano che i tuoi progetti LLM crescono.

Casi reali e storie di successo

Accelerazione accademica con cluster multi-GPU

Un laboratorio universitario di ricerca AI ha addestrato un large language model da oltre 13 miliardi di parametri usando un cluster multi-GPU NVIDIA A100. Il carico è stato distribuito su quattro A100 da 80GB VRAM