Come far girare l'AI in locale su un vecchio notebook da gaming
Nel video di HDblog si spiega come sfruttare i modelli mixture of experts per eseguire IA locali su hardware da gaming non più recente, senza spendere migliaia di euro
Nel video di HDblog, Marco Aliasi spiega come non sia più necessario acquistare un MacBook Pro o un PC con memoria unificata da migliaia di euro per far girare un'intelligenza artificiale in locale. Grazie a una nuova generazione di modelli e strumenti software, anche un vecchio notebook da gaming può diventare una macchina capace di eseguire IA potenti senza cloud, abbonamenti o invio di dati sensibili in rete.
Memoria unificata contro VRAM dedicata
Il video ricorda che i MacBook con memoria unificata sono stati tra i primi a rendere possibile l'esecuzione di modelli IA corposi in locale, condividendo RAM tra CPU e GPU in modo molto rapido. I notebook da gaming, invece, hanno una VRAM dedicata alla scheda video, più veloce ma generalmente più piccola, un limite che finora impediva di caricare modelli di grandi dimensioni.
La svolta dei modelli mixture of experts
La chiave, secondo quanto mostrato nel video, è l'uso dei modelli sparsi, o mixture of experts (MoE). A differenza dei modelli densi, che richiedono di caricare in memoria l'intero blocco del modello, i MoE sono suddivisi in tanti piccoli
Aus einer Quelle, unten verlinkt Wir schreiben keine Nachrichten: Wir sammeln sie bei etablierten Medien, fassen sie zusammen und verlinken die Originale.
Quellen
- HDblog — NON DEVI spendere 4000€ per l'AI IN LOCALE: come SFRUTTARE il tuo “vecchio” PC da GAMING al top
🤖 Artikel mit Unterstützung von künstlicher Intelligenz verfasst und automatisch überprüft. · Automatische Übersetzung aus dem Italienischen Über uns