Tech Italia ·

Come far girare l'AI in locale su un vecchio notebook da gaming

Nel video di HDblog si spiega come sfruttare i modelli mixture of experts per eseguire IA locali su hardware da gaming non più recente, senza spendere migliaia di euro

Nel video di HDblog, Marco Aliasi spiega come non sia più necessario acquistare un MacBook Pro o un PC con memoria unificata da migliaia di euro per far girare un'intelligenza artificiale in locale. Grazie a una nuova generazione di modelli e strumenti software, anche un vecchio notebook da gaming può diventare una macchina capace di eseguire IA potenti senza cloud, abbonamenti o invio di dati sensibili in rete.

Memoria unificata contro VRAM dedicata

Il video ricorda che i MacBook con memoria unificata sono stati tra i primi a rendere possibile l'esecuzione di modelli IA corposi in locale, condividendo RAM tra CPU e GPU in modo molto rapido. I notebook da gaming, invece, hanno una VRAM dedicata alla scheda video, più veloce ma generalmente più piccola, un limite che finora impediva di caricare modelli di grandi dimensioni.

La svolta dei modelli mixture of experts

La chiave, secondo quanto mostrato nel video, è l'uso dei modelli sparsi, o mixture of experts (MoE). A differenza dei modelli densi, che richiedono di caricare in memoria l'intero blocco del modello, i MoE sono suddivisi in tanti piccoli

D'une seule source, en lien ci-dessous Nous n'écrivons pas l'information : nous la rassemblons auprès de médias établis, la résumons et vous laissons les liens vers les originaux.

Sources

  • HDblog — NON DEVI spendere 4000€ per l'AI IN LOCALE: come SFRUTTARE il tuo “vecchio” PC da GAMING al top

🤖 Article rédigé avec l'aide de l'intelligence artificielle à partir des sources indiquées et vérifié automatiquement. · Traduction automatique de l'italien Qui sommes-nous