La notizia di poter eseguire modelli AI giganti su hardware con poca VRAM è vera, grazie ad AirLLM. Questo tool open source carica i modelli AI strato per strato nella GPU, riducendo drasticamente il requisito di memoria. Tuttavia, il compromesso è la velocità: spostare continuamente i dati tra disco e VRAM causa una latenza estrema, rendendolo inutilizzabile per chatbot in tempo reale. È ideale per sviluppatori e ricercatori che necessitano di testare output di modelli a piena precisione in modalità batch, accettando tempi di elaborazione lunghissimi.