Un chatbot LLM funziona dentro Minecraft con 445.000 blocchi comando
Il creator Objz ha costruito in Minecraft un piccolo LLM interamente con circa 445.000 blocchi comando, senza mod, plugin o datapack. Il modello ha embedding a 64 dimensioni, 256 neuroni nascosti e 2.048 parole di vocabolario, addestrato su 11.118 conversazioni di DailyDialog, e risponde via /dialog una parola alla volta in circa 1,8 secondi su un server a 35 tick al secondo. L'ingombro è passato da quasi due milioni di blocchi a 445.000 grazie ai pesi ternari (-1, 0, +1), addestrati con straight-through estimator, che hanno portato la perplexity da 48,7 a 38,8.
Mostra come la quantizzazione ternaria consenta di far girare un modello linguistico su un sistema di calcolo molto vincolato, pur evidenziando i limiti di scalabilità: un LLM da 135 milioni di parametri sarebbe circa 200 volte più grande.