Pre-training

Il pre-training è la prima fase dell'addestramento di un modello di intelligenza artificiale, in cui il sistema apprende conoscenze generali analizzando enormi quantità di dati non etichettati (testi, immagini, codice). Durante questa fase il modello sviluppa una comprensione ampia del linguaggio, dei concetti e delle relazioni tra le informazioni. Dopo il pre-training, il modello viene affinato (fine-tuning) su compiti specifici. È la fase più costosa in termini di risorse computazionali: addestrare un grande modello linguistico può richiedere milioni di dollari in infrastruttura.