Stiamo costruendo un assistente che spiega gli alert di compliance di una piattaforma verticale: il sistema segnala che un campo di un documento obbligatorio è compilato quando non doveva esserlo, e il modello deve dire quale regola è violata e dove sta scritta (articolo, comma, punto dell’allegato). Per farlo abbiamo costruito a mano un dataset di circa 2.800 coppie domanda-risposta ancorate ai testi normativi del dominio, con l’idea più naturale del mondo: più esempi corretti mettiamo nel dataset, più conoscenza normativa finisce nei pesi del modello.
Questo articolo racconta perché quell’intuizione si è rivelata falsa, e cosa l’ha sostituita.
L’esperimento: cambiare solo la taglia
Nella prima tornata avevamo addestrato Qwen3-1.7B con LoRA su una workstation locale. Nella seconda abbiamo affittato una A100 e addestrato tre modelli più grandi (Qwen3.5-4B, Gemma 4 12B e Mistral NeMo 12B) tenendo fermo tutto il resto: stesso dataset (2.832 esempi, 2 epoche), stessi iperparametri, stesso prompt, stesso benchmark di 198 domande scritte a mano, ognuna con i riferimenti normativi che la risposta corretta deve contenere.
Un solo grado di libertà, quindi una sola domanda: una taglia maggiore rende le risposte normativamente più accurate?
Prima lettura: la taglia si vede solo dove non conta
La eval loss (l’errore medio di predizione su esempi mai visti) ordina i quattro modelli per taglia con precisione perfetta: 0,650 → 0,624 → 0,580 → 0,534. Sembra la conferma che “più grande è meglio”.
Ma la loss è una media su tutti i token, e in una risposta di 45 parole i token che portano il contenuto giuridico («art. 23», «punto 1.2.1») sono due o tre. Il resto è italiano ordinario: un modello più grande scrive italiano più prevedibile, e questo gli abbassa la loss senza dire nulla sull’accuratezza dei riferimenti.
La metrica che doveva decidere (quante risposte citano i riferimenti attesi, contando solo le domande che non li contengono già) racconta un’altra storia: 17,9% per il modello da 1,7 miliardi, 32,1% per i due da 12. Con 28 domande in gioco, la differenza è statisticamente indistinguibile dal caso (test di Fisher, p = 0,36). L’unico effetto fuori discussione è quello dell’addestramento in sé: i modelli base, senza fine-tuning, stanno a zero (p = 0,002).
Il gradino: l’esposizione spiega i punteggi meglio della taglia
La svolta è arrivata rileggendo i risultati una domanda alla volta invece che in aggregato. Ordinando i riferimenti normativi richiesti dal benchmark per quante volte compaiono nelle risposte di addestramento, in questo esperimento emerge un gradino netto:
- i riferimenti presenti 12 volte o meno nel training non vengono mai emessi, da nessuno degli otto sistemi testati, nemmeno dai 12 miliardi;
- i riferimenti presenti 25 volte o più vengono emessi da tutti i modelli addestrati.
«Gradino» va preso alla lettera. Se si mette su un grafico l’esposizione (quante volte il riferimento compare nelle risposte di training) contro l’esito (il modello lo riemette oppure no), il passaggio da «mai» ad «appreso» non è una salita graduale, in cui ogni esempio in più alza un po’ la probabilità: sono due livelli piatti con un salto in mezzo. La conseguenza pratica è questa: sotto la soglia, aggiungere qualche esempio non compra un po’ di conoscenza, compra zero.
Su questi dati, zero eccezioni. Ma il perimetro dell’osservazione va detto con chiarezza: i riferimenti distinti in gioco sono 11, la banda fra 12 e 25 è vuota (nessun fatto del dataset vive lì, quindi la soglia è un intervallo non sondato, non un punto misurato), e l’esposizione nel dataset è correlata ad altre proprietà del riferimento, per esempio a quanto è centrale nel corpus. Non stiamo enunciando una legge dell’apprendimento: stiamo dicendo che, su questi dati, la frequenza nel dataset spiega i punteggi molto meglio di quanto li spieghi la taglia del modello.
Il modo giusto di trattarla è come un’ipotesi falsificabile: se il gradino è reale, portare deliberatamente un gruppo di fatti a 12, 25 e 50 esempi deve riprodurlo al prossimo run, ed è esattamente il disegno del prossimo esperimento. Quello che resta solido fin d’ora è più modesto, ma sufficiente: i quattro modelli hanno imparato gli stessi tre fatti (quelli sopra soglia) e la differenza fra i loro punteggi è solo quanto affidabilmente li riemettono.
Il nostro dataset era largo e sottile
Qui il gradino incontra la composizione del dataset, ed è l’incontro che spiega tutto:
- 1.271 fatti distinti in addestramento;
- 3 esempi per fatto di mediana;
- 5 esempi di massimo assoluto.
Nessun fatto raggiungeva nemmeno la metà della soglia. Ciò che la superava erano i riferimenti (uno stesso punto di allegato compare in 147 risposte perché molti fatti diversi lo condividono), non i contenuti.
Il modello, quindi, non ha imparato cosa dice la norma: ha imparato quali citazioni sono frequenti in quel vicinato semantico, e le emette come riflesso. Misurando la precisione, tre modelli su quattro scrivono il riferimento più frequente anche dove non serve, azzeccandolo solo nel 25-37% dei casi. È il meccanismo esatto della risposta fluente, sicura e sbagliata: la prima volta che abbiamo messo il modello davanti a domande vere, fuori dal benchmark, è quello che abbiamo visto.
La forma, invece, si impara subito, a ogni taglia
Il rovescio della medaglia è altrettanto netto. Tutto ciò che si ripete in ogni esempio viene appreso quasi perfettamente, già dal modello da 1,7 miliardi:
- il formato delle risposte e la citazione del documento fornito nel contesto: 98-100%;
- la lunghezza richiesta (30-150 parole): 95-98%;
- soprattutto, l’astensione: sui quesiti costruiti perché il contesto non contenga la risposta, i modelli base si astengono 1 volta su 15, i modelli addestrati 12 su 15 (p = 0,00012). Per un prodotto legale, sapere dire «il contesto non basta» è la singola proprietà più preziosa, e il fine-tuning la insegna in modo affidabile.
Il training funziona benissimo: solo che impara la parte degli esempi che si ripete migliaia di volte (la forma), non quella che compare tre volte (il fatto).
Dove la taglia si vede davvero: l’errore cambia forma
Una differenza legata alla taglia esiste, ma su una dimensione che nessuna metrica automatica guardava. Il decreto al centro del dataset ha due allegati con numerazioni diverse, che disciplinano due documenti diversi. Sugli alert relativi al secondo documento, il modello da 1,7 miliardi attribuisce la regola all’allegato sbagliato 7 volte su 7; i tre modelli più grandi, 0 o 1 errore su 30 alert complessivi (p = 0,0105), ed è un salto che avviene già fra 1,7B e 4B.
Ma appena l’allegato è giusto, i modelli grandi inventano la numerazione interna: da 3 a 6 punti inesistenti per modello, sempre perfettamente formattati. L’errore non sparisce con la taglia: cambia forma, e diventa più difficile da vedere. Il nostro verificatore automatico di citazioni leggeva 0,0% di riferimenti inventati per tutti i modelli, perché riconosceva solo la forma «art. N»: un promemoria sul fatto che anche il metro va auditato, non solo il modello.
Citare non è capire
L’ultima lezione è arrivata leggendo le risposte a mano. Su un gruppo di domande che condividono la stessa regola (alcuni campi di un documento non vanno compilati quando il caso rientra in un’esenzione), la risposta migliore nel merito, quella che spiega correttamente la regola e cosa fare, prende zero punti, perché non nomina il punto dell’allegato. Una risposta premiata dal punteggio enuncia la regola al rovescio, con il riferimento esatto. L’ordinamento dei modelli per citazioni è quasi l’inverso dell’ordinamento per correttezza della spiegazione.
Nessuna metrica meccanica sostituisce il giudizio di merito: per questo la validazione del dataset passa a consulenti esterni, con uno strumento dedicato.
Cosa ne facciamo: la forma dai pesi, la sostanza dal recupero
C’è un dato, in questo ciclo di esperimenti, che indica la strada: l’unico task in cui tutti i modelli funzionano (91-94% di accuratezza, a ogni taglia) è quello in cui il testo della norma viene passato nel contesto insieme alla domanda. Quando il modello deve leggere invece che ricordare, la taglia smette di essere un problema.
La nostra architettura, di conseguenza:
- il fine-tuning fa ciò che sa fare: formato, tono, stile di citazione, astensione, più le poche decine di regole ricorrenti del prodotto, portate deliberatamente sopra la soglia dei 25 esempi ciascuna;
- la conoscenza arriva dal retrieval: il corpus normativo, spezzato in unità stabili (articolo, comma, punto dell’allegato), viene recuperato e messo nel prompt. La sostanza sta nel testo che il modello legge, non nei pesi in cui speriamo si sia depositata.
A budget costante l’alternativa non esisteva comunque: portare 1.271 fatti a 25 esempi ciascuno significherebbe un dataset da 32.000 esempi contro i 2.800 attuali.
I limiti, per onestà
Il benchmark decisivo conta 28 domande: gli intervalli di confidenza sono larghi e alcune analisi sono state scelte dopo aver visto i dati: valgono come ipotesi da verificare al prossimo ciclo, non come prove. La soglia «fra 12 e 25» è una banda vuota, non un punto misurato: nessun fatto del nostro dataset vive lì in mezzo. E il confronto fra taglie è confuso con la famiglia dei modelli, che differiscono anche per architettura e dati di pre-addestramento.
Ma il gradino, su otto sistemi e zero eccezioni, è il pattern più pulito che questo ciclo abbia prodotto: abbastanza da cambiare architettura.
In sintesi
- Il fine-tuning apprende ciò che si ripete: la forma (presente in ogni esempio) si impara quasi perfettamente a ogni taglia; un fatto presente in 3-5 esempi non lascia traccia.
- Nel nostro esperimento la soglia di apprendimento di un riferimento cade fra 12 e 25 ripetizioni nelle risposte di training e la taglia del modello (1,7B → 12B) non la sposta in modo dimostrabile: un’osservazione su 11 riferimenti, da confermare con esposizioni controllate, non una legge.
- Sotto soglia il modello non si astiene: inventa riferimenti ben formattati, e con la taglia l’invenzione diventa più plausibile, non più rara.
- La eval loss premia la taglia ma misura l’italiano, non il diritto: serve un benchmark che misuri i token che contano, e va auditato come il modello.
- Architettura conseguente: pesi per la forma e l’astensione, retrieval per la sostanza.