Dal 2 agosto 2026 si applica l’articolo 50 del Regolamento europeo sull’intelligenza artificiale (AI Act): chi fornisce un sistema di IA destinato a interagire con le persone deve progettarlo in modo che sappiano di avere davanti una macchina, salvo che sia evidente.
Sapere che risponde una macchina, però, non dice quando la macchina sbaglia, né perché lo fa con tanta sicurezza. È la domanda che conta per una PMI che valuta un assistente sui propri documenti interni, anche dove l’obbligo di trasparenza non arriva.
A mio giudizio l’errore sicuro nasce quasi sempre prima del modello, da come l’azienda prepara il bot: documenti mai ripuliti, permessi affidati a una frase nel prompt (le istruzioni che il modello riceve insieme alla domanda), nessuna prova seria prima del lancio. Per questo il chatbot conviene solo a chi ha qualcuno che lo curi, e a molte piccole imprese non conviene affatto. Lo dico da parte in causa: con DeBrand Studio offro questo servizio alle PMI, quindi avrei tutto l’interesse a sostenere il contrario.
Un documento vecchio, una risposta sicura
Il chatbot di cui parlo è un RAG (retrieval-augmented generation, cioè generazione aumentata dal recupero): il sistema cerca nei documenti i passaggi pertinenti alla domanda e li passa al modello, che ne ricava una risposta. Il modello non sa se il passaggio è la procedura in vigore o quella superata, rimasta in una cartella condivisa, e in entrambi i casi lo riassume con lo stesso tono fermo. Se due versioni si contraddicono, può sceglierne una o mescolarle: la frase che ne esce suona sicura comunque.
La cura dei contenuti viene quindi prima di qualsiasi scelta tecnica, e non lo penso solo io. Nella guida per preparare dati e permessi a Microsoft Copilot (prima Microsoft 365 Copilot), aggiornata a ottobre 2026, Microsoft indica fra gli obiettivi regole che facciano usare all’assistente solo informazioni «accurate, up-to-date», corrette e aggiornate.
Dell’errore, poi, risponde l’azienda. Nel 2024 il Civil Resolution Tribunal della British Columbia ha ritenuto Air Canada responsabile delle informazioni errate che il chatbot del suo sito aveva dato a un passeggero, Moffatt. Nella decisione, riportata dallo studio legale McCarthy Tétrault, il tribunale riassume così la difesa della compagnia: il chatbot sarebbe un’entità giuridica separata, responsabile delle proprie azioni. L’argomento è stato respinto, e secondo il sito di tecnologia MobileSyrup il conto è stato di 812,02 dollari canadesi fra danni e spese. Le fonti non dicono come fosse costruito quel bot, e per il principio non importa.
Da qui una condizione che per me non si negozia: un responsabile dei contenuti con nome e cognome, che decide quali documenti entrano, toglie le versioni superate e sa a chi chiedere quando due procedure dicono cose diverse. Senza questa figura prevedo che il bot peggiori nel giro di pochi mesi, perché i documenti cambiano e nessuno aggiorna ciò che il sistema legge.
I permessi non si chiedono per favore
Poi c’è la questione di chi può leggere cosa. La scorciatoia comoda è scrivere nel prompt di non mostrare le buste paga a chi non lavora in amministrazione. Il Gen AI Security Project di OWASP, che cataloga i rischi di sicurezza delle applicazioni basate su modelli linguistici, spiega perché non regge. Nella voce LLM02:2025 avverte che le restrizioni nel prompt di sistema possono non essere rispettate e possono essere aggirate.
Uno dei modi è la prompt injection (LLM01:2025): un input che altera il comportamento del modello in modi non previsti. Fra le conseguenze, OWASP elenca proprio la divulgazione di informazioni sensibili. Una regola che il modello può essere convinto a ignorare è un consiglio, non un controllo.
Il filtro va messo prima, nel recupero: il sistema cerca solo fra i file che l’utente ha il diritto di aprire, e il modello non riceve mai il resto. È lo schema che Microsoft descrive nella documentazione su dati, privacy e sicurezza di Microsoft Copilot, consultata a ottobre 2026. L’indice rispetta i confini di accesso legati all’identità dell’utente, e la risposta usa solo i contenuti che quell’utente può vedere.
Prima di aprirlo, cento domande
Lanciare il bot dopo qualche prova fatta da chi l’ha costruito è un altro modo di sbagliare con sicurezza. La mia regola è preparare prima un set da 50 a 100 domande reali, ciascuna con la sua risposta corretta. Il numero è una mia scelta operativa: nella documentazione degli strumenti di valutazione che ho consultato non c’è un minimo raccomandato.
Il set di domande conta di più quando l’architettura si complica. L’assistente integrato nel progetto Studio Pizzano, cliente di DeBrand Studio, è un RAG ibrido, più complesso della versione di base, con l’ingestion (la fase che legge e prepara i documenti) affidata al modello Gemma 2.
Con il set si misurano tre cose che la documentazione di TruLens, uno strumento di valutazione, chiama RAG triad. La context relevance verifica che i passaggi recuperati c’entrino con la domanda; la groundedness, che ogni affermazione della risposta poggi su quei passaggi; la answer relevance, che la risposta risponda a ciò che è stato chiesto. Tenerle separate dice dove sta il guasto: se il recupero porta i passaggi sbagliati, cambiare modello non serve.
E se bastasse dare tutto al modello?
L’obiezione più seria al RAG arriva dalla ricerca. Le finestre di contesto, cioè la quantità di testo che un modello legge in una richiesta, sono ormai ampie: secondo le note di rilascio di Anthropic, Claude Opus 5 arriva a un milione di token, i frammenti di parola con cui i modelli contano il testo. Tanto varrebbe passargli tutti i documenti, e due studi pubblicati sull’archivio di articoli scientifici arXiv vanno in quella direzione. Per uno del luglio 2024, con risorse sufficienti, il contesto lungo supera in media il RAG; per uno della fine del 2024 lo supera in generale nei test di domande e risposte, soprattutto su domande tratte da Wikipedia.
Su una base piccola hanno ragione, ed è la mia stessa conclusione: poche decine di pagine stabili entrano intere nel contesto, e un RAG diventa un’infrastruttura da mantenere senza motivo.
Ma il vantaggio più netto riguarda domande su testi enciclopedici, lontani dalle cartelle condivise di un’azienda; e quando il contesto si allunga emergono i limiti. La batteria di test LaRA, sempre su arXiv, rileva che i modelli a contesto lungo perdono accuratezza quando la risposta sta verso il centro del testo, mentre nel RAG non trova un legame chiaro con la posizione. Uno studio del 2024 osserva che allungare il contesto recuperato in un RAG non migliora i risultati in modo uniforme: per la maggior parte dei modelli migliorano e poi peggiorano.
Poi c’è il conto: ogni richiesta paga i token che il modello legge, e caricare l’archivio intero significa pagarlo a ogni domanda. E un manuale superato, passato per intero, dà la stessa risposta sicura e sbagliata.
Quando conviene lo stesso
Resta la domanda da cui parte ogni titolare, cioè se convenga. Non ho trovato una soglia documentata, un numero di pagine o di domande al giorno oltre il quale un RAG si ripaga: il criterio che propongo è mio.
Il chatbot conviene quando la risposta esiste già, scritta, in un documento, e trovarla costa più che chiederla a un collega: chi sa le cose di solito è uno, le domande arrivano da molti, e ogni interruzione toglie tempo al suo lavoro. E serve qualcuno che curi i contenuti, senza il quale anche queste condizioni durano poco.
Il prezzo dei token è la voce che pesa meno. Ai listini di ottobre 2026, Gemini 3.5 Flash-Lite di Google costa 0,30 USD per milione di token in ingresso e 2,50 USD in uscita; Gemini 3.6 Flash 1,50 e 7,50 USD. Il costo vero sono le ore di chi cura i documenti e rifà le prove quando qualcosa cambia. I token costano poco, le persone no.
Spesso, del resto, il bot risolve male un problema vero. Poche decine di pagine stabili si servono meglio con una FAQ scritta bene o con la ricerca interna che l’azienda ha già, e prezzi e giacenze stanno nel gestionale, che li conosce al centesimo e al pezzo. A una PMI con cinque domande al giorno basta di solito una pagina aggiornata.
Prima di firmare un preventivo, il mio o quello di chiunque altro, servono due numeri e un nome: quante pagine contiene davvero la base documentale, quante domande arrivano ogni giorno, chi aggiornerà i documenti dopo il lancio. Se manca il nome, i due numeri possono aspettare.
Se vuoi fare questo conto sui documenti della tua azienda, DeBrand Studio offre un audit per le PMI.
Cesare Max Brandini è consulente cloud e IA e CEO di DeBrand Studio, dove progetta sistemi web, cloud e di intelligenza artificiale per le PMI. Scrive narrativa e articoli.