RAG Aziendale: Usare ChatGPT sui Tuoi Documenti Senza Compromettere i Dati

Tutti gli studi professionali e tutte le aziende con know-how documentale hanno lo stesso problema: i collaboratori perdono ore a cercare informazioni in PDF, contratti, manuali, vecchie email. La soluzione “carico tutto su ChatGPT” non è una soluzione: viola la privacy, costa una fortuna a volumi, e non funziona oltre poche pagine.

Il RAG (Retrieval-Augmented Generation) è l'architettura giusta. In una frase: invece di mettere tutti i documenti nel prompt dell'LLM, il sistema recupera solo i pezzi rilevanti per la domanda dell'utente e li passa al modello, che produce una risposta basata su quei pezzi. Questo riduce i costi, rispetta la privacy, scala a milioni di documenti.

Cos'è il RAG e perché serve davvero

Risposta-flash: RAG significa Retrieval-Augmented Generation: un sistema che cerca prima i documenti rilevanti per la domanda dell'utente e poi chiede a un LLM di rispondere usando quei documenti come fonte. È il modo standard per usare un LLM su contenuto privato di un'azienda.

I tre limiti che il RAG risolve:

1. Limite di contesto — un LLM ha un context window finito (anche se grande). Non puoi metterci dentro 10.000 contratti.
2. Privacy — non vuoi caricare 50GB di documenti aziendali sui server di un fornitore esterno.
3. Costo — ogni token nel prompt costa. Con il RAG paghi solo per i pezzi rilevanti, non per tutto il corpus.

Architettura RAG semplificata

Un sistema RAG ha 4 componenti, in questo ordine:

1. Document loader + chunker — prende PDF, Word, email, pagine web e li spezza in “pezzi” gestibili (chunk di 300-800 parole tipicamente).
2. Embeddings — ogni chunk viene trasformato in un vettore numerico che cattura il significato del testo (non solo le parole).
3. Vector database — storage ottimizzato per cercare per similarità semantica. I più usati: Pinecone, Weaviate, Qdrant, pgvector (estensione PostgreSQL).
4. Retriever + LLM — quando l'utente fa una domanda, il retriever trova i chunk più rilevanti, li passa all'LLM che genera la risposta citando le fonti.

Tutto questo è modulare: i documenti, gli embeddings, il vector DB e l'LLM possono essere ognuno on-premise, su cloud privato o su cloud pubblico, a seconda del livello di sensibilità dei dati.

RAG e GDPR: come restare in regola

Risposta-flash: il RAG è GDPR-compliant se: i documenti restano sui tuoi server (o su un cloud EU), gli embeddings vengono calcolati con un modello che non ritiene i dati, e l'LLM usato per la risposta non usa i dati per training (sia OpenAI sia Anthropic via API rispettano questa condizione).

Quattro configurazioni tipiche, dal più al meno restrittivo:

Configurazione	Quando usarla	Costo
Tutto on-premise (Llama/Mistral su server tuoi)	Studi legali, sanità, dati molto sensibili	Alto setup, basso ricorrente
Embeddings on-premise + LLM EU (es. Mistral via API EU)	Compliance EU stretta	Medio
Embeddings + LLM via API (OpenAI/Anthropic)	Maggior parte PMI italiane	Basso setup, ricorrente API
Tutto su un servizio gestito (es. Azure OpenAI + Azure AI Search)	Aziende già nell'ecosistema Microsoft	Medio, integrato

Per il quadro completo su privacy e AI vedi anche la guida integrare l'AI in un software esistente.

5 casi d'uso aziendali del RAG

1. Studio legale — ricerca semantica su 10 anni di sentenze, atti, pareri. L'avvocato chiede “ho già affrontato un caso simile?” e il sistema risponde con i riferimenti.
2. Customer service B2B — il chatbot pesca dai manuali tecnici, contratti, ticket storici per rispondere senza coinvolgere subito un operatore.
3. Onboarding nuovi dipendenti — il nuovo assunto fa domande sulla policy aziendale, processi interni, e ottiene risposte attendibili senza disturbare i colleghi.
4. Commerciale / pre-sales — il venditore chiede “abbiamo già fatto qualcosa di simile per il cliente X o per il settore Y?” e il sistema pesca dalle proposte/case study passati.
5. Compliance e audit — risposta rapida a “dove sta scritto come gestire il caso Z secondo le nostre procedure?”

Quanto costa implementare un RAG aziendale

Risposta-flash: per una PMI con 1.000-10.000 documenti, prevedi €5-15k una tantum di sviluppo e €50-300/mese di costi ricorrenti (API embeddings, vector DB hosting, LLM). Tempi: 4-8 settimane per andare in produzione.

Voce	Costo
Analisi documenti e architettura	€1-2k
Sviluppo pipeline ingest + chunking	€1,5-3k
Setup vector DB + embeddings	€1-2k
Interfaccia utente (chatbot, ricerca, integrazione)	€1,5-4k
Tuning e test su casi reali	€1-2k
API embeddings + LLM (ricorrente)	€30-200/mese
Vector DB hosting (ricorrente)	€0-100/mese (pgvector self-hosted = 0)

I 4 errori più comuni nei progetti RAG

1. Chunk troppo grandi o troppo piccoli. Chunk da 5.000 parole rendono le risposte rumorose; chunk da 50 parole perdono il contesto. La sweet spot è di solito 300-800 parole con overlap di 50-100 parole.
2. Non far citare le fonti. Un RAG che risponde senza citare il documento d'origine non è verificabile. Il primo requisito: ogni risposta deve dire “questa info viene da X”.
3. Caricare documenti scaduti/duplicati. Il RAG riflette i tuoi documenti. Se sono sporchi, le risposte sono sporche. Servono filtri sulla qualità dei documenti caricati.
4. Ignorare il feedback degli utenti. Gli utenti devono poter dire “risposta sbagliata”. Senza feedback, il sistema non migliora.

FAQ

Posso davvero usare ChatGPT sui miei documenti senza che li vedano?

Sì, con un RAG ben progettato. Il flusso è: i documenti restano sui tuoi server, vengono trasformati in vettori (numeri) anch'essi sui tuoi server, e solo i 3-5 frammenti rilevanti per la singola domanda vengono passati a ChatGPT via API. ChatGPT non vede mai il corpus completo.

Qual è la differenza tra fine-tuning e RAG?

Il fine-tuning “insegna” permanentemente al modello nuovi contenuti (costoso, lento, una sola volta). Il RAG permette al modello di consultare i tuoi documenti al volo a ogni domanda (economico, aggiornabile in tempo reale). Per documenti aziendali che cambiano, il RAG è quasi sempre la scelta giusta.

Quanto velocemente risponde un sistema RAG?

1-4 secondi per query con un'architettura ben fatta. La maggior parte del tempo è nella generazione dell'LLM, non nel retrieval (che è tipicamente sotto i 200ms).

Posso usare un RAG su email, ticket di supporto, vecchi documenti?

Sì. Qualsiasi testo strutturato o semi-strutturato può entrare in un RAG. Per email serve solo un connettore (IMAP, Microsoft Graph, Google Workspace). Per i ticket, l'export del tuo helpdesk.

Cosa succede se il documento giusto non c'è?

Un RAG ben fatto risponde “non ho informazioni su questo” invece di inventare. Questo si ottiene con prompt engineering corretto: il modello è istruito a rispondere solo se i documenti recuperati sono pertinenti. È uno dei punti più importanti del tuning.

Il RAG funziona in italiano?

Sì, molto bene. Sia gli embeddings di OpenAI/Anthropic sia i modelli LLM sono ottimi in italiano. I modelli open-source italiani (es. Minerva, LLaMantino) sono opzioni valide se servono solo italiano e privacy massima.