RAG On-Premise e Full-Local: Quando i Dati Non Possono Uscire

Ci sono aziende per cui “i dati passano dai server di un fornitore, ma non vengono usati per il training” non basta. Uno studio legale con il segreto professionale, una struttura sanitaria che tratta dati sulla salute, una pubblica amministrazione, un reparto R&D con brevetti in gioco: qui la domanda non è “chi vede i dati”, è “i dati escono dal nostro perimetro, sì o no?”. La risposta che serve è no. Ed è esattamente ciò che rende il RAG on-premise l'architettura giusta.

Cos'è un RAG full-local

In un sistema RAG classico i documenti restano da te, ma la generazione della risposta avviene spesso chiamando un modello in cloud. Nel full-local anche quest'ultimo pezzo gira dentro la tua infrastruttura: ogni componente è on-premise.

1. Ingest dei documenti — i file restano sui tuoi storage.
2. Embeddings locali — la trasformazione dei documenti in vettori avviene su un modello che gira da te.
3. Vector database on-premise — l'indice vive nella tua rete.
4. LLM open-source locale — la risposta viene generata da un modello open-weight (es. Llama, Mistral) su una tua GPU.

Il risultato: si può far funzionare il sistema anche air-gapped, cioè fisicamente scollegato da internet. Nessun byte dei tuoi documenti lascia l'edificio.

Quando i dati non possono uscire — per davvero

Il full-local non è per tutti: è per chi ha un vincolo reale. I casi tipici:

• Studi legali e professionali — segreto professionale su atti, contratti, strategie processuali dei clienti.
• Sanità — dati sulla salute (categorie particolari, art. 9 GDPR): cartelle, referti, anamnesi.
• Pubblica amministrazione — requisiti di sovranità del dato e vincoli su dove risiedono le informazioni dei cittadini.
• R&D e industria — brevetti, progetti, segreti industriali che non devono transitare all'esterno.
• Finanza e assicurazioni — dati finanziari dei clienti e vincoli di settore stringenti.

I trade-off, detti onestamente

Il full-local dà il massimo isolamento, ma ha un prezzo. Non te lo nascondiamo:

• Hardware. Serve una GPU adeguata (acquisto o noleggio). È il costo più visibile.
• Gestione. Aggiornamenti, monitoraggio, backup: l'infrastruttura è tua, quindi la manutenzione è tua (o di chi te la gestisce).
• Qualità del modello. I migliori modelli open-source sono ottimi, ma sui ragionamenti più complessi restano un gradino sotto i top proprietari in cloud. Per un RAG documentale — dove il grosso del lavoro è il retrieval, non il ragionamento astratto — la differenza si sente poco.
• Scalabilità. Aumentare la capacità significa aggiungere hardware, non “alzare uno slider”.

Quando NON ti serve il full-local

Onestà: la maggior parte delle PMI non ha bisogno del full-local. Se i tuoi dati sono riservati ma non coperti da segreto professionale o categorie particolari, l'architettura ibrida ti dà quasi lo stesso livello di riservatezza (all'AI arrivano solo frammenti, con clausola no-training) a un costo e una complessità molto inferiori. Il full-local è la scelta giusta quando serve, non di default.

FAQ

Il RAG on-premise può funzionare senza internet?

Sì. In configurazione air-gapped l'intero sistema gira nella tua rete, scollegato dall'esterno. È il livello di isolamento richiesto in alcuni contesti della PA e della difesa.

Un modello open-source locale è abbastanza buono?

Per un RAG documentale, sì. Il compito principale è recuperare i passaggi giusti dai tuoi documenti e riformularli citando la fonte: qui i modelli open-weight recenti (Llama, Mistral) sono più che adeguati. La differenza coi top proprietari emerge su ragionamenti complessi, meno rilevanti in questo scenario.

Quanto costa in più rispetto al cloud?

Il costo dominante è la GPU (acquisto o noleggio) più la gestione. Non c'è un numero unico: dipende dai volumi e dalla ridondanza. In una call di 30 minuti dimensioniamo l'hardware sul tuo caso e ti diamo una stima chiara.

Posso partire ibrido e passare a on-premise dopo?

Sì, ed è spesso la strada più sensata: validi il caso d'uso in ibrido e sposti su full-local quando (e se) i vincoli lo richiedono. Reperix nasce proprio per coprire le tre configurazioni.