L'assistente AI che protegge i dati sensibili

Il contesto

Chi guida una piccola azienda passa ore tra email, calendario e documenti. Un assistente AI che li legge, li riassume e risponde a voce fa risparmiare tempo. Ma per essere utile deve vedere quasi tutto: fatture, contratti, dati dei clienti.

Il problema

Un assistente che vede tutto porta con sé quattro rischi concreti:

• i dati sensibili finiscono nei server di chi fornisce il modello AI;
• un'istruzione nascosta in una mail o in una pagina web può spingerlo a fare qualcosa che nessuno ha chiesto;
• può modificare o cancellare dati senza che nessuno se ne accorga;
• i costi delle chiamate ai modelli possono salire senza controllo.

Volevo un assistente utile, progettato partendo da questi rischi invece di aggiungere le protezioni alla fine.

La soluzione

L'ho progettato con sei scelte precise.

• L'assistente lavora in un recinto chiuso. Gira in un contenitore isolato che non raggiunge internet: parla solo con i servizi previsti, uno per uno.
• Le chiavi stanno fuori dall'AI. Ogni credenziale vive in un processo separato. L'assistente chiede un'operazione, ma non vede mai la chiave che serve per farla.
• I dati sensibili si oscurano prima di uscire. Prima di ogni chiamata al modello, un filtro nasconde IBAN, codici fiscali, numeri di carta e codici di accesso.
• La memoria resta sul computer. I ricordi sono una rete di fatti collegati, cercata per significato e per parole chiave. Il calcolo che serve a cercarli si fa in locale, quindi il testo non esce per la ricerca.
• Ogni modifica chiede il permesso. Quando l'assistente vuole cambiare un documento, nell'app compare un riquadro con cosa cambia e dove, e due pulsanti. Ogni operazione finisce in un registro e si può annullare.
• La spesa ha un tetto. C'è un limite mensile, e le parti ripetute delle richieste si riusano invece di pagarle ogni volta.

Il risultato

• Nel collaudo della prima fase ho verificato l'83% dei criteri di accettazione: manca solo la prova dal vivo della voce.
• Il filtro ha oscurato i dati sensibili nel 100% delle prove.
• Sulle domande reali, la memoria trova la risposta giusta nel 95% delle domande.
• A voce, dalla fine della domanda alla prima parola della risposta passa circa un secondo e mezzo.
• Nel primo mese di prove la spesa per i modelli è rimasta sotto un dollaro.

Cosa puoi portarti a casa

• Se un assistente AI deve leggere dati aziendali, decidi prima cosa non deve poter fare, poi cosa deve fare.
• Tieni separate la lettura e l'azione: leggere può essere automatico, modificare no.
• Le chiavi non vanno date all'AI: vanno date a un servizio che esegue solo le operazioni previste.
• Misura: quante risposte giuste, in quanto tempo, a che costo. Senza numeri, «funziona» non vuol dire niente.

È un mio progetto interno: i dettagli tecnici sono semplificati per chi non è del mestiere.