Semântica della privacy differenziale per la personalizzazione on-device

Questo documento riassume l'approccio alla privacy per la personalizzazione sul dispositivo (ODP), in particolare nel contesto della privacy differenziale. Altre implicazioni per la privacy e decisioni di progettazione, come la minimizzazione dei dati, sono volutamente escluse per mantenere il documento incentrato sull'argomento.

Privacy differenziale

La privacy differenziale 1 è uno standard ampiamente adottato per la protezione della privacy nell'analisi dei dati statistici e nel machine learning 2 3. In termini informali, afferma che un avversario apprende quasi la stessa cosa su un utente dall'output di un algoritmo con privacy differenziale, indipendentemente dal fatto che il suo record sia presente o meno nel set di dati sottostante. Ciò implica protezioni efficaci per le persone: qualsiasi deduzione fatta su una persona può essere dovuta solo a proprietà aggregate del set di dati che sarebbero valide con o senza il record della persona.

Nel contesto del machine learning, l'output dell'algoritmo deve essere considerato come i parametri del modello addestrato. L'espressione quasi la stessa cosa viene quantificata matematicamente da due parametri (ε, δ), dove in genere si sceglie ε come una costante piccola e δ≪1/(numero di utenti).

Semantica della privacy

Il design dell'ODP mira a garantire che ogni esecuzione dell'addestramento sia con privacy differenziale a livello di utente (ε,δ). Di seguito è descritto il nostro approccio per raggiungere questa semantica.

Modello di minaccia

Definiamo le diverse parti e affermiamo delle ipotesi su ciascuna:

  • Utente: l'utente che possiede il dispositivo e che utilizza i prodotti o i servizi forniti dallo sviluppatore. Le loro informazioni private sono completamente disponibili per loro.
  • Trusted Execution Environment (TEE): i dati e i calcoli attendibili che si verificano all'interno dei TEE sono protetti dagli attaccanti utilizzando una serie di tecnologie. Pertanto, il calcolo e i dati non richiedono alcuna protezione aggiuntiva. I TEE esistenti potrebbero consentire agli amministratori del progetto di accedere alle informazioni al loro interno. Proponiamo funzionalità personalizzate per impedire e convalidare che l'accesso non sia disponibile per un amministratore.
  • L'aggressore: potrebbe avere informazioni aggiuntive sull'utente e ha accesso completo a qualsiasi informazione che esce dal TEE (ad esempio i parametri del modello pubblicati).
  • Sviluppatore:chi definisce e addestra il modello. È considerato non attendibile (e ha la massima capacità di un malintenzionato).

Cerchiamo di progettare l'ODP con la seguente semantica della privacy differenziale:

  • Limite di attendibilità:dal punto di vista di un utente, il limite di attendibilità è costituito dal dispositivo dell'utente e dal TEE. Qualsiasi informazione che esce da questo confine di attendibilità deve essere protetta dalla privacy differenziale.
  • Aggressore:protezione completa della privacy differenziale rispetto all'aggressore. Qualsiasi entità al di fuori del confine di attendibilità può essere un malintenzionato (inclusi lo sviluppatore e altri utenti, tutti potenzialmente in collusione). L'attaccante, date tutte le informazioni al di fuori del confine di attendibilità (ad esempio il modello pubblicato), eventuali informazioni aggiuntive sull'utente e risorse infinite, non è in grado di dedurre ulteriori dati privati sull'utente (oltre a quelli già presenti nelle informazioni aggiuntive), fino alle probabilità date dal budget di privacy. In particolare, ciò implica una protezione completa della privacy differenziale rispetto allo sviluppatore. Qualsiasi informazione rilasciata allo sviluppatore (ad esempio i parametri del modello addestrato o le inferenze aggregate) è protetta dalla privacy differenziale.

Parametri del modello locale

La precedente semantica della privacy ammette il caso in cui alcuni dei parametri del modello siano locali al dispositivo (ad esempio un modello che contiene un embedding utente specifico per ciascun utente e non condiviso tra gli utenti). Per questi modelli, questi parametri locali rimangono all'interno del confine di attendibilità (non vengono pubblicati) e non richiedono protezione, mentre i parametri del modello condiviso vengono pubblicati (e sono protetti dalla privacy differenziale). A volte è definito modello di privacy per i cartelloni pubblicitari 4.

Funzionalità pubbliche

In alcune applicazioni, alcune funzionalità sono pubbliche. Ad esempio, in un problema di consigli sui film, le caratteristiche di un film (regista, genere o anno di uscita) sono informazioni pubbliche e non richiedono protezione, mentre le caratteristiche relative all'utente (come informazioni demografiche o i film guardati dall'utente) sono dati privati e richiedono protezione.

Le informazioni pubbliche sono formalizzate come una matrice di funzionalità pubblica (nell'esempio precedente, questa matrice conterrà una riga per film e una colonna per funzionalità del film) disponibile per tutte le parti. L'algoritmo di addestramento con privacy differenziale può utilizzare questa matrice senza doverla proteggere, ad esempio 5. La piattaforma ODP prevede di implementare questi algoritmi.

Un approccio alla privacy durante la previsione o l'inferenza

Le inferenze si basano sui parametri del modello e sulle funzionalità di input. I parametri del modello vengono addestrati con la semantica della privacy differenziale. Qui viene discusso il ruolo delle funzionalità di input.

In alcuni casi d'uso, quando lo sviluppatore ha già accesso completo alle funzionalità utilizzate nell'inferenza, non ci sono problemi di privacy e il risultato dell'inferenza potrebbe essere visibile allo sviluppatore.

In altri casi (quando le funzionalità utilizzate nell'inferenza sono private e non accessibili allo sviluppatore), il risultato dell'inferenza potrebbe essere nascosto allo sviluppatore, ad esempio facendo in modo che l'inferenza (e qualsiasi processo a valle che utilizza il risultato dell'inferenza) venga eseguita sul dispositivo, in un processo e un'area di visualizzazione di proprietà del sistema operativo, con limitazioni alla comunicazione al di fuori di questo processo.

Procedura di addestramento

Architettura di alto livello del sistema di allenamento
Figura 1: architettura di alto livello del sistema di addestramento.

Panoramica

Questa sezione fornisce una panoramica dell'architettura e della procedura di addestramento, come mostrato nella Figura 1. ODP implementa i seguenti componenti:

  • Un distributore attendibile, ad esempio la selezione federata, il download attendibile o il recupero di informazioni private, che svolge il ruolo dei parametri del modello di trasmissione. Si presume che il distributore attendibile possa inviare un sottoinsieme di parametri a ciascun client, senza rivelare quali parametri sono stati scaricati da quale client. Questa "trasmissione parziale" consente al sistema di ridurre al minimo l'impronta sul dispositivo dell'utente finale: anziché inviare una copia completa del modello, a un determinato utente viene inviata solo una frazione dei parametri del modello.

  • Un aggregatore attendibile, che aggrega le informazioni di più client (ad es. gradienti o altre statistiche), aggiunge rumore e invia il risultato al server. Si presume che esistano canali attendibili tra il cliente e l'aggregatore e tra il cliente e il distributore.

  • Algoritmi di addestramento DP eseguiti su questa infrastruttura. Ogni algoritmo di addestramento è costituito da diversi calcoli eseguiti sui diversi componenti (server, client, aggregatore, distributore).

Un tipico ciclo di addestramento prevede i seguenti passaggi:

  1. Il server trasmette i parametri del modello al distributore attendibile.
  2. Calcolo del cliente
    • Ogni dispositivo client riceve il modello di trasmissione (o il sottoinsieme di parametri pertinenti per l'utente).
    • Ogni client esegue alcuni calcoli (ad esempio, calcola i gradienti o altre statistiche sufficienti).
    • Ogni cliente invia il risultato del calcolo all'aggregatore attendibile.
    • L'aggregatore attendibile raccoglie, aggrega e protegge le statistiche dei client utilizzando meccanismi di privacy differenziale appropriati, quindi invia il risultato al server.
  3. Calcolo del server
  4. Il server (non attendibile) esegue i calcoli sulle statistiche protette dalla privacy differenziale (ad esempio, utilizza i gradienti aggregati con privacy differenziale per aggiornare i parametri del modello).

Modelli fattorizzati e minimizzazione alternata con privacy differenziale

La piattaforma ODP prevede di fornire algoritmi di addestramento con privacy differenziale di uso generale che possono essere applicati a qualsiasi architettura del modello (come DP-SGD 6 7 8 o DP-FTRL 9 10), nonché algoritmi specializzati per i modelli factorizzati.

I modelli fattorizzati sono modelli che possono essere decomposti in sottomodelli (chiamati codificatori o tower). Ad esempio, considera un modello del tipo f(u(θu, xu), v(θv, xv)), in cui u() codifica le funzionalità utente xu (e ha i parametri θu) e v() codifica le funzionalità non utente xv (e ha i parametri θu). Le due codifiche vengono combinate utilizzando f() per produrre la previsione finale del modello.θv Ad esempio, in un modello di consigli sui film, xu sono le caratteristiche dell'utente e xv sono le caratteristiche del film.

Questi modelli sono adatti all'architettura di sistema distribuita sopra menzionata (poiché separano le funzionalità per gli utenti e quelle per gli altri utenti).

I modelli fattorizzati verranno addestrati utilizzando la minimizzazione alternata con privacy differenziale (DPAM), che alterna l'ottimizzazione dei parametri θu (mentre θv è fisso) e viceversa. È stato dimostrato che gli algoritmi DPAM offrono una maggiore utilità in una serie di impostazioni 4 11, in particolare in presenza di funzionalità pubbliche.

Riferimenti