Semántica de privacidad diferencial para la personalización integrada en el dispositivo

En este documento, se resume el enfoque de privacidad para la personalización integrada en el dispositivo (ODP) específicamente en el contexto de la privacidad diferencial. Se omiten intencionalmente otras implicaciones de privacidad y decisiones de diseño, como la minimización de datos, para mantener el enfoque de este documento.

Privacidad diferencial

La privacidad diferencial 1 es un estándar de protección de la privacidad ampliamente adoptado en el análisis de datos estadísticos y el aprendizaje automático 2 3. De manera informal, se dice que un adversario aprende casi lo mismo sobre un usuario a partir del resultado de un algoritmo de privacidad diferencial, independientemente de si su registro aparece o no en el conjunto de datos subyacente. Esto implica protecciones sólidas para las personas: cualquier inferencia que se haga sobre una persona solo puede deberse a propiedades agregadas del conjunto de datos que se conservarían con o sin el registro de esa persona.

En el contexto del aprendizaje automático, el resultado del algoritmo debe considerarse como los parámetros del modelo entrenado. La frase casi lo mismo se cuantifica matemáticamente con dos parámetros (ε, δ), en los que ε suele elegirse como una constante pequeña y δ≪1/(cantidad de usuarios).

Semántica de privacidad

El diseño de la ODP busca garantizar que cada ejecución de entrenamiento tenga una privacidad diferencial a nivel del usuario (ε,δ). A continuación, se describe nuestro enfoque para alcanzar esta semántica.

Modelo de amenaza

Definimos las diferentes partes y establecemos las siguientes suposiciones sobre cada una:

  • Usuario: Es el usuario propietario del dispositivo y consumidor de los productos o servicios que proporciona el desarrollador. Su información privada está completamente disponible para ellos.
  • Entorno de ejecución confiable (TEE): Los datos y los cálculos confiables que se producen dentro de los TEE están protegidos de los atacantes con una variedad de tecnologías. Por lo tanto, el procesamiento y los datos no requieren protección adicional. Los TEE existentes pueden permitir que los administradores de proyectos accedan a la información que contienen. Proponemos capacidades personalizadas para denegar y validar que el acceso no esté disponible para un administrador.
  • El atacante: Puede tener información lateral sobre el usuario y tiene acceso completo a cualquier información que salga del TEE (como los parámetros del modelo publicados).
  • Desarrollador: Es quien define y entrena el modelo. Se considera no confiable (y tiene la capacidad total de un atacante).

Buscamos diseñar la ODP con la siguiente semántica de privacidad diferencial:

  • Límite de confianza: Desde la perspectiva de un usuario, el límite de confianza consiste en su propio dispositivo junto con el TEE. Toda la información que salga de este límite de confianza debe estar protegida por la privacidad diferencial.
  • Atacante: Protección completa de la privacidad diferencial con respecto al atacante. Cualquier entidad fuera del límite de confianza puede ser un atacante (incluidos el desarrollador y otros usuarios, que podrían estar coludidos). Si se le proporciona toda la información fuera del límite de confianza (por ejemplo, el modelo publicado), cualquier información lateral sobre el usuario y recursos infinitos, el atacante no puede inferir datos privados adicionales sobre el usuario (más allá de los que ya están en la información lateral), hasta las probabilidades que proporciona el presupuesto de privacidad. En particular, esto implica una protección completa de la privacidad diferencial con respecto al desarrollador. Toda la información que se le proporciona al desarrollador (como los parámetros del modelo entrenado o las inferencias agregadas) está protegida por la privacidad diferencial.

Parámetros del modelo local

La semántica de privacidad anterior se adapta al caso en el que algunos de los parámetros del modelo son locales para el dispositivo (por ejemplo, un modelo que contiene una incorporación de usuario específica para cada usuario y que no se comparte entre los usuarios). En estos modelos, estos parámetros locales permanecen dentro del límite de confianza (no se publican) y no requieren protección, mientras que los parámetros de modelos compartidos se publican (y están protegidos por la privacidad diferencial). A veces, esto se conoce como el modelo de privacidad de los carteles 4.

Características públicas

En algunas aplicaciones, algunas de las funciones son públicas. Por ejemplo, en un problema de recomendación de películas, las características de una película (el director, el género o el año de lanzamiento) son información pública y no requieren protección, mientras que las características relacionadas con el usuario (como la información demográfica o las películas que miró) son datos privados y requieren protección.

La información pública se formaliza como una matriz de atributos públicos (en el ejemplo anterior, esta matriz contendría una fila por película y una columna por atributo de película) que está disponible para todas las partes. El algoritmo de entrenamiento con privacidad diferencial puede usar esta matriz sin necesidad de protegerla. Consulta, por ejemplo, 5. La plataforma de la ODP planea implementar esos algoritmos.

Un enfoque hacia la privacidad durante la predicción o inferencia

Las inferencias se basan en los parámetros del modelo y en los atributos de entrada. Los parámetros del modelo se entrenan con semántica de privacidad diferencial. Aquí, se analiza el rol de los atributos de entrada.

En algunos casos de uso, cuando el desarrollador ya tiene acceso completo a las funciones que se usan en la inferencia, no hay problemas de privacidad por parte de la inferencia y el desarrollador puede ver el resultado de la inferencia.

En otros casos (cuando las funciones que se usan en la inferencia son privadas y el desarrollador no puede acceder a ellas), el resultado de la inferencia puede ocultarse al desarrollador, por ejemplo, si la inferencia (y cualquier proceso descendente que use el resultado de la inferencia) se ejecuta en el dispositivo, en un proceso y un área de visualización propiedad del SO, con una comunicación restringida fuera de ese proceso.

Procedimiento de entrenamiento

Arquitectura de alto nivel del sistema de entrenamiento
Figura 1: Arquitectura de alto nivel del sistema de entrenamiento.

Descripción general

En esta sección, se proporciona una descripción general de la arquitectura y cómo se lleva a cabo el entrenamiento (consulta la Figura 1). La ODP implementa los siguientes componentes:

  • Un distribuidor de confianza, como la selección federada, la descarga de confianza o la recuperación de información privada, que desempeña el papel de parámetros de transmisión del modelo. Se supone que el distribuidor de confianza puede enviar un subconjunto de parámetros a cada cliente, sin revelar qué parámetros descargó cada cliente. Esta "transmisión parcial" permite que el sistema minimice el espacio en el dispositivo del usuario final: en lugar de enviar una copia completa del modelo, solo se envía una fracción de los parámetros del modelo a un usuario determinado.

  • Un agregador de confianza, que agrega información de varios clientes (p.ej., gradientes o otras estadísticas), agrega ruido y envía el resultado al servidor. Se supone que hay canales de confianza entre el cliente y el agregador, y entre el cliente y el distribuidor.

  • Los algoritmos de entrenamiento de DP que se ejecutan en esta infraestructura Cada algoritmo de entrenamiento consta de diferentes cálculos que se ejecutan en los diferentes componentes (servidor, cliente, agregador y distribuidor).

Una ronda de capacitación típica consta de los siguientes pasos:

  1. El servidor transmite los parámetros del modelo al distribuidor de confianza.
  2. Cálculo del cliente
    • Cada dispositivo cliente recibe el modelo de transmisión (o el subconjunto de parámetros relevantes para el usuario).
    • Cada cliente realiza algún procesamiento (por ejemplo, calcular gradientes o otras estadísticas suficientes).
    • Cada cliente envía el resultado del procesamiento al agregador de confianza.
    • El agregador de confianza recopila, agrega y protege las estadísticas de los clientes con los mecanismos de privacidad diferencial adecuados y, luego, envía el resultado al servidor.
  3. Cálculo del servidor
  4. El servidor (no confiable) ejecuta cálculos en las estadísticas protegidas por privacidad diferencial (por ejemplo, usa gradientes agregados con privacidad diferencial para actualizar los parámetros del modelo).

Modelos factorizados y minimización alternada con privacidad diferencial

La plataforma de ODP planea proporcionar algoritmos de entrenamiento de privacidad diferencial de uso general que se puedan aplicar a cualquier arquitectura de modelo (como DP-SGD 6 7 8 o DP-FTRL 9 10, así como algoritmos especializados en modelos factorizados.

Los modelos factorizados son modelos que se pueden descomponer en submodelos (llamados codificadores o torres). Por ejemplo, considera un modelo del tipo f(u(θu, xu), v(θv, xv)), en el que u() codifica las características del usuario xu (y tiene los parámetros θu) y v() codifica las características que no son del usuario xv (y tiene los parámetros θv). Las dos codificaciones se combinan con f() para producir la predicción del modelo final. Por ejemplo, en un modelo de recomendación de películas, xu son las características del usuario y xv son las características de la película.

Estos modelos se adaptan bien a la arquitectura de sistemas distribuidos antes mencionada (ya que separan las funciones del usuario y las que no son del usuario).

Los modelos factorizados se entrenarán con la minimización alternada con privacidad diferencial (DPAM), que alterna entre la optimización de los parámetros θu (mientras θv es fijo) y viceversa. Se demostró que los algoritmos de DPAM logran una mejor utilidad en una variedad de parámetros de configuración 4 11, en particular, en presencia de componentes públicos.

Referencias