Privacidad del descenso de gradiente estocástico ruidoso: más iteraciones sin más pérdida de privacidad

Un tema central en el aprendizaje automático es cómo entrenar modelos con datos confidenciales de los usuarios. La industria ha adoptado ampliamente un algoritmo simple: Stochastic Gradient Descent con ruido (también conocido como Stochastic Gradient Langevin Dynamics). Sin embargo, las preguntas teóricas fundamentales sobre la pérdida de privacidad de este algoritmo permanecen abiertas, incluso en el entorno aparentemente simple de pérdidas convexas suaves en un dominio acotado. Nuestro resultado principal resuelve estas preguntas: para una amplia gama de parámetros, caracterizamos la privacidad diferencial hasta un factor constante. Este resultado revela que todos los análisis previos para esta configuración tienen un comportamiento cualitativo incorrecto. Específicamente, mientras que los análisis de privacidad anteriores aumentan hasta el infinito el número de iteraciones, mostramos que después de un pequeño período de prueba, ejecutar SGD ya no filtra más privacidad. Nuestro análisis se aparta completamente de los enfoques anteriores basados ​​en la mezcla rápida, y en su lugar utiliza técnicas basadas en el transporte óptimo (es decir, amplificación de privacidad por iteración) y el mecanismo gaussiano muestreado (es decir, amplificación de privacidad por muestreo). Nuestras técnicas se extienden fácilmente a otros entornos, por ejemplo, pérdidas fuertemente convexas, tamaños de pasos no uniformes, tamaños de lotes arbitrarios y elección aleatoria o cíclica de lotes.

*=Contribuyentes iguales

Fuente del artículo

Deja un comentario