SPEED: secure, PrivatE, and efficient deep learning - Archive ouverte HAL Access content directly
Conference Papers Year : 2021

SPEED: secure, PrivatE, and efficient deep learning

(1) , (1, 2, 3) , (4) , (1) , (4)
1
2
3
4

Abstract

We introduce a deep learning framework able to deal with strong privacy constraints. Based on collaborative learning, differential privacy and homomorphic encryption, the proposed approach advances state-of-the-art of private deep learning against a wider range of threats, in particular the honest-but-curious server assumption. We address threats from both the aggregation server, the global model and potentially colluding data holders. Building upon distributed differential privacy and a homomorphic argmax operator, our method is specifically designed to maintain low communication loads and efficiency. The proposed method is supported by carefully crafted theoretical results. We provide differential privacy guarantees from the point of view of any entity having access to the final model, including colluding data holders, as a function of the ratio of data holders who kept their noise secret. This makes our method practical to real-life scenarios where data holders do not trust any third party to process their datasets nor the other data holders. Crucially the computational burden of the approach is maintained reasonable, and, to the best of our knowledge, our framework is the first one to be efficient enough to investigate deep learning applications while addressing such a large scope of threats. To assess the practical usability of our framework, experiments have been carried out on image datasets in a classification context. We present numerical results that show that the learning procedure is both accurate and private.
Nous présentons un schéma d'apprentissage profond fonctionnant sous de fortes contraintes de confidentialité. Fondé sur l'apprentissage collaboratif, la confidentialité différentielle et le chiffrement homomorphe, l'approche proposée étend le champ de menaces couvert par l'état de l'art sur l'apprentissage profond sécurisé, en particulier l'hypothèse du serveur honnête mais curieux. Nous répondons à des menaces provenant aussi bien du serveur d'agrégation que du modèle finale ou des propriétaires de données qui pourraient colluder. Grâce à la confidentialité différentielle distribuée et à un opérateur d'argmax homomorphe, notre méthode est spécialement conçue dans un but d'efficacité et de faible coût de communication. La méthode proposée est soutenue par des résultats théoriques précis. Nous fournissons des garanties de confidentialité différentielle du point de vue de n'importe quelle entité ayant accès au modèle final, y compris les propriétaires de données qui colludent, en fonction du ratio de propriétaires de données qui ont gardé leur bruit secret. Cela rend notre méthode applicable à des scénarios où les propriétaires de données ne font confiance ni à un tiers pour manipuler leurs jeux de données, ni aux autres propriétaires de données. Il est important d'ajouter que le coût computationnel de l'approche reste raisonnable et, à notre connaissance, notre protocole est le premier à être suffisamment efficace pour envisager des applications pour l'apprentissage profond confronté à un large spectre de menaces. Afin d'évaluer la pertinence pratique de notre schéma d'apprentissage, des expériences ont été réalisées sur des jeux de données d'images dans un contexte de classification. Nous présentons des résultats numériques qui prouvent que la procédure d'apprentissage est à la fois précise et confidentielle.
Embargoed file
Embargoed file
0 1 23
Year Month Jours
Avant la publication

Dates and versions

cea-03295491 , version 1 (22-07-2021)

Identifiers

Cite

Arnaud Grivet Sébert, Rafaël Pinot, Martin Zuber, Cedric Gouy-Pailler, Renaud Sirdey. SPEED: secure, PrivatE, and efficient deep learning. ECML PKDD 2021 - European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases, Basque Center for Applied Mathematics, Sep 2021, Bilbao, Spain. pp.675-694, ⟨10.1007/s10994-021-05970-3⟩. ⟨cea-03295491⟩
205 View
30 Download

Altmetric

Share

Gmail Facebook Twitter LinkedIn More