Les deepfakes représentent déjà une menace sérieuse pour plusieurs domaines tels que la politique, les nouvelles, les divertissements, etc. Malgré de nombreuses méthodes basées sur la détection passive ou la défense active, très peu de méthodes peuvent simultanément réaliser une détection passive et une défense active. Pour résoudre ce problème, nous proposons un cadre de défense complet reposant sur la fusion de caractéristiques inter-domaines et un tatouage réversible, permettant ainsi de réaliser simultanément une détection passive et une défense active. Le module de défense active est composé d'un codeur et de deux décodeurs réversibles, où le codeur incorpore un tatouage dans une image protégée du visage, et les deux décodeurs extraient des tatouages améliorés distincts. Le tatouage robuste peut suivre de manière fiable les visages de confiance, tandis que le tatouage semi-robuste est sensible aux attaques malveillantes (telles que les attaques deepfake ou la suppression du tatouage), qui peuvent entraîner la disparition du tatouage. Lorsque le tatouage disparaît, le module de détection passive fusionne en plus des caractéristiques spatiales et fréquentielles, différenciant davantage s'il a été soumis à une attaque deepfake ou à une attaque de suppression de tatouage. La stratégie de fusion de caractéristiques inter-domaines proposée remplace d'abord le canal 'principal' de la caractéristique fréquentielle par le canal 'secondaire' de la caractéristique spatiale, puis remplace le canal 'principal' de la caractéristique spatiale par le canal 'secondaire' de la caractéristique fréquentielle. De nombreuses expériences montrent que la méthode proposée permet non seulement de fournir un mécanisme de défense active (c'est-à-dire le traçage et la protection des droits d'auteur), mais aussi de réaliser une détection passive en l'absence de tatouage, distinguant davantage les attaques deepfake des attaques de suppression de tatouage, fournissant ainsi un cadre de défense complet.
Keywords
détection des deepfakes, défense active, traçage, fusion de caractéristiques inter-domaines, attaque de suppression de tatouage