基于深度学习的社交网络图像隐私保护方法及系统技术方案

一种基于深度学习的社交网络图像隐私保护方法及系统，离线阶段通过人脸检测得到数据集中每张图像上出现的所有人脸，然后提取人脸面部元数据作为特征，并为每张人脸贴标签标识其主人公或者陌生人的身份从而使得特征与标签共同构成用于训练神经网络分类器的训练数据；在线阶段通过检测输入的社交网络图像中的所有人脸，利用特征提取得到每个人脸对应的特征信息并输入训练后的神经网络分类器，得出该人脸为主人公或陌生人的分类结果，当分类结果为陌生人时则对该陌生人对应的面部图像进行模糊处理并得到更新后的社交网络图像。本发明专利技术通过深度神经网络学习图像中主体的特征，对人脸进行分类，最后模糊掉陌生人脸达到保护陌生人隐私的目的。人隐私的目的。人隐私的目的。

【技术实现步骤摘要】
基于深度学习的社交网络图像隐私保护方法及系统


[0001]本专利技术涉及的是一种信息安全领域的技术，具体是一种基于深度学习的社交网络图像隐私保护系统及方法。

技术介绍

[0002]现有的图像隐私保护方法主要集中于对照片所有者和共同所有者的保护，而为在照片中的陌生人提供隐私保护所做的研究较少，目前没有通用的技术方法来保护陌生人的隐私。

技术实现思路

[0003]本专利技术针对现有技术存在的不足，提出了一种基于深度学习的社交网络图像隐私保护方法及系统，通过深度神经网络学习图像中主体的特征，对人脸进行分类，最后模糊掉陌生人脸达到保护陌生人隐私的目的。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于深度学习的社交网络图像隐私保护方法，包括：离线的模型训练部分和在线的社交网络图像检测部分，其中：离线阶段通过人脸检测得到数据集中每张图像上出现的所有人脸，然后提取人脸面部元数据作为特征，并为每张人脸贴标签标识其主人公或者陌生人的身份从而使得特征与标签共同构成用于训练神经网络分类器的训练数据；在线阶段通过检测输入的社交网络图像中的所有人脸，利用特征提取得到每个人脸对应的特征信息并输入训练后的神经网络分类器，得出该人脸为主人公或陌生人的分类结果，当分类结果为陌生人时则对该陌生人对应的面部图像进行模糊处理并得到更新后的社交网络图像。
[0006]所述的人脸检测是指：使用RetinaFace人脸检测算法对图像中的所有人脸进行定位，具体的人脸定位信息包括：人脸框坐标和五个人脸关键点坐标。其中人脸关键点包括：左眼、右眼、鼻子、左嘴角和右嘴角。
[0007]所述的人脸面部元数据包括：人脸大小、人脸数量、人脸位置、人脸数量、人脸亮度、人脸模糊程度和人脸姿态。
[0008]所述的神经网络分类器为5层架构的深度神经网络，包括：输入层、输出层和三个隐藏层，其中：三个隐藏层中的节点数分别为64、32和16，每个隐藏层使用ReLU作为激活函数，使用交叉熵(binary cross entropy)loss作为损失函数。
[0009]所述的神经网络分类器，采用反向传播算法训练，使用Keras框架下Adam优化器的默认学习率0.001，训练迭代次数(epoch)设置为500，步长(batch)设置为128。
[0010]所述的特征提取是指：对图像中的人脸进行面部特征元数据提取得到初始面部特征信息，经身份贴标签后输出。
[0011]所述的模糊处理采用但不限于：PIL(Python Image Library)对人脸进行高斯模糊，模糊半径设置为12。
技术效果
[0012]本专利技术整体解决了现有技术存在的缺乏平台通用性、需要设置复杂的访问控制策略等不足；本专利技术不需要陌生人或主人公主动采取隐私保护措施；不需要借助人脸识别技术和地理位置等辅助的敏感信息；容易集成在现有社交网络平台或相机中；能保护非特定平台用户的陌生人；本专利技术在图像数据集上分类目标人物和陌生人的准确率达到94.49％，在真实的社交网络共享图像上的准确率达到87.52％，能够有效地保护图像中陌生人的隐私；具有良好的可扩展性，增加训练数据集后可以提高模型的准确率。
附图说明
[0013]图1为本专利技术系统结构示意图；
[0014]图2为实施例效果示意图；
[0015]图中具体人脸因涉及隐私进行特殊处理。
具体实施方式
[0016]如图1所示，为本实施例涉及的一种基于深度学习的社交网络图像隐私保护系统，包括：人脸检测模块、特征提取模块、深度神经网络训练模块、人脸分类模块和人脸模糊模块，其中：人脸检测模块与特征提取模块相连并传输图像中的人脸定位信息，特征提取模块与深度神经网络训练模块相连并传输训练数据信息，人脸分类模块与人脸检测模块相连并传输待检测图像信息，深度神经网络训练模块与人脸分类模块相连并传输人脸分类模型信息，人脸模糊模块与人脸分类模块相连接收人脸判别信息并处理图像中的陌生人脸。
[0017]所述的人脸检测模块包括：数据读取单元和人脸检测单元，其中：数据读取单元从图像数据集中读取图像，人脸检测单元与数据读取单元相连并定位图像中的人脸。
[0018]所述的特征提取模块包括：元数据提取单元、数据处理单元和数据标记单元，其中：元数据提取单元对图像中的人脸进行面部特征元数据提取，数据处理单元与元数据提取单元相连接收初始面部特征信息并对数据进行处理，数据标记单元与数据处理单元相连接收人脸特征并主人公和陌生人两种身份贴标签，数据标记单元输出数据作为本模块的输出数据与深度神经网络训练模块相连并为其提供训练数据。
[0019]所述的面部特征元数据包括：人脸大小、人脸数量、人脸位置、人脸数量、人脸亮度、人脸模糊程度和人脸姿态。
[0020]所述的深度神经网络训练模块包括：数据划分单元和训练单元，其中：数据划分单元与训练单元相连并传输划分好的训练集与测试集数据信息，训练单元输出数据作为本模块输出数据与人脸分类模块相连并为其提供人脸分类模型。
[0021]所述的人脸分类模块包括：数据读取单元和人脸分类单元，其中：数据读取单元与人脸检测模块相连并传输待检测的图像，人脸分类单元与特征提取模块的数据处理单元相连并接收图像中的人脸特征信息，人脸分类单元将数据输入到训练后的深度神经网络模型中进行人脸分类，人脸分类结果作为本模块输出数据与人脸模糊模块相连并为其提供判定信息。
[0022]所述的人脸模糊模块，通过高斯模糊算法处理图像中的陌生人脸，得到仅包含主人公人脸的图像。
[0023]本实施例基于上述系统的基于深度学习的社交网络图像中陌生人隐私保护方法，具体步骤包括：
[0024]S1)离线训练阶段，读取图像集中的图像，使用RetinaFace人脸检测算法对图像中的所有人脸进行定位，具体的人脸定位信息包括：人脸框坐标和五个人脸关键点坐标。其中人脸关键点包括：左眼、右眼、鼻子、左嘴角和右嘴角。
[0025]S2)根据人脸定位信息，提取人脸面部特征元数据，具体的面部特征包括：人脸大小、人脸数量、人脸位置、人脸数量、人脸亮度、人脸模糊程度和人脸姿态。
[0026]所述的人脸大小，即基于人脸框坐标计算出每张人脸的大小，具体为：Size＝(x2‑
x1)
ꢀ×
(y2‑
y1)，其中(x1,y1)为RetinaFace人脸检测算法返回的矩形人脸框左上角顶点坐标，(x2,y2) 为RetinaFace人脸检测算法返回的矩形人脸框右下角顶点坐标。
[0027]所述的人脸位置是指：将原始图像的长和高分别三等分后划分为九个区域，从上到下、从左到右依次用1
‑
9这9个数字标记，计算每个人脸的两眼坐标平均值，用该平均值坐标对应的区域的数字标记代表人脸所在图像区域。
[0028]所述的人脸数量是指：对一张图像上提取到的所有人脸进行计数。
[0029]所述的人脸亮度是指：测量YUV色本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的社交网络图像隐私保护方法，其特征在于，包括：离线的模型训练部分和在线的社交网络图像检测部分，其中：离线阶段通过人脸检测得到数据集中每张图像上出现的所有人脸，然后提取人脸面部元数据作为特征，并为每张人脸贴标签标识其主人公或者陌生人的身份从而使得特征与标签共同构成用于训练神经网络分类器的训练数据；在线阶段通过检测输入的社交网络图像中的所有人脸，利用特征提取得到每个人脸对应的特征信息并输入训练后的神经网络分类器，得出该人脸为主人公或陌生人的分类结果，当分类结果为陌生人时则对该陌生人对应的面部图像进行模糊处理并得到更新后的社交网络图像；所述的人脸检测是指：使用RetinaFace人脸检测算法对图像中的所有人脸进行定位，具体的人脸定位信息包括：人脸框坐标和五个人脸关键点坐标，其中人脸关键点包括：左眼、右眼、鼻子、左嘴角和右嘴角；所述的人脸面部元数据包括：人脸大小、人脸数量、人脸位置、人脸数量、人脸亮度、人脸模糊程度和人脸姿态。2.根据权利要求1所述的基于深度学习的社交网络图像隐私保护方法，其特征是，所述的人脸亮度是指：测量YUV色彩空间下图像的亮度，具体为：计算YUV颜色空间的Y分量Y＝0.299
×
R+0.587
×
G+0.114
×
B，其中：R、G和B分别是RGB颜色空间的红色、绿色和蓝色分量；计算亮度其中：M
×
N为图像的像素值。3.根据权利要求1所述的基于深度学习的社交网络图像隐私保护方法，其特征是，所述的神经网络分类器为5层架构的深度神经网络，包括：输入层、输出层和三个隐藏层，其中：三个隐藏层中的节点数分别为64、32和16，每个隐藏层使用ReLU作为激活函数，使用交叉熵(binarycrossentropy)loss作为损失函数；所述的神经网络分类器，采用反向传播算法训练，使用Keras框架下Adam优化器的默认学习率0.001，训练迭代次数(epoch)设置为500，步长(batch)设置为128。4.根据权利要求1所述的基于深度学习的社交网络图像隐私保护方法，其特征是，所述的特征提取是指：对图像中的人脸进行面部特征元数据提取得到初始面部特征信息，经身份贴标签后输出。5.根据权利要求1所述的基于深度学习的...

【专利技术属性】
技术研发人员：邱卫东，牛玉琪，唐鹏，郭捷，王杨德，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：