一种个人图像隐私保护方法、系统及电子设备技术方案

本发明专利技术公开了一种个人图像隐私保护方法、系统及电子设备。本发明专利技术提供的方法允许用户通过语言表达来指定保护图像中的某个人，通过使用轻量级深度神经网络对输入指代信息和个人图像进行并行编码，生成图像与文本信息充分融合的多尺度视觉特征，在解码过程中，通过多尺度特征融合和掩码定位增强模块，生成稳定的指定个人隐私保护图像掩码，此外，引入平衡二元交叉熵损失来解决训练中的像素不平衡问题，优化网络性能，提高个人图像隐私保护效果。本发明专利技术可以解决现有个人图像隐私保护技术中存在内容过度保护以及指代个人图像隐私保护网络在训练中存在的像素不平衡问题。在训练中存在的像素不平衡问题。在训练中存在的像素不平衡问题。

【技术实现步骤摘要】
一种个人图像隐私保护方法、系统及电子设备


[0001]本申请属于多模态图像分割和图像隐私保护
，具体涉及一种个人图像隐私保护方法、系统及电子设备。

技术介绍

[0002]网络平台和社交媒体的爆炸性繁荣极大地丰富了人们的生活。然而，在社交网络中进行个人信息分享的同时，大量的个人图片会在网络中被传输共享，这可能会导致个人隐私信息的泄露，特别是个人身份等信息，这会带来潜在的隐私侵犯和侵权问题。
[0003]现有的图像隐私保护方法主要分为传统方法和深度学习方法。传统的隐私保护方式通常采用自动遮蔽策略，如对整个图像进行马赛克或模糊处理，这不可避免地导致了严重的信息损失。近年来，受益于深度学习的发展与人脸检测和人体姿态识别技术的进步，现有的检测方法能自动检测出图像中所有的人脸和身体，然后模糊它们以过滤掉私人信息。虽然这些隐私保护方法可以有效地保护个人隐私，但是当用户只希望隐藏屏蔽掉一个或部分人时，就会面临内容过度保护的问题，图像中的一个或多个不被期望屏蔽的人被不可避免地屏蔽，产生不必要的图像信息损失。在这种情况下，现有方法通常需要对图像区域进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种个人图像隐私保护方法，其特征在于，包括以下步骤：步骤一，构建指代个人图像隐私保护数据集，所述数据集中的数据包含与人相关的图像、相应的指代文字描述以及真实标注掩码；步骤二，将图像与指代文字描述输入至文本感知的视觉编码网络中，提取多尺度的指代局部信息增强的视觉特征；步骤三，将多尺度的指代局部信息增强的视觉特征输入至多尺度特征解码网络中，输出高质量图像掩码，获得图像中需要保护的人的具体位置；步骤四，基于平衡二元交叉熵损失函数对图像进行训练优化，通过在二元交叉熵的基础上引入平衡系数项，缓解网络训练时像素不平衡的问题。2.根据权利要求1所述的方法，其特征在于，在步骤一中，所述数据集包括训练集、测试集和验证集，训练集、测试集和验证集按照8：1：1的比例划分。3.根据权利要求2所述的方法，其特征在于，在步骤一中，数据集根据指代文字描述内容不同分为三种类别数据集，具体包括:第一类数据集，其指代文字长度较短，少于10个词，包含位置信息词；第二类数据集，其指代文字长度中等，为10至15个词，包含外观词；第三类数据集，其对文本描述更为丰富，包含位置信息词和外观词。4.根据权利要求3所述的方法，其特征在于，在步骤二中，所述视觉编码网络包括图像编码模块、文本编码模块以及图像文本多尺度编码模块，其中：所述图像编码模块用于提取多尺度视觉特征；所述文本编码模块用于将输入文本编码成词向量；所述图像文本多尺度编码模块用于将从原始数据提取到的图像模态特征与文本模态特征输入进带有文本感知控制门的文本感知注意力机制，增强多尺度视觉特征中指代的视觉局部信息。5.根据权利要求4...

【专利技术属性】
技术研发人员：李智勇，陈嘉俊，林家丞，肖志强，付浩龙，王子安，刘函豪，郭一呼，
申请(专利权)人：湖南大学，
类型：发明
国别省市：