一种个人图像隐私保护方法、系统及电子设备技术方案

本发明专利技术公开了一种个人图像隐私保护方法、系统及电子设备。本发明专利技术提供的方法允许用户通过语言表达来指定保护图像中的某个人，通过使用轻量级深度神经网络对输入指代信息和个人图像进行并行编码，生成图像与文本信息充分融合的多尺度视觉特征，在解码过程中，通过多尺度特征融合和掩码定位增强模块，生成稳定的指定个人隐私保护图像掩码，此外，引入平衡二元交叉熵损失来解决训练中的像素不平衡问题，优化网络性能，提高个人图像隐私保护效果。本发明专利技术可以解决现有个人图像隐私保护技术中存在内容过度保护以及指代个人图像隐私保护网络在训练中存在的像素不平衡问题。在训练中存在的像素不平衡问题。在训练中存在的像素不平衡问题。

【技术实现步骤摘要】
一种个人图像隐私保护方法、系统及电子设备


[0001]本申请属于多模态图像分割和图像隐私保护
，具体涉及一种个人图像隐私保护方法、系统及电子设备。

技术介绍

[0002]网络平台和社交媒体的爆炸性繁荣极大地丰富了人们的生活。然而，在社交网络中进行个人信息分享的同时，大量的个人图片会在网络中被传输共享，这可能会导致个人隐私信息的泄露，特别是个人身份等信息，这会带来潜在的隐私侵犯和侵权问题。
[0003]现有的图像隐私保护方法主要分为传统方法和深度学习方法。传统的隐私保护方式通常采用自动遮蔽策略，如对整个图像进行马赛克或模糊处理，这不可避免地导致了严重的信息损失。近年来，受益于深度学习的发展与人脸检测和人体姿态识别技术的进步，现有的检测方法能自动检测出图像中所有的人脸和身体，然后模糊它们以过滤掉私人信息。虽然这些隐私保护方法可以有效地保护个人隐私，但是当用户只希望隐藏屏蔽掉一个或部分人时，就会面临内容过度保护的问题，图像中的一个或多个不被期望屏蔽的人被不可避免地屏蔽，产生不必要的图像信息损失。在这种情况下，现有方法通常需要对图像区域进行手动模糊处理，导致额外的人工操作成本。
[0004]最近，随着多模态领域技术进步，指代图像分割技术使得根据复杂的语言表达或音频输入来捕捉定位图像中对应的区域成为可能，为依靠文本或语音信息定位图像中的需要保护的对象或隐私信息提供了一种潜在的解决方案。更重要的是，使用音频或文本输入有以下优势，首先，由于文本包含丰富的高维语义信息，它已被证明在指代分割和语义表示领域具有出色的概括能力和高效的对象定位能力；其次，通过使用音频与设备交互是人们日常生活的一部分，因此，指代个人图像隐私保护技术具有广泛的应用场景，如保密视频会议等。然而，现有的指代图像分割方法很少有考虑到在指代和非指代图像像素之间通过二元交叉熵(BCE)损失训练，由于在图像中指代的区域只占很小的比例，会存在训练像素不平衡的问题，这种不平衡对指代图像隐私保护技术发展的阻碍是相当严重的，它将阻碍网络的优化训练，导致对所指物体的不能够精确定位，严重影响了该方法在隐私保护中应用的实际性能。

技术实现思路

[0005]本专利技术公开了一种个人图像隐私保护方法、系统及电子设备，其可以有效解决
技术介绍
中涉及的技术问题。
[0006]为实现上述目的，本专利技术的技术方案为：
[0007]一种个人图像隐私保护方法，包括以下步骤：
[0008]步骤一，构建指代个人图像隐私保护数据集，所述数据集中的数据包含与人相关的图像、相应的指代文字描述以及真实标注掩码；
[0009]步骤二，将图像与指代文字描述输入至文本感知的视觉编码网络中，提取多尺度
的指代局部信息增强的视觉特征；
[0010]步骤三，将多尺度的指代局部信息增强的视觉特征输入至多尺度特征解码网络中，输出高质量图像掩码，获得图像中需要保护的人的具体位置；
[0011]步骤四，基于平衡二元交叉熵损失函数对图像进行训练优化，通过在二元交叉熵的基础上引入平衡系数项，缓解网络训练时像素不平衡的问题。
[0012]作为本专利技术的一种优选改进，在步骤一中，所述数据集包括训练集、测试集和验证集，训练集、测试集和验证集按照8：1：1的比例划分。
[0013]作为本专利技术的一种优选改进，在步骤一中，数据集根据指代文字描述内容不同分为三种类别数据集，具体包括:
[0014]第一类数据集，其指代文字长度较短，少于10个词，包含位置信息词；
[0015]第二类数据集，其指代文字长度中等，为10至15个词，包含外观词；
[0016]第三类数据集，其对文本描述更为丰富，包含位置信息词和外观词。
[0017]作为本专利技术的一种优选改进，在步骤二中，所述视觉编码网络包括图像编码模块、文本编码模块以及图像文本多尺度编码模块，其中：
[0018]所述图像编码模块用于提取多尺度视觉特征；
[0019]所述文本编码模块用于将输入文本编码成词向量；
[0020]所述图像文本多尺度编码模块用于将从原始数据提取到的图像模态特征与文本模态特征输入进带有文本感知控制门的文本感知注意力机制，增强多尺度视觉特征中指代的视觉局部信息。
[0021]作为本专利技术的一种优选改进，在步骤三中，所述多尺度特征解码网络包括多尺度特征融合模块和掩码定位增强模块，其中：
[0022]所述多尺度特征融合模块通过带有噪声信息过滤门的多尺度上采样网络进一步过滤、补充与融合多尺度特征；
[0023]所述掩码定位增强模块基于所述多尺度特征融合模块提取到的特征定位隐私对象。
[0024]作为本专利技术的一种优选改进，所述掩码定位增强模块包括两个连续的步骤：
[0025]双注意力特征强化：采用通道自注意分支和空间自注意分支的双重注意力机制来强化局部特征表征与掩码定位特征；
[0026]定位掩码生成：采用改进的ASPP以不同的采样率在多个尺度感受野上捕获定位隐私保护目标解码，生成用于隐私保护后处理操作的高质量掩码。
[0027]一种个人图像隐私保护系统，包括：
[0028]数据构建模块，用于构建指代个人图像隐私保护数据集，所述数据集中的数据包含与人相关的图像、相应的指代文字描述以及真实标注掩码；
[0029]特征提取模块，用于将图像与指代文字描述输入至文本感知的视觉编码网络中，提取多尺度的指代局部信息增强的视觉特征；
[0030]特征解码模块，用于将多尺度的指代局部信息增强的视觉特征输入至多尺度特征解码网络中，输出高质量图像掩码，获得图像中需要保护的人的具体位置；
[0031]网络训练模块，用于基于平衡二元交叉熵损失函数对图像进行训练优化，通过在二元交叉熵的基础上引入平衡系数项，缓解网络训练时像素不平衡的问题。
[0032]一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时执行所述的方法。
[0033]本专利技术还提供了一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时，实现所述的方法。
[0034]本专利技术的有益效果如下：
[0035]1、本专利技术提出的指代个人图像隐私保护数据集，为基于图像分割网络的隐私保护方法提供新的网络学习范式，解决了现有个人图像隐私保护技术中存在的内容过度保护问题；
[0036]2、本专利技术提出的图像文本多尺度编码模块，从文本感知注意力的角度增强多尺度视觉特征里指代的视觉局部信息，能更好地融合多模态特征，克服指代信息丢失的问题，提高网络的检测性能，有效解决隐私保护技术中对于非指代内容的过度保护；
[0037]3、本专利技术提出的多尺度特征融合模块，通过一个设计的带有噪声信息过滤门的多尺度上采样网络进一步过滤、补充与融合多尺度特征，为定位隐私对象提供强大的视觉特征，减少网络出现的漏检和误检的概率；
[0038]4、本专利技术提出的掩码定位增强模块，侧重于利用通道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种个人图像隐私保护方法，其特征在于，包括以下步骤：步骤一，构建指代个人图像隐私保护数据集，所述数据集中的数据包含与人相关的图像、相应的指代文字描述以及真实标注掩码；步骤二，将图像与指代文字描述输入至文本感知的视觉编码网络中，提取多尺度的指代局部信息增强的视觉特征；步骤三，将多尺度的指代局部信息增强的视觉特征输入至多尺度特征解码网络中，输出高质量图像掩码，获得图像中需要保护的人的具体位置；步骤四，基于平衡二元交叉熵损失函数对图像进行训练优化，通过在二元交叉熵的基础上引入平衡系数项，缓解网络训练时像素不平衡的问题。2.根据权利要求1所述的方法，其特征在于，在步骤一中，所述数据集包括训练集、测试集和验证集，训练集、测试集和验证集按照8：1：1的比例划分。3.根据权利要求2所述的方法，其特征在于，在步骤一中，数据集根据指代文字描述内容不同分为三种类别数据集，具体包括:第一类数据集，其指代文字长度较短，少于10个词，包含位置信息词；第二类数据集，其指代文字长度中等，为10至15个词，包含外观词；第三类数据集，其对文本描述更为丰富，包含位置信息词和外观词。4.根据权利要求3所述的方法，其特征在于，在步骤二中，所述视觉编码网络包括图像编码模块、文本编码模块以及图像文本多尺度编码模块，其中：所述图像编码模块用于提取多尺度视觉特征；所述文本编码模块用于将输入文本编码成词向量；所述图像文本多尺度编码模块用于将从原始数据提取到的图像模态特征与文本模态特征输入进带有文本感知控制门的文本感知注意力机制，增强多尺度视觉特征中指代的视觉局部信息。5.根据权利要求4...

【专利技术属性】
技术研发人员：李智勇，陈嘉俊，林家丞，肖志强，付浩龙，王子安，刘函豪，郭一呼，
申请(专利权)人：湖南大学，
类型：发明
国别省市：