一种基于深度学习的图像隐私感知方法技术

本发明专利技术提供了一种基于深度学习的图像隐私感知方法，包括以下步骤：S1、构建带类别标注的隐私分类数据集，使用迁移学习的方法训练隐私感知网络；S2、使用面向隐私感知的深度卷积神经网络完成隐私图像的识别；S3、根据神经网络深层卷积特征提取注意力分布图，并定位注意力集中区域完成对图像隐私区域的感知。本发明专利技术的有益效果是：基于深度神经网络完成了端到端的训练和测试，可以准确地区分隐私图像并定位图像中的隐私区域，方便对图像中的隐私信息进行选择性保护。

A method of image privacy perception based on depth learning

The invention provides a deep learning based on image privacy perception method, which comprises the following steps: S1, construction of data classification with privacy category tagging set, using the method of transfer learning training, use of privacy aware network; S2 convolutional neural network for the recognition of privacy privacy aware image; S3, based on Neural Network deep convolution feature extraction of attention distribution map, and locate the focus area for the image area of privacy perception. The beneficial effect of the invention is that the end to end training and testing are completed based on the deep neural network, which can accurately distinguish the privacy image and locate the privacy area in the image, so that the privacy information in the image can be selectively protected.

【技术实现步骤摘要】
一种基于深度学习的图像隐私感知方法
本专利技术涉及人工智能，尤其涉及一种基于深度学习的图像隐私感知方法。
技术介绍
隐私感知是隐私保护过程中重要的先决条件，而图像是目前社交网络中最主要的信息类型之一，对海量的图像数据进行隐私感知变得尤为关键。鉴于隐私的概念具有很强的主观性，目前存在的图像隐私感知方法通常先界定通用意义上的图像隐私(如个人证件、家庭合照、机密文件快照等)或者利用用户个体在社交网络上的标注。现有的方法主要有以下缺点：一、在隐私图像特征提取方面，现有的大部分方法是使用传统的图像特征提取方法，如SIFT特征、RGB特征、颜色直方图等等，在特征表达能力上有一定的局限性，无法表示深层的语义级别的特征，分类模型泛化能力差。二、目前存在的一些感知图像隐私的方法需要使用额外的信息才能达到可以接受的感知效果，比如用户对图像主观标记的图像描述标签或者用户自己设定的访问控制策略，然而这些信息在大部分情况下很难获取，对应用场景的要求也较为苛刻，模型的通用性较差。三、现有的图像隐私感知方法只完成了图像级别的隐私感知，即区分整张图像是否为隐私图像，并没有对图像隐私区域进行感知。然而在实际应用中，有时需要对图像的隐私区域进行遮挡或模糊化处理，以达到隐私保护的目的。
技术实现思路
为了解决现有技术中的问题，本专利技术提供了一种基于深度学习的图像隐私感知方法。本专利技术提供了一种基于深度学习的图像隐私感知方法，包括以下步骤：S1、构建带类别标注的隐私分类数据集，使用迁移学习的方法训练隐私感知网络；S2、使用面向隐私感知的深度卷积神经网络完成隐私图像的识别；S3、根据神经网络深层卷积特征提取注意力分布图，并定位注意力集中区域完成对图像隐私区域的感知。作为本专利技术的进一步改进，步骤S1包括：先在大规模图像数据集上对深度卷积神经网络模型进行预训练，然后构建隐私分类数据集，将预训练的深度卷积神经网络模型在隐私分类数据集上进行微调。作为本专利技术的进一步改进，步骤S2包括：在深度卷积神经网络的最后一层卷积层后加入双线性运算层，增强深度卷积神经网络模型的特征表达能力，同时将全连接层改为池化层。作为本专利技术的进一步改进，步骤S3包括：根据池化层的各节点权重和经过双线性运算的特征图的对应关系，得到加权的高层特征图作为注意力分布图，并通过尺度变换，定位原图中的隐私区域。作为本专利技术的进一步改进，双线性运算层主要计算卷积后的特征图之间两两点乘的结果，设原特征图集合M＝{m1,m2,…,mn}，输出的双线性特征图集合为M’＝{m’1,m’2,…,m’n×n},则转换的公式如下：其中“°”代表矩阵的点乘，代表向上取整，n表示原特征图的个数，i表示双线性特征图的下标。作为本专利技术的进一步改进，对双线性特征图进行降维操作。作为本专利技术的进一步改进，采用TensorSketch算法对双线性特征图进行降维操作。作为本专利技术的进一步改进，双线性特征图为c个w*h的矩阵，而TensorSketch算法的输入为向量，使用TensorSketch算法时对双线性特征图中每个位置依次计算，即分别对w*h个c维向量进行运算，重映射到w*h*d维的空间中；首先随机生成用于进行哈希操作的参数集合hk∈{1,…,d}c，sk∈{1,-1}c(k＝1,2)，其中hk用于存储输入向量重映射后的索引，sk实现了输入向量各元素数值的随机取反；根据上述参数集合，通过累加计算得到重映射后的CountSketch向量；由卷积定理可知，时域或空间域的卷积等于对应频域内的乘积；所以使用快速傅立叶变换将两个CountSketch向量转换到频域，求其在频域的乘积，然后通过傅里叶反变换转换回空间域，计算得到CountSketch向量的卷积。作为本专利技术的进一步改进，将全连接层改为平均池化层，该平均池化层对整张特征图进行池化操作，对每张特征图的元素求平均值，最终得到d维的向量。作为本专利技术的进一步改进，平均池化层节点和特征图有对应关系，通过特征图的加权求和得到注意力分布图；设通过降维后的双线性特征图序列P＝{p1,p2,…,pd}，最后生成的注意力分布图为A，则其计算公式如下：其中n为输入图像经过分类后从属的类别标签,表示对池化层第k个节点对应类别n的连接权重；根据上述结果进行隐私图像局部的定位，具体方法是将由上述步骤得到的注意力分布图进行尺度变化，转换为原图大小，并设定阈值完成图像二值化，求解二值化后图像的最小外接矩阵作为隐私图像局部感知的结果。本专利技术的有益效果是：基于深度神经网络完成了端到端的训练和测试，可以准确地区分隐私图像和非隐私图像并定位图像中的隐私区域，，方便对图像中的隐私信息进行选择性保护，为隐私保护过程提供了良好的先决条件。从方法先进性层面，该专利技术有效地克服了传统隐私感知方法的准确率低、泛化能力差、依赖用户额外信息等问题，并在不增加训练神经网络模型的情况下，将隐私感知从对图像整体的感知延伸到了对图像隐私区域的感知。附图说明图1是本专利技术一种基于深度学习的图像隐私感知方法的流程图。图2是本专利技术一种基于深度学习的图像隐私感知方法的深度卷积神经网络结构图。具体实施方式下面结合附图说明及具体实施方式对本专利技术作进一步说明。如图1至图2所示，一种基于深度学习的图像隐私感知方法，主要步骤包括：构建隐私数据集：收集相关图像并按隐私与非隐私进行标注；神经网络预训练：将深度卷积神经网络在大规模图像数据集(例如，ImageNet)上进行训练；神经网络改进与训练：将预训练好的神经网络进行改进，并在隐私图像数据集上微调；图像整体隐私感知：自动判断输入图像是否为隐私图像；图像隐私区域感知：自动检测图像中的隐私区域。在所述神经网络改进与训练步骤中对预训练好的卷积神经网络进行改进，在最后一层卷积层后加入双线性运算层，增强模型的特征表达能力，同时将全连接层改为池化层，为隐私区域感知打下基础。图像隐私区域感知无需重新训练网络。本专利技术根据分类网络池化层各节点权重和经过双线性运算的特征图的对应关系，得到加权的高层特征图，并通过尺度变化，得到注意力分布图，定位注意力集中区域作为隐私区域。各个步骤具体实施方式如下：构建隐私数据集：为提高数据集构建效率，使用关键词搜索的方式，取百度和谷歌图像搜索的前n张备选图像。关键词主要涉及证件照片、家庭/团体合照、文件快照等类别。在关键词获取过程中，使用了可以计算词间相似度的相关模型(例如，经大量语料训练后的word2vec和GloVe模型)，帮助产生输入关键词的相似词汇，从而增加隐私关键词，便于搜索更多的图像。接着人工筛选搜索得到的少数与隐私无关的图像，收集了4384张隐私图像。对于非隐私图像，选取ImageNet数据集中的200类常见物体，随机抽取得到4800张图像，最后按照1：1的比率划分训练集和测试集，方便后续神经网络的训练和测试。神经网络预训练：本步骤将深度卷积神经网络在ImageNet大规模图像数据集上进行训练。ImageNet数据集包含了约120万张图像，涉及了1000类常见的物体。预训练的原因是隐私数据集较小，而深度卷积神经网络参数较多，直接训练很难收敛。而如果先在大规模数据集上进行预训练，使神经网络得到较好的初始权重，同时获得一定的特征表达能力,就可以在小数据集上快速收敛，并得到较好的分类效果。本文档来自技高网...

【技术保护点】
一种基于深度学习的图像隐私感知方法，其特征在于，包括以下步骤：S1、构建带类别标注的隐私分类数据集，使用迁移学习的方法训练隐私感知网络；S2、使用面向隐私感知的深度卷积神经网络完成隐私图像的识别；S3、根据神经网络深层卷积特征提取注意力分布图，并定位注意力集中区域完成对图像隐私区域的感知。

【技术特征摘要】
1.一种基于深度学习的图像隐私感知方法，其特征在于，包括以下步骤：S1、构建带类别标注的隐私分类数据集，使用迁移学习的方法训练隐私感知网络；S2、使用面向隐私感知的深度卷积神经网络完成隐私图像的识别；S3、根据神经网络深层卷积特征提取注意力分布图，并定位注意力集中区域完成对图像隐私区域的感知。2.根据权利要求1所述的基于深度学习的图像隐私感知方法，其特征在于，步骤S1包括：先在大规模图像数据集上对深度卷积神经网络模型进行预训练，然后构建隐私分类数据集，将预训练的深度卷积神经网络模型在隐私分类数据集上进行微调。3.根据权利要求2所述的基于深度学习的图像隐私感知方法，其特征在于，步骤S2包括：在深度卷积神经网络的最后一层卷积层后加入双线性运算层，增强深度卷积神经网络模型的特征表达能力，同时将全连接层改为池化层。4.根据权利要求3所述的基于深度学习的图像隐私感知方法，其特征在于，步骤S3包括：根据池化层的各节点权重和经过双线性运算的特征图的对应关系，得到加权的高层特征图作为注意力分布图，并通过尺度变换，定位原图中的隐私区域。5.根据权利要求3所述的基于深度学习的图像隐私感知方法，其特征在于：双线性运算层主要计算卷积后的特征图之间两两点乘的结果，设原特征图集合M＝{m1,m2,…,mn}，输出的双线性特征图集合为M’＝{m’1,m’2,…,m’n×n},则转换的公式如下：其中代表矩阵的点乘，代表向上取整，n表示原特征图的个数，i表示双线性特征图的下标。6.根据权利要求5所述的基于深度学习的图像隐私感知方法，其特征在于：对双线性特征图进行降维操作。7.根据权利要求6所述的基于深度学习的图像隐私感知方法，其特征在于：采用TensorSketch算法对双线性特征图进行降维操作。8.根据权利要...

【专利技术属性】
技术研发人员：王鸿鹏，张阳，尤磊，何华门，黄兴森，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东,44