一种联合热图特征回归的基于CNN特征提取网络的联合图像分类方法技术

本发明专利技术公开了一种联合热图特征回归的基于CNN特征提取网络的联合图像分类方法，该方法包括获取图像信息并进行预处理，训练具有热图特征分布的基于CNN的特征提取分类网络模型得到第一预测结果，训练特征热图回归网络模型得到第二预测结果，构建联合回归网络模型拼接第一预测结果和第二预测结果计算最终预测概率，输出分类结果。本发明专利技术采用具有热图特征分布的基于CNN的特征提取分类神经网络与特征热图回归网络相结合的联合回归网络架构，能够从实际能帮助具有热图特征分布的基于CNN的分类网络更好地实现并提高泛化能力和稳定性，进一步提升图像分类精度。

A method of joint image classification based on CNN feature extraction network and combined thermograph feature regression

【技术实现步骤摘要】
一种联合热图特征回归的基于CNN特征提取网络的联合图像分类方法
本专利技术涉及图像处理
，尤其涉及一种以具有热图特征分布的基于CNN的特征提取网络为主，特征热图回归网络为辅的联合图像分类方法。
技术介绍
一般而言，典型的卷积神经网络主要包括卷积层、池化层和全连接层。其中卷积层与池化层配合组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类，而池化层主要是进行数据降维。MesoNet的中文译名即“袖珍网络”，其特点是网络参数少且在训练轮次较少的情况下可以达到较高的精度，但是稳定性和泛化能力稍弱。将其前面三层典型传统卷积层替换为两层Inception层之后，训练速度虽稍微减缓但结果却更加稳定，也达到了更高的精度，此时的网络称为MesoNet_InceptionV4。Inception的主要特点是更好地利用网络内部的计算资源，这通过一个精心制作的设计来实现，即该设计允许增加网络的深度和宽度，同时保持计算预算不变。为了优化质量，架构决策基于赫布原则和多尺度处理。在同一层级上运行具备多个尺寸的滤波器，使得网络变宽而非更深。从而可以保留更多细节特征。现有的DeepFakes图片分类方法有以下三种：即白盒方法、黑盒方法以及两者相结合的方法。1)白盒方法，其通常会明确地给出真实截图与DeepFakes截图的特点。比如其在生物信号、眨眼检测、区块链和智能合同以及视觉特征等方面的差异，并以此作为判断标准。2)黑盒方法，顾名思义，在内部结构完全透明的情况下，给出判断结果。黑盒方法一般是搭建基于CNN或RNN的二分类神经网络。3)黑白盒相结合的方法，即先利用前文述及的白盒方法得到具有明显差异的中间结果，将中间结果送入前文述及的黑盒方法中，再做进一步的区分。上述白盒方法掣肘于图片特性，比如眨眼检测之于不眨眼的原视频，视觉特征检测之于新闻视频等；与之相对，黑盒方法大多是为了分类而分类，依赖于训练生成模型、数据集、特定人脸等。
技术实现思路
针对现有图像分类方法所采用的特征提取网络中出现的训练过拟合、图像分类精度不高等问题，本专利技术提供了一种以具有热图特征分布的基于CNN的特征提取网络为主，特征热图回归网络为辅的联合图像分类网络的图像分类方法。为了达到上述专利技术目的，本专利技术采用的技术方案为：一种联合热图特征回归的基于CNN特征提取网络的联合图像分类方法，包括以下步骤：S1、获取待分类的真假图像，并进行图像预处理；S2、构建具有热图特征分布的基于CNN的特征提取分类网络模型，利用步骤S1中预处理后的训练集图像对模型进行训练，得到第一预测结果；S3、构建特征热图回归网络模型，利用步骤S1中预处理后的训练集图像及步骤S2得到的特征图像对模型进行训练，得到第二预测结果；S4、构建联合回归网络模型，将步骤S2得到的第一预测结果与步骤S3得到的第二预测结果进行拼接，并经过联合回归网络模型计算最终预测概率；S5、采用二分类交叉熵损失函数对步骤S4得到的最终预测概率与真实标签之间进行距离衡量，输出分类结果。进一步地，所述步骤S2具体为：利用步骤S1中预处理后的训练集图像对构建的具有热图特征分布的基于CNN的特征提取分类网络模型进行训练，学习真假图像之间的图像特征信息，将输入的图像转换为特征图像输出至特征热图回归网络，同时将特征图像经过具有热图特征的分类网络的第一全连接层和第二全连接层后，再经过softmax层输出得到第一预测结果。进一步地，所述具有热图特征分布的基于CNN的特征提取分类网络模型在输入图像信息后设置有ReSize层，所述ReSize层用于将图片缩放为适用于后期映射神经元特征值的尺寸。进一步地，所述具有热图特征分布的基于CNN的特征提取分类网络模型中前三组卷积层、Rule层、批标准化层和最大池化层替换为两组Inception层，其中每组Inception层包括七个并行的卷积层与一个批标准化层。进一步地，所述具有热图特征分布的基于CNN的特征提取分类网络模型中在Rule层后加入LeakyRule激活函数，并去除第二全连接层前的dropout层。进一步地，所述特征热图回归网络模型包括具有热图特征分布的基于CNN的特征提取分类网络模型中的特征提取部分、人脸识别定位库和线性回归层模块。进一步地，所述步骤S3具体为：首先利用具有热图特征分布的基于CNN的特征提取分类网络模型中的特征提取部分提取神经元特征值，再利用人脸识别定位库对步骤S1中预处理后的训练集图像进行人脸定位，得到眼口部的神经元特征值，将其与提取的神经元特征值做缩放与映射，得到眼口部各坐标点特征值并取出最大值以计算在各自特征值中的相对大小，并经过线性回归层模块输出得到第二预测结果。进一步地，所述步骤S4具体为：将具有热图特征分布的基于CNN的特征提取分类网络模型输出的第一预测结果与特征热图回归网络模型输出的第二预测结果进行拼接，再经过第二线性回归层得到图像的真假图得分，并经过softmax层输出得到最终预测概率。基于上述联合热图特征回归的基于CNN特征提取网络的联合图像分类方法的相同专利技术构思，本专利技术还包括一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述联合热图特征回归的基于CNN特征提取网络的联合图像分类方法的步骤。基于上述联合热图特征回归的基于CNN特征提取网络的联合图像分类方法的相同专利技术构思，本专利技术还包括一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述联合热图特征回归的基于CNN特征提取网络的联合图像分类方法的步骤。本专利技术具有的有益效果是：本专利技术采用具有热图特征分布的基于CNN的特征提取分类神经网络与特征热图回归网络相结合的联合回归网络架构，能够从实际能帮助具有热图特征分布的基于CNN的分类网络更好地实现并提高泛化能力和稳定性，进一步提升图像分类精度。附图说明图1是本专利技术联合热图特征回归的基于CNN特征提取网络的联合图像分类方法流程示意图；图2是本专利技术实施例中联合热图特征回归的基于CNN特征提取网络的联合图像分类网络结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，本专利技术实施例提供了一种联合热图特征回归的基于CNN特征提取网络的联合图像分类方法，包括以下步骤S1至S5：S1、获取待分类的真假图像，并进行图像预处理；在本实施例中，本专利技术以FaceForensics++的DeepFakes图像数据集为例，从不同平台收集了175个伪造视频；最低分辨率为854*480像素。所有的视频都是用H.264编解码器压缩的，但压缩级别不同，从而能够提供实际的分析条件。所有的人脸都是使本文档来自技高网...

【技术保护点】
1.一种联合热图特征回归的基于CNN特征提取网络的联合图像分类方法，其特征在于，包括以下步骤：/nS1、获取待分类的真假图像，并进行图像预处理；/nS2、构建具有热图特征分布的基于CNN的特征提取分类网络模型，利用步骤S1中预处理后的训练集图像对模型进行训练，得到第一预测结果；/nS3、构建特征热图回归网络模型，利用步骤S1中预处理后的训练集图像及步骤S2得到的特征图像对模型进行训练，得到第二预测结果；/nS4、构建联合回归网络模型，将步骤S2得到的第一预测结果与步骤S3得到的第二预测结果进行拼接，并经过联合回归网络模型计算最终预测概率；/nS5、采用二分类交叉熵损失函数对步骤S4得到的最终预测概率与真实标签之间进行距离衡量，输出分类结果。/n

【技术特征摘要】
1.一种联合热图特征回归的基于CNN特征提取网络的联合图像分类方法，其特征在于，包括以下步骤：
S1、获取待分类的真假图像，并进行图像预处理；
S2、构建具有热图特征分布的基于CNN的特征提取分类网络模型，利用步骤S1中预处理后的训练集图像对模型进行训练，得到第一预测结果；
S3、构建特征热图回归网络模型，利用步骤S1中预处理后的训练集图像及步骤S2得到的特征图像对模型进行训练，得到第二预测结果；
S4、构建联合回归网络模型，将步骤S2得到的第一预测结果与步骤S3得到的第二预测结果进行拼接，并经过联合回归网络模型计算最终预测概率；
S5、采用二分类交叉熵损失函数对步骤S4得到的最终预测概率与真实标签之间进行距离衡量，输出分类结果。


2.如权利要求1所述的联合热图特征回归的基于CNN特征提取网络的联合图像分类方法，其特征在于，所述步骤S2具体为：
利用步骤S1中预处理后的训练集图像对构建的具有热图特征分布的基于CNN的特征提取分类网络模型进行训练，学习真假图像之间的图像特征信息，将输入的图像转换为特征图像输出至特征热图回归网络，同时将特征图像经过具有热图特征的分类网络的第一全连接层和第二全连接层后，再经过softmax层输出得到第一预测结果。


3.如权利要求2所述的联合热图特征回归的基于CNN特征提取网络的联合图像分类方法，其特征在于，所述具有热图特征分布的基于CNN的特征提取分类网络模型在输入图像信息后设置有ReSize层，所述ReSize层用于将图片缩放为适用于后期映射神经元特征值的尺寸。


4.如权利要求3所述的联合热图特征回归的基于CNN特征提取网络的联合图像分类方法，其特征在于，所述具有热图特征分布的基于CNN的特征提取分类网络模型中前三组卷积层、Rule层、批标准化层和最大池化层替换为两组Inception层，其中每组Inception层包括七个并行的卷积层与一个批标准化层。


5.如权...

【专利技术属性】
技术研发人员：陈波，邓媛丹，吴思璠，冯婷婷，张勇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51