公开了一种训练神经网络的方法和设备以及图像识别方法。神经网络包括第一模型和第二模型。该训练神经网络的方法包括：从第一图像中获得第二图像，第二图像的质量低于第一图像；将第一图像输入神经网络的第一模型，并且将第二图像输入神经网络的第二模型；计算第一模型和第二模型各自的注意力图和梯度图；基于第一模型的梯度图和注意力图的点积的矩阵以及第二模型的梯度图和注意力图的点积的矩阵来构建损失函数；和通过使损失函数最小来训练神经网络。神经网络。神经网络。
【技术实现步骤摘要】
训练神经网络的方法和设备以及图像识别方法
[0001]本公开内容涉及神经网络的领域，并且具体涉及神经网络的训练和图像识别。
技术介绍
[0002]近年来，人脸识别技术在学术界和工业界都取得了很大的进展并得到了广泛的应用。在实际应用中，低质量的人脸图像的识别性能仍然是受限的。这主要是由于低质量的人脸图像会损坏一些人脸特征，从而导致用于人脸识别的模型所提取的人脸特征的质量降级并且因此导致人脸识别性能的下降。识别低质量人脸图像的场景可以是视频监控场景、便携式终端等等。
技术实现思路
[0003]在下文中给出了关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，这个概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0004]根据本专利技术的一个方面，提供了一种训练神经网络的方法，神经网络包括第一模型和第二模型，该方法包括以下步骤：从第一图像中获得第二图像，第二图像的质量低于第一图像；将第一图像输入神经网络的第一模型，并且将第二图像输入神经网络的第二模型；计算第一模型和第二模型各自的注意力图和梯度图；基于第一模型的梯度图和注意力图的点积的矩阵以及第二模型的梯度图和注意力图的点积的矩阵来构建损失函数；和通过使损失函数最小来训练神经网络。
[0005]优选地，损失函数是第一模型的梯度图和注意力图的点积的矩阵与第二模型的梯度图和注意力图的点积的矩阵之差的平方。
[0006]优选地，该方法还包括在计算所述注意力图之后，对第一模型和第二模型各自的注意力图进行软化，损失函数是第一模型的梯度图和软化后的注意力图的点积的矩阵与第二模型的梯度图和软化后的注意力图的点积的矩阵之差的平方。
[0007]优选地，第一模型和第二模型是所述神经网络的两个对称的分支，并且第一模型和第二模型各自包括一个或更多个卷积层和一个或更多个全连接层。
[0008]优选地，该方法还包括在使用所构建的损失函数的同时还使用知识蒸馏损失函数和分类损失函数来训练神经网络。
[0009]优选地，上述梯度图和注意力图的点积的矩阵是格拉姆矩阵。
[0010]优选地，第一图像和第二图像包括人脸。
[0011]根据本专利技术的另一个方面，提供了一种图像识别方法，该方法通过将待识别的图像输入根据本专利技术的训练神经网络的方法训练后的神经网络中的第二模型来进行图像识别。
[0012]根据本专利技术的又一个方面，提供了一种训练神经网络的设备，神经网络包括第一
模型和第二模型，该设备包括：获取装置，其被配置成从第一图像中获得第二图像，第二图像的质量低于第一图像；输入装置，其被配置成将第一图像输入神经网络的第一模型，并且将第二图像输入神经网络的第二模型；计算装置，其被配置成计算第一模型和第二模型各自的注意力图和梯度图；和构建装置，其被配置成基于第一模型的梯度图和注意力图的点积的矩阵以及第二模型的梯度图和注意力图的点积的矩阵来构建损失函数，其中，通过使该损失函数最小来训练神经网络。
[0013]根据本专利技术的其它方面，还提供了相应的计算机程序代码、计算机可读存储介质和计算机程序产品。
[0014]通过本专利技术的训练神经网络的方法和设备，使得能够改进对低质量图像的识别性能。
[0015]通过以下结合附图对本专利技术的优选实施方式的详细说明，本专利技术的这些以及其他优点将更加明显。
附图说明
[0016]为了进一步阐述本公开内容的以上和其它优点和特征，下面结合附图对本公开内容的具体实施方式作进一步详细的说明。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。具有相同的功能和结构的元件用相同的参考标号表示。应当理解，这些附图仅描述本公开内容的典型示例，而不应看作是对本公开内容的范围的限定。在附图中：
[0017]图1示意性地示出了能够实现本专利技术的方案的神经网络架构；
[0018]图2是根据本专利技术的实施方式的训练神经网络的方法的流程图；
[0019]图3示意性地示出了高质量图像和低质量图像的注意力图和梯度图的纹理信息的对比；
[0020]图4是根据本专利技术的实施方式的训练神经网络的设备的框图；
[0021]图5是其中可以实现根据本专利技术的实施方式的方法和/或设备的通用个人计算机的示例性结构的框图。
具体实施方式
[0022]在下文中将结合附图对本公开的示范性实施方式进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
[0023]在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其他细节。
[0024]如前文所述，目前，低质量的图像、特别是人脸图像的识别性能较低。通过对低质量识别模型和高质量识别模型以及其提取的特征进行分析，发现在现有的深度学习模型
中，高质量图像学习的注意力图和梯度图比低质量图像学习的注意力图和梯度图好。特别地，高质量图像的梯度图纹理更加清晰。
[0025]因此，为了解决现有技术中存在的问题，本专利技术提出一种基于注意力图和梯度图的、有效的低质量图像、特别是人脸图像的识别方法。
[0026]首先，构建一个双分支的神经网络模型，分别用于提取高质量图像特征和低质量图像的特征。然后，提出一种基于软化注意力的梯度纹理引导的学习方法，使得低质量模型学习高质量模型的注意力图和梯度图中的信息，使其尽可能一致，从而改进对低质量图像的识别性能。
[0027]图1示意性地示出了能够实现本专利技术的方案的神经网络架构。如图1所示，神经网络100包括两个对称分支，即低质量模型3和高质量模型4，每个分支都包括N级卷积层C和两个全连接层FC1、FC2。高质量图像1被输入高质量模型4，而从高质量图像1转换而来的低质量图像2被输入低质量模型3。
[0028]下面结合图1和图2来描述根据本专利技术的实施方式的训练神经网络的方法200。
[0029]首先，在步骤201中，从第一图像中获得第二图像，第二图像的质量低于第一图像。具体地，在本实施方式中，第一图像例如是图1中的高质量图像1，而第二图像例如是图1中的低质量图像2。
[0030]应理解，可以使用任何合适的现有技术方法来对高质量图像1进行质量降级，从而得到低质量图像2。本专利技术在此不再赘述。
[0031]接着，在步骤202中，将第一图像输本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种训练神经网络的方法，所述神经网络包括第一模型和第二模型，所述方法包括以下步骤：从第一图像中获得第二图像，所述第二图像的质量低于所述第一图像；将所述第一图像输入所述神经网络的第一模型，并且将所述第二图像输入所述神经网络的第二模型；计算所述第一模型和所述第二模型各自的注意力图和梯度图；基于所述第一模型的梯度图和注意力图的点积的矩阵以及所述第二模型的梯度图和注意力图的点积的矩阵来构建损失函数；和通过使所述损失函数最小来训练所述神经网络。2.根据权利要求1所述的方法，其中，所述损失函数是所述第一模型的梯度图和注意力图的点积的矩阵与所述第二模型的梯度图和注意力图的点积的矩阵之差的平方。3.根据权利要求1所述的方法，还包括，在计算所述注意力图之后，对所述第一模型和所述第二模型各自的注意力图进行软化。4.根据权利要求3所述的方法，其中，所述损失函数是所述第一模型的梯度图和软化后的注意力图的点积的矩阵与所述第二模型的梯度图和软化后的注意力图的点积的矩阵之差的平方。5.根据权利要求1至4中任一项所述的方法，其中，所述第一模型和所述第二模型是所述神经网络的两个对称的...
【专利技术属性】
技术研发人员：张梦，刘汝杰，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。