对象的识别方法和装置、存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种对象的识别方法和装置、存储介质及电子设备。其中，该方法包括：获取目标图像；在目标识别神经网络中提取目标图像中每个目标对象各自对应的注意力图，目标识别神经网络是基于初始分类神经网络和初始识别神经网络进行训练时，直至达到第一收敛条件所得到的，第一收敛条件指示训练中的分类神经网络的第一输出结果与识别神经网络的第二输出结果之间的损失函数的输出值在第一预设范围内；在目标识别神经网络中，基于注意力图识别出各个目标对象对应的分类标签及各个目标对象在目标图像中的位置。

【技术实现步骤摘要】
对象的识别方法和装置、存储介质及电子设备
本专利技术涉及计算机领域，具体而言，涉及一种对象的识别方法和装置、存储介质及电子设备。
技术介绍
随着人工智能的发展，使用神经网络模型进行模式识别是目前的发展趋势。使用卷积神经网络模型进行图像识别已取得一些成就，例如，通过卷积神经网络模型进行多标签分类。即将包含有多个待识别对象的一张图像输入到卷积神经网络中，然后卷积神经网络输出识别结果。目前通过神经网络模型进行多标签分类时，模型的训练过程将每一个标签当作是一个二分类任务来进行。在使用卷积神经网络进行特征提取时，对于给定图片，可以通过注意力机制，提取多个特征，然后使用这些特征进行多标签分类。然而由于训练数据集中多标签是关联在一起的。神经网络模型的训练过程中没有重视分类器在特征层的注意力分布。可能会出现其对应到图像上的注意力区域不具有可解释性。由此导致多标签分类结果准确率较低。针对相关技术中，由于现有技术中神经网络模型的训练过程中没有重视分类器在特征层的注意力分布，导致神经网络模型对多标签分类的结果准确率较低的问题，目前尚未存在有效的解决方案。
技术实现思路
本专利技术实施例提供了一种对象的识别方法和装置、存储介质及电子设备，以至少解决由于现有技术中神经网络模型的训练过程中没有重视分类器在特征层的注意力分布，导致神经网络模型对多标签分类的结果准确率较低的技术问题。根据本专利技术实施例的一个方面，提供了一种对象的识别方法，包括：获取目标图像，其中，上述目标图像中包括待识别的至少一个目标对象；在目标识别神经网络中提取上述目标图像中每个上述目标对象各自对应的注意力图，其中，上述目标识别神经网络是基于初始分类神经网络和初始识别神经网络进行训练时，直至达到第一收敛条件所得到的，上述第一收敛条件指示训练中的分类神经网络的第一输出结果与识别神经网络的第二输出结果之间的损失函数的输出值在第一预设范围内，上述分类神经网络用于识别包含单标签对象的图像，上述识别神经网络用于识别包含多标签对象的图像；在目标识别神经网络中，基于上述注意力图识别出各个上述目标对象对应的分类标签及各个上述目标对象在上述目标图像中的位置。根据本专利技术实施例的另一方面，还提供了一种对象的识别装置，包括：获取模块，用于获取目标图像，其中，上述目标图像中包括待识别的至少一个目标对象；提取模块，用于在目标识别神经网络中提取上述目标图像中每个上述目标对象各自对应的注意力图，其中，上述目标识别神经网络是基于初始分类神经网络和初始识别神经网络进行训练时，直至达到第一收敛条件所得到的，上述第一收敛条件指示训练中的分类神经网络的第一输出结果与识别神经网络的第二输出结果之间的损失函数的输出值在第一预设范围内，上述分类神经网络用于识别包含单标签对象的图像，上述识别神经网络用于识别包含多标签对象的图像；识别模块，用于在目标识别神经网络中，基于上述注意力图识别出各个上述目标对象对应的分类标签及各个上述目标对象在上述目标图像中的位置。可选地，上述装置还用于在上述获取目标图像之前，获取多个样本图像，其中，上述多个样本图像包括：第一样本图像集和第二样本图像集，上述第一样本图像集包括：包含单标签对象的样本图像和无标签对象的样本图像，上述第二样本图像集包括：包含单标签对象的样本图像、包含多标签对象的样本图像及无标签对象的样本图像；利用上述第一样本图像集训练上述初始分类神经网络，得到上述第一样本图像集对应的第一注意力图，上述第一输出结果包括上述第一注意力图；利用上述第二样本图像集训练上述初始识别神经网络，得到上述第二样本图像集对应的第二注意力图，上述第二输出结果包括上述第二注意力图；在确定上述第一注意力图中单标签对象对应的注意力图与上述第二注意力图中上述单标签对象对应的注意力图之间的损失函数的输出值在上述第一预设范围内的情况下，确定达到上述第一收敛条件。可选地，上述装置还用于通过如下方式实现上述利用上述第一样本图像集训练上述初始分类神经网络，得到上述第一样本图像集对应的第一注意力图：获取上述第一样本图像集中的N组第一样本图像子集，其中，每组上述第一样本图像子集中的每张图像中包括一个单标签对象和多个上述无标签对象，N为大于或等于1的整数；使用上述N组第一样本图像子集对上述初始分类神经网络中的N个分类子网络分别进行训练，得到N组对象注意力图，其中，上述第一注意力图中包括上述N组对象注意力图，每组上述对象注意力图中包括上述一个单标签对象对应的对象注意力图。可选地，上述装置还用于通过如下方式实现使用上述N组第一样本图像子集对上述初始分类神经网络中的N个分类子网络分别进行训练，得到N组对象注意力图：获取第i组上述第一样本图像子集，其中，i为大于等于1，且小于等于N的整数；将第i组上述第一样本图像子集输入第i个上述分类子网络，得到第i组上述对象注意力图；保存上述第i组上述对象注意力图。可选地，上述装置还用于通过如下方式实现上述利用上述第二样本图像集训练上述初始识别神经网络，得到上述第二样本图像集对应的第二注意力图：使用上述第二样本图像集对上述初始识别神经网络进行j轮训练，得到第j轮注意力图，其中，j大于或等于1；在确定上述第j轮注意力图中的M个单标签对象对应的注意力图与上述N组对象注意力图中包含的M个单标签对象对应的注意力图之间的损失函数的输出值在上述第一预设范围内情况下，确定达到上述第一收敛条件，其中，M大于或等于1且小于N，上述M个单标签对象中包括上述目标对象。可选地，上述装置还用于通过如下方式实现上述利用上述第一样本图像集训练上述初始分类神经网络，得到上述第一样本图像集对应的第一注意力图：使用上述N组第一样本图像子集对上述初始识别神经网络进行训练，得到N组初始对象注意力图；对上述N组初始对象注意力图进行第一处理，得到第一处理结果；对上述第一处理结果进行二值化处理和高斯滤波处理，以得到上述第一注意力图。可选地，上述装置还用于通过如下方式实现上述对上述N组初始对象注意力图进行第一处理，得到第一处理结果：计算上述N组初始对象注意力图的均值与预设值的乘积，得到第一调整值；确定上述N组初始对象注意力图与上述第一调整值的差值，得到上述第一处理结果。可选地，上述装置还用于通过如下方式实现上述利用上述第二样本图像集训练上述初始识别神经网络，得到上述第二样本图像集对应的第二注意力图：使用上述第二样本图像集对上述初始识别神经网络进行训练，得到上述第二样本图像集对应的初始注意力图；计算上述第二样本图像集对应的初始注意力图与上述第二样本图像集对应的初始注意力图的均值的差值，得到第二处理结果；对上述第二处理结果进行归一化处理，得到上述第二注意力图。可选地，上述装置还用于上述目标识别神经网络输出的标签对象的预估分类标签与上述标签对象的已知分类标签之间满足第二收敛条件，其中，上述第二收敛条件用于表示上述预估分类标签与上述已知分类标签之间的损失函数的输出值在第二预设范围内；上述目标识别神经网络输出的标签对象在样本图像中的预估位置与上述标签对象在样本图像中的已知位置之间满足第三收敛条件，其中，上述第本文档来自技高网...

【技术保护点】
1.一种对象的识别方法，其特征在于，包括：/n获取目标图像，其中，所述目标图像中包括待识别的至少一个目标对象；/n在目标识别神经网络中提取所述目标图像中每个所述目标对象各自对应的注意力图，其中，所述目标识别神经网络是基于初始分类神经网络和初始识别神经网络进行训练时，直至达到第一收敛条件所得到的，所述第一收敛条件指示训练中的分类神经网络的第一输出结果与识别神经网络的第二输出结果之间的损失函数的输出值在第一预设范围内，所述分类神经网络用于识别包含单标签对象的图像，所述识别神经网络用于识别包含多标签对象的图像；/n在目标识别神经网络中，基于所述注意力图识别出各个所述目标对象对应的分类标签及各个所述目标对象在所述目标图像中的位置。/n

【技术特征摘要】
1.一种对象的识别方法，其特征在于，包括：
获取目标图像，其中，所述目标图像中包括待识别的至少一个目标对象；
在目标识别神经网络中提取所述目标图像中每个所述目标对象各自对应的注意力图，其中，所述目标识别神经网络是基于初始分类神经网络和初始识别神经网络进行训练时，直至达到第一收敛条件所得到的，所述第一收敛条件指示训练中的分类神经网络的第一输出结果与识别神经网络的第二输出结果之间的损失函数的输出值在第一预设范围内，所述分类神经网络用于识别包含单标签对象的图像，所述识别神经网络用于识别包含多标签对象的图像；
在目标识别神经网络中，基于所述注意力图识别出各个所述目标对象对应的分类标签及各个所述目标对象在所述目标图像中的位置。


2.根据权利要求1所述的方法，其特征在于，在所述获取目标图像之前，所述方法还包括：
获取多个样本图像，其中，所述多个样本图像包括：第一样本图像集和第二样本图像集，所述第一样本图像集包括：包含单标签对象的样本图像和无标签对象的样本图像，所述第二样本图像集包括：包含单标签对象的样本图像、包含多标签对象的样本图像及无标签对象的样本图像；
利用所述第一样本图像集训练所述初始分类神经网络，得到所述第一样本图像集对应的第一注意力图，所述第一输出结果包括所述第一注意力图；
利用所述第二样本图像集训练所述初始识别神经网络，得到所述第二样本图像集对应的第二注意力图，所述第二输出结果包括所述第二注意力图；
在确定所述第一注意力图中单标签对象对应的注意力图与所述第二注意力图中所述单标签对象对应的注意力图之间的损失函数的输出值在所述第一预设范围内的情况下，确定达到所述第一收敛条件。


3.根据权利要求2所述的方法，其特征在于，所述利用所述第一样本图像集训练所述初始分类神经网络，得到所述第一样本图像集对应的第一注意力图，包括：
获取所述第一样本图像集中的N组第一样本图像子集，其中，每组所述第一样本图像子集中的每张图像中包括一个单标签对象和多个所述无标签对象，N为大于或等于1的整数；
使用所述N组第一样本图像子集对所述初始分类神经网络中的N个分类子网络分别进行训练，得到N组对象注意力图，其中，所述第一注意力图中包括所述N组对象注意力图，每组所述对象注意力图中包括所述一个单标签对象对应的对象注意力图。


4.根据权利要求3所述的方法，其特征在于，使用所述N组第一样本图像子集对所述初始分类神经网络中的N个分类子网络分别进行训练，得到N组对象注意力图，包括：
获取第i组所述第一样本图像子集，其中，i为大于等于1，且小于等于N的整数；
将第i组所述第一样本图像子集输入第i个所述分类子网络，得到第i组所述对象注意力图；
保存所述第i组所述对象注意力图。


5.根据权利要求4所述的方法，其特征在于，利用所述第二样本图像集训练所述初始识别神经网络，得到所述第二样本图像集对应的第二注意力图，包括：
使用所述第二样本图像集对所述初始识别神经网络进行j轮训练，得到第j轮注意力图，其中，j大于或等于1；
在确定所述第j轮注意力图中的M个单标签对象对应的注意力图与所述N组对象注意力图中包含的M个单标签对象对应的注意力图之间的损失函数的输出值在所述第一预设范围内情况下，确定达到所述第一收敛条件，其中，M大于或等于1且小于...

【专利技术属性】
技术研发人员：沈伟，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44