混合粒度物体识别模型训练及识别方法、装置及存储介质制造方法及图纸

本申请涉及互联网技术领域，公开了一种混合粒度物体识别模型训练及识别方法、装置及存储介质。所述混合粒度物体识别模型训练方法包括：获取样本图像，确定各样本图像的类别标签，所述类别标签包括细粒度类别和粗粒度类别；基于所述样本图像和所述样本图像的类别标签对初始深度学习模型进行图像的类别识别训练，得到预训练模型；以拉大细粒度类别之间的特征差异为目标对所述预训练模型的细粒度分支分类模块进行调整，得到混合粒度物体识别模型。本申请能够实现在同一个网络结构中进行粗粒度类别识别和细粒度类别识别，提升细粒度类别识别的准确性。

Training and recognition method, device and storage medium of mixed granularity object recognition model

The application relates to the field of Internet technology, and discloses a training and recognition method, device and storage medium of mixed granularity object recognition model. The training method of the mixed granularity object recognition model includes: obtaining the sample image, determining the category labels of each sample image, and the category labels include the fine-grained category and the coarse-grained category; training the initial depth learning model based on the category labels of the sample image and the sample image, and obtaining the pre training model; enlarging the fine-grained category The feature difference between them is that the target adjusts the fine-grained branch classification module of the pre training model to get the mixed granularity object recognition model. The application can realize coarse-grained category recognition and fine-grained category recognition in the same network structure, and improve the accuracy of fine-grained category recognition.

【技术实现步骤摘要】
混合粒度物体识别模型训练及识别方法、装置及存储介质
本申请涉及互联网
，尤其涉及一种混合粒度物体识别模型训练及识别方法、装置及存储介质。
技术介绍
在实现物体识别的产品中，经常遇到的任务是既有粗粒度也有细粒度的识别。譬如当今人们喜欢养猫、狗、鸟等一类宠物，人们关注具体某种动物的细分类，因为不同细分类的动物具有差异较大的习性偏好、聪明程度，如狗类下的边境牧羊犬、贵宾犬、哈士奇等。这就需要用户首先知道动物属于哪一细分类，但是不熟悉宠物细分类的不乏其人，故在此类宠物识别中，不仅需要区分粗粒度类别(猫、狗、鸟等)，也需要识别每个粗粒度下的细分类别。当前在混合细粒度识别任务上，一般采用细粒度的分类模型进行识别。这种不区分粗细粒度的暴力识别方法容易对细粒度物体所在的粗粒度类别识别不足(如把猫识别成狗的某一细粒度种类)，而另外采用细粒度分类方法对目标特征进行细粒度计算的方法容易造成在某些种类细粒度识别较差的结果。
技术实现思路
本申请实施例提供了一种混合粒度物体识别模型训练及识别方法、装置及存储介质，可以提高粗粒度类别间的区分性，达到更好的细粒度识别效果。一方面，本申请实施例提供了一种混合粒度物体识别模型训练方法，该方法包括：获取样本图像，确定各样本图像的类别标签，所述类别标签包括细粒度类别和粗粒度类别；基于所述样本图像和所述样本图像的类别标签对初始深度学习模型进行图像的类别识别训练，得到预训练模型；以拉大细粒度类别之间的特征差异为目标对所述预训练模型的细粒度分支分类模块进行调整，得到混合粒度物体识别模型。另一方面提供了一种混合粒度物体识别方法，所述方法包括：获取待识别图像；将所述待识别图像输入混合粒度物体识别模型进行类别识别处理，得到所述待识别图像属于各粗粒度类别的概率和属于所述粗粒度类别下各细粒度类别的概率；基于所述粗粒度类别的概率和所述细粒度类别的概率确定所述待识别图像的类别识别结果；其中，所述混合粒度物体识别模型是基于样本图像和对应的类别标签进行机器学习训练获得预训练模型，并对所述预训练模型的细粒度分支分类模块以拉大细粒度类别之间的特征差异为目标进行调整得到的。另一方面提供了一种混合粒度物体识别模型的训练装置，所述装置包括：样本图像获取模块，用于获取样本图像，确定各样本图像的类别标签，所述类别标签包括细粒度类别和粗粒度类别；模型训练模块，用于基于所述样本图像和所述样本图像的类别标签对初始深度学习模型进行图像的类别识别训练，得到预训练模型；模型调整模块，用于以拉大细粒度类别之间的特征差异为目标对所述预训练模型的细粒度分支分类模块进行调整，得到混合粒度物体识别模型。其中，所述样本图像获取模块包括：图像采集单元，用于采集图像；细粒度类别标注单元，用于标注所述图像所属的细粒度类别；聚类处理单元，用于根据所述图像的细粒度类别和所述细粒度类别的特征对所述图像进行聚类处理，得到多个图像集合，每个所述图像集合中各图像所属粗粒度类别相同；目标粗粒度类别确定单元，用于根据所述图像集合中各图像所属细粒度类别的分布，确定混合粒度物体识别模型学习的目标粗粒度类别；样本图像确定单元，用于将与所述目标粗粒度类别对应的图像集合中的所有图像作为样本图像，并为各样本图像添加类别标签，所述类别标签包括细粒度类别和粗粒度类别。所述模型训练模块可以用于：将所述样本图像和所述样本图像的类别标签输入卷积神经网络模型；对所述样本图像进行前向计算，得到所述样本图像属于粗粒度类别的预测概率和属于所述粗粒度类别下细粒度类别的预测概率；基于所述粗粒度类别的预测概率和所述细粒度类别的预测概率确定所述样本图像的类别预测结果；将所述类别预测结果与所述类别标签进行对比，计算得到粗粒度损失值和细粒度损失值；计算所述粗粒度损失值和细粒度损失值的加权和作为整体损失值；将所述整体损失值反向传播到卷积神经网络模型中，通过随机梯度下降法调整卷积神经网络模型的权重参数；将所述样本图像和所述样本图像的类别标签输入更新权重参数后的卷积神经网络模型，重复上述调整权重参数步骤至当前调整权重参数步骤的执行次数达到预设次数；将当前调整权重参数后的卷积神经网络模型作为所述预训练模型。所述模型调整模块可以用于：对所述预训练模型进行前向计算，得到同一粗粒度类别下各样本图像的细粒度类别特征；细粒度分支分类损失值获取单元，用于根据各样本图像的细粒度类别特征和同一粗粒度类别下其他样本图像的细粒度类别特征计算得到细粒度分支分类损失值；确定各样本图像对应的正样本图像和负样本图像，根据所述样本图像、所述正样本图像和所述负样本图像计算得到三元组损失度量；所述正样本图像为与所述样本图像属同一细粒度类别的样本图像，所述负样本图像为与所述样本图像属同一粗粒度类别、不同细粒度类别的样本图像；根据所述细粒度分支分类损失值和三元组损失度量计算得到总损失值；根据所述总损失值调整所述细粒度分支分类模块的参数，得到混合粒度物体识别模型。另一方面提供了一种混合粒度物体识别装置，所述装置包括：待识别图像获取模块，用于获取待识别图像；类别识别处理模块，用于将所述待识别图像输入混合粒度物体识别模型进行类别识别处理，得到所述待识别图像属于各粗粒度类别的概率和属于所述粗粒度类别下各细粒度类别的概率；类别识别结果确定模块，用于基于所述粗粒度类别的概率和所述细粒度类别的概率确定所述待识别图像的类别识别结果；其中，所述混合粒度物体识别模型是基于样本图像和对应的类别标签进行机器学习训练获得预训练模型，并对所述预训练模型的细粒度分支分类模块以拉大细粒度类别之间的特征差异为目标进行调整而得到的。所述类别识别结果确定模块可以用于：将所述待识别图像属于的各粗粒度类别中概率最大的一类粗粒度类别确定为目标粗粒度类别；对所述目标粗粒度类别下各细粒度类别按照概率大小进行排序，选择排序在前的预设个数的细粒度类别作为所述待识别图像的类别识别结果。另一方面提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的混合粒度物体识别模型的训练方法或混合粒度物体识别方法。另一方面提供了一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的混合粒度物体识别模型的训练方法或混合粒度物体识别方法。本申请实施例提供的混合粒度物体识别模型训练及识别方法、装置及存储介质，具有如下技术效果：在混合粒度物体识别模型训练阶段，既对样本图像的粗粒度类别学习也对其细粒度类别进行学习，能够实现在同一个网络结构中进行粗粒度类别识别和细粒度类别识别；此外，对预训练模型的细粒度分支分类模块进行调整，拉大细粒度类别之间的差距，让细粒度类别特征在其所属本文档来自技高网...

【技术保护点】
1.一种混合粒度物体识别模型训练方法，其特征在于，所述方法包括：/n获取样本图像，确定各样本图像的类别标签，所述类别标签包括细粒度类别和粗粒度类别；/n基于所述样本图像和所述样本图像的类别标签对初始深度学习模型进行图像的类别识别训练，得到预训练模型；/n以拉大细粒度类别之间的特征差异为目标对所述预训练模型的细粒度分支分类模块进行调整，得到混合粒度物体识别模型。/n

【技术特征摘要】
1.一种混合粒度物体识别模型训练方法，其特征在于，所述方法包括：
获取样本图像，确定各样本图像的类别标签，所述类别标签包括细粒度类别和粗粒度类别；
基于所述样本图像和所述样本图像的类别标签对初始深度学习模型进行图像的类别识别训练，得到预训练模型；
以拉大细粒度类别之间的特征差异为目标对所述预训练模型的细粒度分支分类模块进行调整，得到混合粒度物体识别模型。


2.根据权利要求1所述的方法，其特征在于，所述获取样本图像，确定各样本图像的类别标签包括：
采集图像；
标注所述图像所属的细粒度类别；
根据所述图像的细粒度类别和所述细粒度类别的特征对所述图像进行聚类处理，得到多个图像集合，每个所述图像集合中各图像所属粗粒度类别相同；
根据所述图像集合中各图像所属细粒度类别的分布，确定混合粒度物体识别模型学习的目标粗粒度类别；
将与所述目标粗粒度类别对应的图像集合中的所有图像作为样本图像，并为各样本图像添加类别标签，所述类别标签包括细粒度类别和粗粒度类别。


3.根据权利要求1所述的方法，其特征在于，所述基于所述样本图像和所述样本图像的类别标签对初始深度学习模型进行图像的类别识别训练，得到预训练模型，包括：
将所述样本图像和所述样本图像的类别标签输入卷积神经网络模型；
对所述样本图像进行前向计算，得到所述样本图像属于粗粒度类别的预测概率和属于所述粗粒度类别下细粒度类别的预测概率；
基于所述粗粒度类别的预测概率和所述细粒度类别的预测概率确定所述样本图像的类别预测结果；
将所述类别预测结果与所述类别标签进行对比，计算得到粗粒度损失值和细粒度损失值；
计算所述粗粒度损失值和细粒度损失值的加权和作为整体损失值；
将所述整体损失值反向传播到卷积神经网络模型中，通过随机梯度下降法调整卷积神经网络模型的权重参数；
将所述样本图像和所述样本图像的类别标签输入更新权重参数后的卷积神经网络模型，重复上述调整权重参数步骤至当前调整权重参数步骤的执行次数达到预设次数；
将当前调整权重参数后的卷积神经网络模型作为所述预训练模型。


4.根据权利要求1所述的方法，其特征在于，所述以拉大细粒度类别之间的特征差异为目标对所述预训练模型的细粒度分支分类模块进行调整，得到混合粒度物体识别模型，包括：
对所述预训练模型进行前向计算，得到同一粗粒度类别下各样本图像的细粒度类别特征；
根据各样本图像的细粒度类别特征和同一粗粒度类别下其他样本图像的细粒度类别特征计算得到细粒度分支分类损失值；
确定各样本图像对应的正样本图像和负样本图像，根据所述样本图像、所述正样本图像和所述负样本图像计算得到三元组损失度量；所述正样本图像为与所述样本图像属同一细粒度类别的样本图像，所述负样本图像为与所述样本图像属同一粗粒度类别、不同细粒度类别的样本图像；
根据所述细粒度分支分类损失值和三元组损失度量计算得到总损失值；
根据所述总损失值调整所述细粒度分支分类模块的参数，得到混合...

【专利技术属性】
技术研发人员：郭卉，袁豪磊，黄飞跃，
申请(专利权)人：腾讯云计算北京有限责任公司，
类型：发明
国别省市：北京;11