一种图像识别方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及图像处理技术领域，尤其涉及一种图像识别方法、装置、电子设备和存储介质，用以提高图像分类的准确性和效率。其中，方法包括：基于图像分类联合模型的度量学习嵌入模块，提取待检测图像的第一浅层全局特征；基于图像分类联合模型的深度语义嵌入模块，提取待检测图像的第一深层语义特征；基于图像分类联合模型的语义预测模块，对第一浅层全局特征与第一深层语义特征进行特征融合，基于获得的第一融合特征对待检测图像进行多标签分类，获得待检测图像的分类结果。其中，图像分类联合模型是通过对度量学习嵌入模块与深度语义嵌入模块，进行联合训练所得到的，增强了联合学习效果，降低了特征提取耗时，有效提高了图像分类的准确性和效率。类的准确性和效率。类的准确性和效率。

【技术实现步骤摘要】
一种图像识别方法、装置、电子设备和存储介质


[0001]本申请涉及图像处理
，尤其涉及一种图像识别方法、装置、电子设备和存储介质。

技术介绍

[0002]随着互联网技术的快速发展，多媒体资源的迅速增长，互联网内容逐渐从主流的文本信息向各类多媒体数据发展；其中，随着电子设备的不断更新，成像器材的不断简化与更新，图像数据资源迅速扩增。
[0003]在图像检索等领域，往往需要基于图像的整体全局特征以及主要的语义特征来执行相关搜索任务，因而如何高效准确地提取图像的特征成为亟待解决的问题。

技术实现思路

[0004]本申请实施例提供一种图像识别方法、装置、电子设备和存储介质，用以提高图像分类的准确性和效率。
[0005]本申请实施例提供的一种图像识别方法，包括：
[0006]基于已训练的图像分类联合模型中的度量学习嵌入模块，提取待检测图像的第一浅层全局特征，所述第一浅层全局特征表征所述待检测图像的全局基础信息；以及
[0007]基于所述图像分类联合模型中的深度语义嵌入模块，提取所述待检测图像的第一深层语义特征，所述第一深层语义特征表征所述待检测图像的图像语义信息；
[0008]基于所述图像分类联合模型中的语义预测模块，对所述第一浅层全局特征与所述第一深层语义特征进行特征融合，并基于获得的第一融合特征对所述待检测图像进行多标签分类，获得所述待检测图像的分类结果；
[0009]其中，所述图像分类联合模型是通过对所述度量学习嵌入模块与所述深度语义嵌入模块，进行联合训练所得到的。
[0010]本申请实施例提供的一种图像识别装置，包括：
[0011]第一特征提取单元，用于基于已训练的图像分类联合模型中的度量学习嵌入模块，提取待检测图像的第一浅层全局特征，所述第一浅层全局特征表征所述待检测图像的全局基础信息；以及
[0012]第二特征提取单元，用于基于所述图像分类联合模型中的深度语义嵌入模块，提取所述待检测图像的第一深层语义特征，所述第一深层语义特征表征所述待检测图像的图像语义信息；
[0013]分类预测单元，用于基于所述图像分类联合模型中的语义预测模块，对所述第一浅层全局特征与所述第一深层语义特征进行特征融合，并基于获得的第一融合特征对所述待检测图像进行多标签分类，获得所述待检测图像的分类结果；
[0014]其中，所述图像分类联合模型是通过对所述度量学习嵌入模块与所述深度语义嵌入模块，进行联合训练所得到的。
[0015]可选的，所述装置还包括：
[0016]图像检索单元，用于基于所述度量学习嵌入模块，分别提取图像库中的各个候选图像的第二浅层全局特征；以及，基于所述深度语义嵌入模块，分别提取所述待检测图像的第二深层语义特征；
[0017]基于所述语义预测模块，分别对各个第二浅层全局特征与相应的第二深层语义特征进行特征融合，获得所述各个候选图像各自对应的第二融合特征；
[0018]分别基于所述第一融合特征，以及所述各个候选图像对应的第二融合特征，确定所述各个候选图像各自与所述待检测图像的相似度；
[0019]基于各个相似度确定所述待检测图像对应的相似图像。
[0020]可选的，所述图像分类联合模型还包括：基础卷积模块；所述装置还包括：
[0021]基础处理单元，用于在所述第一特征提取单元基于已训练的图像分类联合模型中的度量学习嵌入模块，提取待检测图像的第一浅层全局特征之前，将所述待检测图像输入所述图像分类联合模型中的基础卷积模块，基于所述基础卷积模块对所述待检测图像进行全局特征提取，获得所述待检测图像对应的全局特征图；
[0022]所述第一特征提取单元具体用于：
[0023]基于所述度量学习嵌入模块，对所述全局特征图进行嵌入处理，获得所述待检测图像对应的第一浅层全局特征。
[0024]可选的，所述深度语义嵌入模块包括残差结构组成的卷积层和嵌入层；所述第二特征提取单元具体用于：
[0025]基于所述深度语义嵌入模块中的卷积层，对所述全局特征图中的语义信息进行特征提取，并基于所述深度语义嵌入模块中的嵌入层，对提取的语义信息进行嵌入处理，获得所述待检测图像对应的第一深层语义特征。
[0026]可选的，所述语义预测模块的学习率高于其他模块的学习率，所述其他模块包括所述基础卷积模块、所述度量学习嵌入模块和所述深度语义嵌入模块。
[0027]可选的，所述基础卷积模块包括多个卷积层；所述基础卷积模块中的卷积层对应的网络参数是基于指定样本库预训练好的参数初始化获得的，所述深度语义嵌入模块中的卷积层对应的网络参数是基于随机初始化获得的。
[0028]可选的，所述装置还包括：
[0029]训练单元，用于通过下列方式训练得到所述图像分类联合模型：
[0030]获取训练样本数据集，从所述训练样本数据集中选取训练样本组；
[0031]将选取的训练样本组输入所述训练完毕的图像分类联合模型，获取基于所述图像分类联合模型中的度量学习嵌入模块输出的第三浅层全局特征，所述深度语义嵌入模块输出的第三深层语义特征，以及所述语义预测模块输出的分类向量；
[0032]基于所述第三浅层全局特征，所述第三深层语义特征，以及所述分类向量构建目标损失函数，并基于所述目标损失函数对所述图像分类联合模型的网络参数进行多次调整，直至所述图像分类联合模型收敛，输出训练完毕的图像分类联合模型。
[0033]可选的，所述训练单元具体用于：
[0034]基于所述训练样本组中各个训练样本对应的第三浅层全局特征，构建第一三元组损失函数；以及，基于所述各个训练样本对应的第三深层语义特征，构建第二三元组损失函
数；
[0035]基于所述各个训练样本各自对应的分类向量以及相应的多标签向量，构建多标签损失函数，所述分类向量表示训练样本针对各个分类标签对应的预测概率，所述多标签向量表示训练样本针对各个分类标签对应的真实概率；
[0036]基于所述各个训练样本各自对应的分类向量，获取分类熵损失函数；
[0037]将所述第一三元组损失函数，所述第二三元组损失函数，所述多标签损失函数以及所述分类熵损失函数进行加权求和，获得目标损失函数。
[0038]可选的，每个训练样本组包括三个训练样本：一个锚点样本，一个正样本和一个负样本；所述训练单元具体用于：
[0039]确定所述训练样本组中的锚点样本对应的第三浅层全局特征与正样本对应的第三浅层全局特征之间的第一距离，以及，所述锚点样本对应的第三浅层全局特征与负样本对应的第三浅层全局特征之间的第二距离；
[0040]将所述第一距离与所述第二距离之差，与指定边界值的和作为第一目标值，所述指定边界值用于表示正样本与负样本之间相似度的差值边界；
[0041]将所述第一目标值与参考参数中的最大值，作为所述第一三元组损失函数。
[0042]可选的，每个训练样本组包括三个训练样本：一个锚点样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，其特征在于，该方法包括：基于已训练的图像分类联合模型中的度量学习嵌入模块，提取待检测图像的第一浅层全局特征，所述第一浅层全局特征表征所述待检测图像的全局基础信息；以及基于所述图像分类联合模型中的深度语义嵌入模块，提取所述待检测图像的第一深层语义特征，所述第一深层语义特征表征所述待检测图像的图像语义信息；基于所述图像分类联合模型中的语义预测模块，对所述第一浅层全局特征与所述第一深层语义特征进行特征融合，并基于获得的第一融合特征对所述待检测图像进行多标签分类，获得所述待检测图像的分类结果；其中，所述图像分类联合模型是通过对所述度量学习嵌入模块与所述深度语义嵌入模块，进行联合训练所得到的。2.如权利要求1所述的方法，其特征在于，所述基于获得的第一融合特征对所述待检测图像进行多标签分类，还包括：基于所述度量学习嵌入模块，分别提取图像库中的各个候选图像的第二浅层全局特征；以及，基于所述深度语义嵌入模块，分别提取所述待检测图像的第二深层语义特征；基于所述语义预测模块，分别对各个第二浅层全局特征与相应的第二深层语义特征进行特征融合，获得所述各个候选图像各自对应的第二融合特征；分别基于所述第一融合特征，以及所述各个候选图像对应的第二融合特征，确定所述各个候选图像各自与所述待检测图像的相似度；基于各个相似度确定所述待检测图像对应的相似图像。3.如权利要求1所述的方法，其特征在于，所述图像分类联合模型还包括：基础卷积模块；在所述基于已训练的图像分类联合模型中的度量学习嵌入模块，提取待检测图像的第一浅层全局特征之前，还包括：将所述待检测图像输入所述图像分类联合模型中的基础卷积模块，基于所述基础卷积模块对所述待检测图像进行全局特征提取，获得所述待检测图像对应的全局特征图；所述基于已训练的图像分类联合模型中的度量学习嵌入模块，提取待检测图像的第一浅层全局特征，包括：基于所述度量学习嵌入模块，对所述全局特征图进行嵌入处理，获得所述待检测图像对应的第一浅层全局特征。4.如权利要求3所述的方法，其特征在于，所述深度语义嵌入模块包括残差结构组成的卷积层和嵌入层；所述基于所述图像分类联合模型中的深度语义嵌入模块，提取所述待检测图像的第一深层语义特征，基于所述深度语义嵌入模块中的卷积层，对所述全局特征图中的语义信息进行特征提取，并基于所述深度语义嵌入模块中的嵌入层，对提取的语义信息进行嵌入处理，获得所述待检测图像对应的第一深层语义特征。5.如权利要求3所述的方法，其特征在于，所述语义预测模块的学习率高于其他模块的学习率，所述其他模块包括所述基础卷积模块、所述度量学习嵌入模块和所述深度语义嵌入模块。6.如权利要求4所述的方法，其特征在于，所述基础卷积模块包括多个卷积层；所述基
础卷积模块中的卷积层对应的网络参数是基于指定样本库预训练好的参数初始化获得的，所述深度语义嵌入模块中的卷积层对应的网络参数是基于随机初始化获得的。7.如权利要求1所述的方法，其特征在于，所述图像分类联合模型是通过下列方式训练得到的：获取训练样本数据集，从所述训练样本数据集中选取训练样本组；将选取的训练样本组输入所述训练完毕的图像分类联合模型，获取基于所述图像分类联合模型中的度量学习嵌入模块输出的第三浅层全局特征，所述深度语义嵌入模块输出的第三深层语义特征，以及所述语义预测模块输出的分类向量，所述分类向量表示训练样本针对各个分类标签对应的预测概率；基于所述第三浅层全局特征，所述第三深层语义特征，以及所述分类向量构建目标损失函数，并基于所述目标损失函数对所述图像分类联合模型的网络参数进行多次调整，直至所述图像分类联合模型收敛，输出训练完毕的图像分类联合模型。8.如权利要求7所述的方法，其特征在于，所述基于所述第三浅层全局特征，所述第三深层语义特征，以及所述分类向量构建损失函数，具体包括：基于所述训练样本组中各个训练样本对应的第三浅层全局特征，构建第一三元组损失函数；以及，基于所述各个训练样本对应的第三深层语义特征，构建第二三元组损失函数；基于所述各个训练样本各自对应的分类向量以及相应的多标签向量，构建多标签损失函数，所述多标签向量表示训练样本针对各个分类标签对应的真实概率；基于所述各个训练样本各自对应的分类向量，获取分类熵损失函数；将所述第一三元组损失函数，所述第二三元组损失函数，所述多标签损失函数以及所述分类熵损失函数进行加权求和，获...

【专利技术属性】
技术研发人员：郭卉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：