图像识别方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种图像识别方法、装置、电子设备及存储介质，涉及图像处理领域，该方法包括：获取待识别图像；基于训练好的特征提取模型，得到待识别图像的第一、第二特征信息，其中，第一特征信息用于表征待识别图像的目标子类别，第二特征信息用于表征目标子类别与其他子类别之间的差异，目标子类别和其他子类别属于同一个主类别；将第一特征信息和第二特征信息进行融合，得到融合特征信息；根据融合特征信息确定待识别图像的识别结果；根据识别结果，执行预定操作。本申请通过训练好的特征提取模型得到第一、第二特征信息，并基于融合得到的融合特征信息进行图像识别，可同时考虑特征本身及同一主类别下类内特征的差异性，提高图像识别精度。

Image recognition method, device, electronic equipment and storage medium

【技术实现步骤摘要】
图像识别方法、装置、电子设备及存储介质
本申请涉及图像处理
，更具体地，涉及一种图像识别方法、装置、电子设备及存储介质。
技术介绍
随着终端的普及和终端技术的发展，用户对终端图像识别的精度要求越来越高。例如，用户期望通过终端实时识别各种物体，但是，目前的图像识别方法多是针对特定领域，并且应用在相对复杂的系统中，很难满足终端对通用物体进行识别的精度要求，即目前终端图像识别的精度不高。
技术实现思路
本申请实施例提出了一种图像识别方法、装置、电子设备及存储介质，能够提高图像识别的准确率。第一方面，本申请实施例提供了一种图像识别方法，该方法包括：获取待识别图像；基于训练好的特征提取模型，得到所述待识别图像的第一特征信息和第二特征信息，其中，所述第一特征信息用于表征所述待识别图像的目标子类别，所述第二特征信息用于表征所述目标子类别与其他子类别之间的差异，所述目标子类别和所述其他子类别属于同一个主类别；将所述第一特征信息和所述第二特征信息进行融合，得到融合特征信息；根据所述融合特征信息确定所述待识别图像的识别结果；根据所述识别结果，执行预定操作。第二方面，本申请实施例提供了一种图像识别装置，该装置包括：图像获取模块，用于获取待识别图像；特征提取模块，用于基于训练好的特征提取模型，得到所述待识别图像的第一特征信息和第二特征信息，其中，所述第一特征信息用于表征所述待识别图像的目标子类别，所述第二特征信息用于表征所述目标子类别与其他子类别之间的差异，所述目标子类别和所述其他子类别属于同一个主类别；特征融合模块，用于将所述第一特征信息和所述第二特征信息进行融合，得到融合特征信息；图像识别模块，用于根据所述融合特征信息确定所述待识别图像的识别结果；操作执行模块，用于根据所述识别结果，执行预定操作。第三方面，本申请实施例提供了一种电子设备，包括：存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行上述第一方面提供的图像识别方法。第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的图像识别方法。本申请实施例提供的一种图像识别方法、装置、电子设备及存储介质，通过获取待识别图像，然后基于训练好的特征提取模型，得到可表征待识别图像的目标子类别的第一特征信息、以及表征目标子类别与其他子类别之间的差异的第二特征信息，其中，目标子类别和其他子类别属于同一个主类别，接着融合第一特征信息和第二特征信息得到融合特征信息进行识别，并根据识别结果，执行预定操作。由此，本申请实施例在图像识别时，基于训练好的特征提取模型所提取的特征，可同时考虑特征本身和同一主类别下各子类别特征之间的差异性，从而使得最终融合得到的融合特征信息不仅能够反映不同类别物体之间特征的差异，也能够反映相同类别物体之间特征的差异，因此可以显著提高图像识别的精度，具有更广的应用范围。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请实施例提供的一种图像识别方法的应用场景示意图。图2示出了本申请一个实施例提供的图像识别方法的流程示意图。图3示出了本申请另一个实施例提供的图像识别方法的流程示意图。图4示出了本申请一个示例性实施例中图3内步骤S240的流程示意图。图5示出了本申请又一个实施例提供的图像识别方法的流程示意图。图6示出了本申请一个示例性实施例中MobileNetV2的瓶颈结构示意图。图7示出了本申请一个示例性实施例中图5内步骤S330的流程示意图。图8示出了本申请一个示例性实施例中第一特征提取网络的训练过程示意图。图9示出了本申请一个示例性实施例中基于特征提取模型的图像识别过程示意图。图10示出了本申请实施例提供的图像识别装置的模块框图。图11示出了本申请实施例提供的电子设备的结构框图。图12示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的图像识别方法的程序代码的存储单元。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。术语定义总体均值(Mean)：描述随机变量取值平均状况的数字特征，用希腊字母表示为μ。总体标准差(StandardDeviation)：描述随机变量取值与其算术平均数之间的平均离差，用希腊字母表示为σ。自适应时刻估计法(AdaptiveMomentEstimation)：是一种优化算法，它能基于训练数据迭代地更新神经网络权重，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。目前的图像识别方法多是针对特定领域，并且应用在相对复杂的系统中，但是目前由于智能手机和平板电脑等终端的普及、相机像素的提高，移动端的图像识别愈发收到关注，且相关技术也得到了相应发展，例如，用户可以通过终端实时识别未知的物品、或寻找相似的物品，不仅可以扩展自身的知识，满足自身的好奇心，而且能够提升用户使用终端的体验。但是，目前的图像识别方法很难满足移动端对通用物体进行识别的性能要求。同时对于图像识别任务而言，即使相同主类别的物体，它们之间也仍可能存在明显差异，例如，都属于桌子类别的办公桌、书桌、餐桌之间可能存在明显差异，而目前的图像识别技术往往仅可将图像中的桌子分到桌子类别，而难以再具体细分到下一级类别，也就是说，目前图像识别的精度不够高。因此，基于上述问题，本申请实施例提供了一种图像识别方法、装置、电子设备及计算机可读取存储介质，通过在图像识别时，基于训练好的特征提取模型所提取的特征，可同时考虑特征本身和同一主类别下各子类别特征之间的差异性，从而使得最终融合得到的融合特征信息不仅能够反映不同类别物体之间特征的差异，也能够反映相同类别物体之间特征的差异，由此可显著提高图像识别的精度，具有更广的应用范围。为了便于详细说明，下面先结合附图对本申请实施例所适用的应用场景进行示例性说明。请参见图1，图1示出了本申请实施例提供的图像识别方法的应用场景示意图，该应用场景包括本申请实施例提供的一种图像识别系统10。该通信系统10包括：终端100和服务器200。其中，终端100可以为但不限于为手机、平板电脑、MP3播放器(MovingPictureExpertsGroupAudioLayerⅢ，动态影像压缩标准音频层面3)、MP4(MovingPictureExpertsGroupAudioLayerIV，动态影像压缩标准音频层面4)播放器、个人本文档来自技高网...

【技术保护点】
1.一种图像识别方法，其特征在于，所述方法包括：/n获取待识别图像；/n基于训练好的特征提取模型，得到所述待识别图像的第一特征信息和第二特征信息，其中，所述第一特征信息用于表征所述待识别图像的目标子类别，所述第二特征信息用于表征所述目标子类别与其他子类别之间的差异，所述目标子类别和所述其他子类别属于同一个主类别；/n将所述第一特征信息和所述第二特征信息进行融合，得到融合特征信息；/n根据所述融合特征信息确定所述待识别图像的识别结果；/n根据所述识别结果，执行预定操作。/n

【技术特征摘要】
1.一种图像识别方法，其特征在于，所述方法包括：
获取待识别图像；
基于训练好的特征提取模型，得到所述待识别图像的第一特征信息和第二特征信息，其中，所述第一特征信息用于表征所述待识别图像的目标子类别，所述第二特征信息用于表征所述目标子类别与其他子类别之间的差异，所述目标子类别和所述其他子类别属于同一个主类别；
将所述第一特征信息和所述第二特征信息进行融合，得到融合特征信息；
根据所述融合特征信息确定所述待识别图像的识别结果；
根据所述识别结果，执行预定操作。


2.根据权利要求1所述的方法，其特征在于，所述获取待识别图像之前，所述方法还包括：
获取多个样本集，所述样本集包括多个样本图像及所述样本图像对应的样本标签，其中，同一个样本集中样本图像对应的样本标签属于同一个主类别；
基于初始特征提取模型和所述样本图像，得到第一样本特征信息和第二样本特征信息，所述初始特征提取模型包括第一特征提取网络以及第二特征提取网络；
将所述第一样本特征信息和所述第二样本特征信息融合，得到样本融合特征信息；
根据所述样本融合特征信息和所述样本图像对应的样本标签，修正所述初始特征提取模型中所述第二特征提取网络的网络参数；
将包含修正后的网络参数的初始特征提取模型确定为所述训练好的特征提取模型。


3.根据权利要求2所述的方法，其特征在于，所述将所述第一样本特征信息和所述第二样本特征信息融合，得到样本融合特征信息，包括：
将所述第一样本特征信息和所述第二样本特征信息相加得到所述样本融合特征信息。


4.根据权利要求2所述的方法，其特征在于，所述基于初始特征提取模型和所述样本图像，得到第一样本特征信息和第二样本特征信息之前，所述方法还包括：
基于所述初始第一特征提取网络，得到所述样本图像的第一样本特征信息；
根据所述第一样本特征信息和所述样本图像对应的样本标签，修正所述初始第一特征提取网络的网络参数；
将所述初始第一特征提取网络确定为所述初始特征提取模型的第一特征提取网络，所述第一特征提取网络用于提取目标图像的第一特征信息，以及用于作为所述第二特征提取网络的输入，并与所述第二特征提取网络的输出进行融合。


...

【专利技术属性】
技术研发人员：颜波，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44