图像分类方法、装置、电子设备、介质和产品制造方法及图纸

本公开提供了一种图像分类方法、装置、电子设备、介质和产品，涉及人工智能技术领域，具体涉及计算机视觉、图像处理和深度学习等技术领域。具体实现方案为：获取待分类图像；对所述待分类图像进行特征提取，得到目标特征信息，目标特征信息包括第一特征向量和第二特征向量，所述第一特征向量为基于待分类图像的特征图生成的特征向量；所述第二特征向量为基于所述特征图对应的健值特征、所述特征图对应的值特征、以及预先获取的初始查询特征，生成的特征向量；基于所述第一特征向量生成第一分类信息，以及，基于所述第二特征向量生成第二分类信息；基于所述第一分类信息和第二分类信息，确定目标分类类别。本公开可以提高图像分类结果的准确性。果的准确性。果的准确性。

【技术实现步骤摘要】
图像分类方法、装置、电子设备、介质和产品


[0001]本公开涉及人工智能
，具体涉及计算机视觉、图像处理和深度学习等
具体涉及一种图像分类方法、装置、电子设备、介质和产品。

技术介绍

[0002]在计算机视觉领域，卷积神经网络(Convolutional Neural Networks，CNN)是主流的模型结构，CNN主要应用于图像分类、检测和分割等任务中。为了提高CNN的图像处理效果，相关技术中主要采用的手段是增加CNN的宽度、深度或者输入图像分辨率。

技术实现思路

[0003]本公开提供了一种图像分类方法、装置、电子设备、介质和产品。
[0004]根据本公开的第一方面，提供了一种图像分类方法，包括：
[0005]获取待分类图像；
[0006]对所述待分类图像进行特征提取，得到目标特征信息，其中，所述目标特征信息包括第一特征向量和第二特征向量，所述第一特征向量为基于所述待分类图像的特征图生成的特征向量；所述第二特征向量为基于所述特征图对应的健值特征、所述特征图对应的值特征、以及预先获取的初始查询特征，生成的特征向量；
[0007]基于所述第一特征向量生成第一分类信息，以及，基于所述第二特征向量生成第二分类信息，其中，所述第一分类信息用于表征所述待分类图像的分类类别，所述第二分类信息用于表征所述待分类图像的分类类别；
[0008]基于所述第一分类信息和所述第二分类信息，确定目标分类类别。
[0009]根据本公开的第二方面，提供了一种图像分类装置，包括：
[0010]获取模块，用于获取待分类图像；
[0011]特征提取模块，用于对所述待分类图像进行特征提取，得到目标特征信息，其中，所述目标特征信息包括第一特征向量和第二特征向量，所述第一特征向量为基于所述待分类图像的特征图生成的特征向量；所述第二特征向量为基于所述特征图对应的健值特征、所述特征图对应的值特征、以及预先获取的初始查询特征，生成的特征向量；
[0012]生成模块，用于基于所述第一特征向量生成第一分类信息，以及，基于所述第二特征向量生成第二分类信息，其中，所述第一分类信息用于表征所述待分类图像的分类类别，所述第二分类信息用于表征所述待分类图像的分类类别；
[0013]确定模块，用于基于所述第一分类信息和所述第二分类信息，确定目标分类类别。
[0014]根据本公开的第三方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。
[0018]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。
[0019]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面所述的方法。
[0020]本公开实施例中，在对图像进行分类的过程中，通过生成第一特征向量和第二特征向量，并基于第一特征向量生成第一分类信息，以及，基于所述第二特征向量生成第二分类信息，然后，基于所述第一分类信息和所述第二分类信息，确定目标分类类别，如此，有利于提高图像分类结果的准确性。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1是本公开实施例提供的一种图像分类方法的流程图之一；
[0024]图2是本公开实施例提供的一种图像分类方法的流程图之二；
[0025]图3是相关技术中的图像分类方法的流程图；
[0026]图4是本公开实施例中特征处理模块对查询特征进行更新过程的流程示意图；
[0027]图5是本公开实施例提供的一种图像分类装置的结构示意图；
[0028]图6是本公开实施例中的特征提取模块的结构示意图；
[0029]图7是本公开实施例中的更新子模块的结构示意图；
[0030]图8是本公开实施例中的生成模块的结构示意图；
[0031]图9是本公开实施例中的确定模块的结构示意图；
[0032]图10本公开实施例提供的用于实现图像分类方法的电子设备的框图。
具体实施方式
[0033]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0034]请参见图1，图1为本公开实施例提供的一种图像分类方法的流程示意图，所述图像分类方法，包括：
[0035]步骤S101、获取待分类图像；
[0036]步骤S102、对所述待分类图像进行特征提取，得到目标特征信息，其中，所述目标特征信息包括第一特征向量和第二特征向量，所述第一特征向量为基于所述待分类图像的特征图生成的特征向量；所述第二特征向量为基于所述特征图对应的健值特征、所述特征图对应的值特征、以及预先获取的初始查询特征，生成的特征向量；
[0037]步骤S103、基于所述第一特征向量生成第一分类信息，以及，基于所述第二特征向量生成第二分类信息，其中，所述第一分类信息用于表征所述待分类图像的分类类别，所述第二分类信息用于表征所述待分类图像的分类类别；
[0038]步骤S104、基于所述第一分类信息和所述第二分类信息，确定目标分类类别。
[0039]其中，上述图像分类方法可以应用于各种图像分类场景或者图像识别场景，例如，人脸识别场景、以图搜图场景、图像检索场景、商品识别场景等。
[0040]上述健值特征即特征图对应的Key特征，上述值特征即特征图对应的Value特征，上述预先获取的初始查询特征可以是：预先获取到的Query特征，其中，所述Query特征可以是基于随机初始化得到的Query生成的特征，例如，可以通过对Query进行线性投影，得到所述Query特征。
[0041]上述特征图可以是采用图像分类模型对所述待分类图像进行特征提取得到的特征图，例如，可以是采用CNN图像分类模型对所述待分类图像进行特征提取得到的特征图。相应地，所述图像分类模型一方面可以基于所述特征图生成的第一特征向量；另一方面，所述图像分类模型还可以基于所述特征图对应的健值特征、所述特征图对应的值特征、以及预先获取的初始查询特征，生成的第二特征向量。然后，基于所述第一特征向量生成第一分类信息，以及，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分类方法，包括：获取待分类图像；对所述待分类图像进行特征提取，得到目标特征信息，其中，所述目标特征信息包括第一特征向量和第二特征向量，所述第一特征向量为基于所述待分类图像的特征图生成的特征向量；所述第二特征向量为基于所述特征图对应的健值特征、所述特征图对应的值特征、以及预先获取的初始查询特征，生成的特征向量；基于所述第一特征向量生成第一分类信息，以及，基于所述第二特征向量生成第二分类信息，其中，所述第一分类信息用于表征所述待分类图像的分类类别，所述第二分类信息用于表征所述待分类图像的分类类别；基于所述第一分类信息和所述第二分类信息，确定目标分类类别。2.根据权利要求1所述的方法，其中，所述对所述待分类图像进行特征提取，得到目标特征信息，包括：基于图像分类模型对所述待分类图像进行s次迭代特征处理，得到所述目标特征信息，所述图像分类模型包括s个依次连接的特征处理层，一个特征处理层包括一个特征提取模块和一个特征处理模块，所述特征提取模块用于提取所接收到的图像中的特征，以输出所述特征图，所述特征处理模块用于基于所述特征图对应的健值特征、所述特征图对应的值特征和所述初始查询特征，对所述初始查询特征进行更新，所述s个依次连接的特征处理层与所述s次迭代特征处理一一对应，所述s为大于1的整数。3.根据权利要求2所述的方法，其中，所述基于图像分类模型对所述待分类图像进行s次迭代特征处理，得到所述目标特征信息，包括：将第i个图像输入第i个特征处理层的特征提取模块进行特征提取，得到第i个特征图，其中，所述i为大于0且小于或等于所述s的整数；基于所述第i个特征处理层的特征处理模块利用所述第i个特征图，生成第i个健值特征和第i个值特征；基于所述第i个特征处理层的特征处理模块利用所述第i个健值特征、所述第i个值特征和第i个查询特征、对所述第i个查询特征进行更新，得到第i+1个查询特征；其中，在所述i等于1的情况下，所述第i个图像为所述待分类图像，所述第i个查询特征为所述初始查询特征；在所述i大于1的情况下，所述第i个图像为第i
‑
1个特征图；所述第一特征向量为基于第s个特征图生成的特征向量，所述第二特征向量包括所述第s个特征处理层的特征处理模块输出的第s+1个查询特征。4.根据权利要求3所述的方法，其中，所述基于所述第i个特征处理层的特征处理模块利用所述第i个健值特征、所述第i个值特征和第i个查询特征、对所述第i个查询特征进行更新，得到第i+1个查询特征，包括：基于所述第i个特征处理层的特征处理模块利用注意力机制对所述第i个健值特征和所述第i个查询特征进行处理，得到第i个注意力矩阵；基于所述第i个特征处理层的特征处理模块对所述第i个值特征和所述第i个注意力矩阵进行聚合处理，得到所述第i+1个查询特征。5.根据权利要求3所述的方法，其中，所述基于所述第i个特征处理层的特征处理模块
利用所述第i个特征图，生成第i个健值特征和第i个值特征，包括：基于所述第i个特征处理层的特征处理模块利用第一投影矩阵对所述第i个特征图进行线性投影，得到所述第i个健值特征，以及，基于所述第i个特征处理层的特征处理模块利用第二投影矩阵对所述第i个特征图进行线性投影，得到所述第i个值特征，所述第一投影矩阵和所述第二投影矩阵为不同的矩阵。6.根据权利要求1所述的方法，其中，所述第一特征向量包括m个维度的特征，所述第二特征向量包括d个维度的特征，所述基于所述第一特征向量生成第一分类信息，以及，基于所述第二特征向量生成第二分类信息，包括：确定第一分类矩阵和第二分类矩阵，其中，所述第一分类矩阵为n
×
m的分类矩阵，所述第二分类矩阵为n
×
d的分类矩阵；基于所述第一分类矩阵和所述第一特征向量生成所述第一分类信息，以及，基于所述第二分类矩阵和所述第二特征向量生成所述第二分类信息。7.根据权利要求1所述的方法，其中，所述基于所述第一分类信息和所述第二分类信息，确定目标分类类别，包括：对所述第一分类信息和所述第二分类信息进行加权求和，得到目标分类信息，所述目标分类信息包括n个概率值，所述n个概率值与预设的n个分类类别一一对应；将所述n个概率值中，最大的概率值所对应的分类类别确定为所述目标分类类别。8.一种图像分类装置，包括：获取模块，用于获取待分类图像；特征提取模块，用于对所述待分类图像进行特征提取，得到目标特征信息，其中，所述目标特征信息包括第一特征向量和第二特征向量，所述第一特征向量为基于所述待分类图像的特征图...

【专利技术属性】
技术研发人员：尉德利，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：