图像分类方法、装置及系统制造方法及图纸

本发明专利技术提供了一种图像分类方法、装置及系统，涉及图像处理技术领域，该方法包括：获取待处理的目标图像；其中，目标图像中包含有待分类的目标对象；对目标图像进行特征初步提取，得到目标图像的初步特征；按照预设的掩码算法对初步特征进行至少一次掩码计算，并根据各次计算结果确定关键特征；其中，关键特征与目标对象的可判别部件相关；基于关键特征对目标对象进行分类识别，得到分类识别结果。本发明专利技术能够较好地提升图像分类的精确度。

【技术实现步骤摘要】
图像分类方法、装置及系统
本专利技术涉及图像处理
，尤其是涉及一种图像分类方法、装置及系统。
技术介绍
伴随着深度学习(DeepLearning)的发展，计算机视觉在人工智能领域中逐渐扮演一个重要的角色。其中，目标识别任务虽然取得了较大进展，但仍然存在很多问题。以细粒度分类(fine-grainedrecognition)任务为例，其主要是在类间方差大且类内方差小的数据分布中去精确识别物体类别的标签。具体而言，对图像进行细粒度分类的主要目的是区分同一物体大类下的物体子类，例如识别鸟的不同种类或车的不同车型等。通常情况下，类内差异远小于类间差异，因而用于识别类内差异的细粒度图像分类的难度远高于用于识别类间差异的传统图像分类，诸如，区分不同品种的猫的难度高于区分猫与狗的难度。现有的细粒度分类任务的识别准确度仍旧不佳，如何精确地识别物体类别还是现有的细粒度分类任务中亟需解决的主要问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种图像分类方法、装置及系统，能够较为精确地识别图像中的物体类别，有助于提升细粒度分类任务的精确度。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种图像分类方法，包括：获取待处理的目标图像；其中，所述目标图像中包含有待分类的目标对象；对所述目标图像进行特征初步提取，得到所述目标图像的初步特征；按照预设的掩码算法对所述初步特征进行至少一次掩码计算，并根据各次计算结果确定关键特征；其中，所述关键特征与所述目标对象的可判别部件相关；基于所述关键特征对所述目标对象进行分类识别，得到分类识别结果。进一步，所述对所述目标图像进行特征初步提取，得到所述目标图像的初步特征的步骤，包括：通过卷积神经网络对所述目标图像进行特征初步提取，得到所述目标图像的初步特征。进一步，所述按照预设的掩码算法对所述初步特征进行至少一次掩码计算，并根据各次计算结果确定关键特征的步骤，包括：将所述初步特征输入至掩码注意力网络；其中，所述掩码注意力网络包括一个或多个运算网络层；通过所述掩码注意力网络中的各所述运算网络层按照预设的掩码算法对所述初步特征分别进行掩码计算，并根据各所述运算网络层的计算结果确定关键特征；其中，不同的所述运算网络层所确定的关键特征不同。进一步，所述运算网络层包括第一运算网络层；所述掩码注意力网络包括L个依次连接的第一运算网络层；其中，L为预设的不小于1的自然数；所述通过所述掩码注意力网络中的各所述运算网络层按照预设的掩码算法对所述初步特征分别进行掩码计算的步骤，包括：通过第l个所述第一运算网络层对接收的初步特征进行第一注意力计算，得到所述初步特征中各特征块对应的第一注意力反馈值，并输出所述第一注意力反馈值最大的特征块；以及，对所述初步特征中的所述第一注意力反馈值最大的特征块进行掩码处理，并输出经掩码处理的初步特征；其中，l的值从1依次取至L。进一步，所述通过第l个所述第一运算网络层对接收的初步特征进行注意力计算，得到所述初步特征中各特征块对应的第一注意力反馈值的步骤，包括：通过第l个所述第一运算网络层按照以下公式进行第一注意力计算，得到接收的所述初步特征中各特征块对应的第一注意力反馈值：其中，表示第l个所述第一运算网络层接收的初步特征中第i个特征块xi的第一注意力反馈值；M1i∈{0，-∞}表示第一掩码矩阵M1的第i个元素；表示第l个所述第一运算网络层的第一学习参数；表示第l个所述第一运算网络层的第二学习参数；g(·)表征激活函数；n为第l个所述第一运算网络层接收的所述初步特征中特征块的总个数。进一步，所述根据各所述运算网络层的计算结果确定关键特征的步骤，包括：将第l个所述第一运算网络层中输出的所述第一注意力反馈值最大的特征块确定为第l个所述第一运算网络层选取的关键图像特征；将所有的所述第一运算网络层选取的关键图像特征均确定为所述目标图像的关键特征。进一步，所述运算网络层还包括第二运算网络层；所述掩码注意力网络还包括L个第二运算网络组；其中，第l个所述第一运算网络层的输出端还与第l个所述第二运算网络组的输入端相连；且每个所述第二运算网络组包括H个依次连接的第二运算网络层；其中，H为预设的不小于1的自然数；所述通过所述掩码注意力网络中的各所述运算网络层按照预设的掩码算法对所述初步特征分别进行掩码计算的步骤，还包括：获取各所述可判别部件对应的文本特征；将各所述文本特征和第l个所述第一运算网络层输出的所述第一注意力反馈值最大的特征块均输入至所述第l个第二运算网络组中，通过所述第l个第二运算网络组中的第h个第二运算网络层对接收的文本特征和特征块进行注意力计算，得到各所述文本特征对应的第二注意力反馈值；以及，对第二注意力反馈值低于预设反馈值的文本特征进行掩码处理，并输出经掩码处理后的文本特征以及其余未经掩码处理的文本特征；其中，h的值从1依次取至H。进一步，所述获取所述可判别部件对应的文本特征的步骤，包括：获取各所述可判别部件对应的文本；通过LSTM网络将各所述可判别部件对应的文本均转换为向量形式的文本特征。进一步，所述通过所述第l个第二运算网络组合中的第h个第二运算网络层对接收的文本特征和初步特征进行注意力计算，得到各所述文本特征对应的第二注意力反馈值的步骤，包括：通过所述第l个第二运算网络组合中的第h个第二运算网络层按照以下公式计算得到接收的各所述文本特征对应的第二注意力反馈值：其中，表示所述第l个第二运算网络组合中的第h个所述第二运算网络层接收的第k个文本特征wk的第二注意力反馈值；pi表示第l个所述第一运算网络层确定的第一注意力反馈值最大的初步特征；表示所述第l个第二运算网络组合中的第h个所述第二运算网络层的第三学习参数；M2k∈{0，-∞}表示第二掩码矩阵M2的第k个元素；γ表示预设反馈值；⊙表示为点积操作。进一步，所述根据各所述运算网络层的计算结果从所述初步特征中选取关键特征的步骤，包括：将第l个所述第一运算网络层输出的所述第一注意力反馈值最大的特征块确定为第l个所述第一运算网络层选取的关键图像特征；以及，将第l个所述第二运算网络组合中未经掩码处理的文本特征确定为第l个所述第二运算网络层选取的关键文本特征；将第l个所述第一运算网络层选取的关键图像特征和第l个所述第二运算网络层选取的关键文本特征进行拼接，得到第l个联合特征；将所有的所述联合特征均确定为所述目标图像的关键特征。进一步，所述基于所述关键特征对所述目标对象进行分类识别，得到分类识别结果的步骤，包括：通过分类网络基于所述关键特征对所述目标对象进行分类识别，得到分类识别结果；其中，所述分类网络包括依次连接的全连接层和softmax函数运算层。第二方面，本专利技术实施例还提供一种图像分类装置，包括：图像获取模块，用于获取待处理的目标图像；其中，所述目标图像中包含有待分类的目标对象；特征提取模块，用于对所述目标图像进行特征初步提取，得到所述目标图像的初步特征；特征选取模块，用于按照预设的掩码算法对所述初步特征进行至少一次掩码计算，并根据各次计算结果从所述初步特征中选取关键特征；其中，不同次的所述计算结果确定的关键特征不同，且所述关键特征与所述目标对象的可判别部件相关；分类识别模块，用于基于所述关键特征对所本文档来自技高网...

【技术保护点】
1.一种图像分类方法，其特征在于，包括：获取待处理的目标图像；其中，所述目标图像中包含有待分类的目标对象；对所述目标图像进行特征初步提取，得到所述目标图像的初步特征；按照预设的掩码算法对所述初步特征进行至少一次掩码计算，并根据各次计算结果确定关键特征；其中，所述关键特征与所述目标对象的可判别部件相关；基于所述关键特征对所述目标对象进行分类识别，得到分类识别结果。

【技术特征摘要】
1.一种图像分类方法，其特征在于，包括：获取待处理的目标图像；其中，所述目标图像中包含有待分类的目标对象；对所述目标图像进行特征初步提取，得到所述目标图像的初步特征；按照预设的掩码算法对所述初步特征进行至少一次掩码计算，并根据各次计算结果确定关键特征；其中，所述关键特征与所述目标对象的可判别部件相关；基于所述关键特征对所述目标对象进行分类识别，得到分类识别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行特征初步提取，得到所述目标图像的初步特征的步骤，包括：通过卷积神经网络对所述目标图像进行特征初步提取，得到所述目标图像的初步特征。3.根据权利要求1所述的方法，其特征在于，所述按照预设的掩码算法对所述初步特征进行至少一次掩码计算，并根据各次计算结果确定关键特征的步骤，包括：将所述初步特征输入至掩码注意力网络；其中，所述掩码注意力网络包括一个或多个运算网络层；通过所述掩码注意力网络中的各所述运算网络层按照预设的掩码算法对所述初步特征分别进行掩码计算，并根据各所述运算网络层的计算结果确定关键特征；其中，不同的所述运算网络层所确定的关键特征不同。4.根据权利要求3所述的方法，其特征在于，所述运算网络层包括第一运算网络层；所述掩码注意力网络包括L个依次连接的第一运算网络层；其中，L为预设的不小于1的自然数；所述通过所述掩码注意力网络中的各所述运算网络层按照预设的掩码算法对所述初步特征分别进行掩码计算的步骤，包括：通过第l个所述第一运算网络层对接收的初步特征进行第一注意力计算，得到所述初步特征中各特征块对应的第一注意力反馈值，并输出所述第一注意力反馈值最大的特征块；以及，对所述初步特征中的所述第一注意力反馈值最大的特征块进行掩码处理，并输出经掩码处理后的初步特征；其中，l的值从1依次取至L。5.根据权利要求4所述的方法，其特征在于，所述通过第l个所述第一运算网络层对接收的初步特征进行注意力计算，得到所述初步特征中各特征块对应的第一注意力反馈值的步骤，包括：通过第l个所述第一运算网络层按照以下公式进行第一注意力计算，得到接收的所述初步特征中各特征块对应的第一注意力反馈值：其中，表示第l个所述第一运算网络层接收的初步特征中第i个特征块xi的第一注意力反馈值；M1i∈{0，-∞}表示第一掩码矩阵M1的第i个元素；表示第l个所述第一运算网络层的第一学习参数；表示第l个所述第一运算网络层的第二学习参数；g(·)表征激活函数；n为第l个所述第一运算网络层接收的所述初步特征中特征块的总个数。6.根据权利要求4所述的方法，其特征在于，所述根据各所述运算网络层的计算结果确定关键特征的步骤，包括：将第l个所述第一运算网络层中输出的所述第一注意力反馈值最大的特征块确定为第l个所述第一运算网络层选取的关键图像特征；将所有的所述第一运算网络层选取的关键图像特征均确定为所述目标图像的关键特征。7.根据权利要求4所述的方法，其特征在于，所述运算网络层还包括第二运算网络层；所述掩码注意力网络还包括L个第二运算网络组；其中，第l个所述第一运算网络层的输出端还与第l个所述第二运算网络组的输入端相连；且每个所述第二运算网络组包括H个依次连接的第二运算网络层；其中，H为预设的不小于1的自然数；所述通过所述掩码注意力网络中的各所述运算网络层按照预设的掩码算法对所述初步特征分别进行掩码计算的步骤，还包括：获取各所述可判别部件对应的文本特征；将各所述文本特征和第l...

【专利技术属性】
技术研发人员：魏秀参，宋恺涛，
申请(专利权)人：南京旷云科技有限公司，徐州旷视数据科技有限公司，北京旷视科技有限公司，
类型：发明
国别省市：江苏,32