一种图像检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种图像检测方法、装置、电子设备及存储介质，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，该方法包括：根据待处理图像对应的图像块序列确定第一向量序列；基于多个注意力编码层依次对第一向量序列进行注意力编码得到第一特征图；基于分类嵌入向量对应的目标注意力特征得到第一注意力分布图；对第一注意力分布图取反后与第一特征图融合得到第二特征图；根据所述第一特征图、所述第一注意力分布图和所述第二特征图进行目标对象检测，得到所述待处理图像中目标对象的类别信息和位置信息。本发明专利技术提高了检测结果中位置信息的准确性。中位置信息的准确性。中位置信息的准确性。

【技术实现步骤摘要】
一种图像检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，特别涉及一种图像检测方法、装置、电子设备及存储介质。

技术介绍

[0002]目标检测能够给出图像中的感兴趣目标所在的位置信息和类别信息，是后续计算机视觉任务的前置基础性任务。
[0003]相关技术中，通常基于卷积神经网络CNN(Convolutional Neural Networks)的方法对图像进行目标检测，即先使用卷积神经网络提取图像的深层次语义特征图，对该深层次语义特征图进行全局池化后通过全连接层整合具有类别区分性的局部信息并给到分类层进行分类，并结合分类结果确定定位框得到位置信息。由于卷积神经网络仅提取局部特征，从而使得相关技术仅关注目标的最具判别力的特征，导致目标检测的定位精度差，检测结果中的位置信息不够准确。

技术实现思路

[0004]为了解决现有技术的问题，本专利技术实施例提供了一种图像检测方法、装置、电子设备及存储介质。所述技术方案如下：
[0005]一方面，提供了一种图像检测方法，所述方法包括：
[0006]根据待处理图像对应的图像块序列，确定第一向量序列；所述第一向量序列包括分类嵌入向量和所述图像块序列中各图像块对应的图像块向量；
[0007]基于多个注意力编码层依次对所述第一向量序列进行注意力编码，得到第一特征图；
[0008]确定每个所述注意力编码层对应的注意力矩阵，提取每个所述注意力矩阵中对应所述分类嵌入向量的目标注意力特征，对各所述目标注意力特征进行融合处理，得到第一注意力分布图；
[0009]对所述第一注意力分布图进行取反处理，得到反向注意力分布图，将所述反向注意力分布图与所述第一特征图进行融合处理得到第二特征图；
[0010]根据所述第一特征图、所述第一注意力分布图和所述第二特征图进行目标对象检测，得到所述待处理图像中所述目标对象的类别信息和位置信息。
[0011]另一方面，提供了一种图像检测装置，所述装置包括：
[0012]第一确定模块，用于根据待处理图像对应的图像块序列，确定第一向量序列；所述第一向量序列包括分类嵌入向量和所述图像块序列中各图像块对应的图像块向量；
[0013]注意力编码模块，用于基于多个注意力编码层依次对所述第一向量序列进行注意力编码，得到第一特征图；
[0014]第一注意力分布确定模块，用于确定每个所述注意力编码层对应的注意力矩阵，提取每个所述注意力矩阵中对应所述分类嵌入向量的目标注意力特征，对各所述目标注意
力特征进行融合处理，得到第一注意力分布图；
[0015]取反处理模块，用于对所述第一注意力分布图进行取反处理，得到反向注意力分布图，将所述反向注意力分布图与所述第一特征图进行融合处理得到第二特征图；
[0016]目标对象检测模块，用于根据所述第一特征图、所述第一注意力分布图和所述第二特征图进行目标对象检测，得到所述待处理图像中目标对象的类别信息和位置信息。
[0017]在一个示例性的实施方式中，所述目标对象检测模块包括：
[0018]第二注意力分布确定模块，用于根据所述第二特征图和所述第一特征图，确定所述待处理图像中目标对象的类别信息并生成第二注意力分布图；
[0019]目标注意力分布确定模块，用于对所述第一注意力分布图与第二注意力分布图进行逐像素相乘得到目标注意力分布图；
[0020]位置信息确定模块，用于根据所述目标注意力分布图确定所述待处理图像中目标对象的位置信息。
[0021]在一个示例性的实施方式中，所述第二注意力分布确定模块包括：
[0022]第一分类模块，用于根据所述第二特征图进行分类，得到第一分类结果；所述第一分类结果包括多个预设类别中各预设类别对应的概率值；
[0023]重参数模块，用于根据所述第一分类结果对多个初始化卷积核进行加权求和，得到目标卷积核；
[0024]特提取模块，用于根据所述目标卷积核对所述第一特征图进行特征提取，得到第三特征图；
[0025]第二确定模块，用于根据所述第三特征图，确定所述待处理图像中目标对象的类别信息并生成第二注意力分布图。
[0026]在一个示例性的实施方式中，所述第一分类模块包括：
[0027]降维模块，用于对所述第二特征图进行降维处理，得到降维特征图；
[0028]第一池化模块，用于对所述降维特征图分别进行全局最大池化和全局平均池化，得到第一池化特征和第二池化特征；
[0029]池化特征融合模块，用于融合所述第一池化特征和所述第二池化特征，得到融合池化特征；
[0030]分类子模块，用于对所述融合池化特征进行分类，得到第一分类结果。
[0031]在一个示例性的实施方式中，所述第二确定模块包括：
[0032]第二池化模块，用于对所述第三特征图进行全局平均池化，得到第三池化特征；
[0033]第二分类模块，用于基于所述第三池化特征进行分类，得到第二分类结果；所述第二分类结果表征待处理图像中目标对象的类别信息；
[0034]注意力图生成模块，用于基于所述第三池化特征和所述第三特征图，生成第二注意力分布图。
[0035]在一个示例性的实施方式中，所述取反处理模块在将所述反向注意力分布图与所述第一特征图进行融合处理得到第二特征图时，具体用于将所述反向注意力分布图与所述第一特征图相乘得到第二特征图。
[0036]在一个示例性的实施方式中，所述第一注意力分布确定模块包括：
[0037]第一平均模块，用于针对每个所述注意力编码层，确定各自注意力机制模块的注
意力矩阵的平均，得到所述注意力编码层对应的注意力矩阵；
[0038]提取模块，用于提取所述注意力编码层对应的注意力矩阵中，对应所述分类嵌入向量的目标注意力特征；
[0039]第二平均模块，对各所述注意力编码层对应的目标注意力特征取平均，得到第一注意力分布图。
[0040]在一个示例性的实施方式中，所述第一确定模块包括：
[0041]图像切分模块，用于获取待处理图像，将所述待处理图像切分为多个图像块，得到图像块序列；
[0042]嵌入模块，用于对所述图像块序列中的图像块进行向量嵌入，得到图像块嵌入向量序列；
[0043]第一添加模块，用于向所述图像块嵌入向量序列中添加初始化的分类嵌入向量，得到嵌入向量序列；
[0044]第二添加模块，用于对所述嵌入向量序列中的各嵌入向量添加位置编码，得到所述第一向量序列；所述位置编码表征相应嵌入向量在所述嵌入向量序列中的位置信息。
[0045]在一个示例性的实施方式中，上述图像检测方法基于图像检测模型实现，所述装置还包括训练模块，所述训练模块包括：
[0046]样本获取模块，用于获取样本图像以及所述样本图像对应的类别标签；所述类别标签指示所述样本图像中目标对象的参考类别信息；
[0047]第一样本特征图确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检测方法，其特征在于，所述方法包括：根据待处理图像对应的图像块序列，确定第一向量序列；所述第一向量序列包括分类嵌入向量和所述图像块序列中各图像块对应的图像块向量；基于多个注意力编码层依次对所述第一向量序列进行注意力编码，得到第一特征图；确定每个所述注意力编码层对应的注意力矩阵，提取每个所述注意力矩阵中对应所述分类嵌入向量的目标注意力特征，对各所述目标注意力特征进行融合处理，得到第一注意力分布图；对所述第一注意力分布图进行取反处理，得到反向注意力分布图，将所述反向注意力分布图与所述第一特征图进行融合处理得到第二特征图；根据所述第一特征图、所述第一注意力分布图和所述第二特征图进行目标对象检测，得到所述待处理图像中目标对象的类别信息和位置信息。2.根据权利要求1所述的图像检测方法，其特征在于，所述根据所述第一特征图、所述第一注意力分布图和所述第二特征图进行目标对象检测，得到所述待处理图像中所述目标对象的类别信息和位置信息，包括：根据所述第二特征图和所述第一特征图，确定所述待处理图像中目标对象的类别信息并生成第二注意力分布图；对所述第一注意力分布图与第二注意力分布图进行逐像素相乘得到目标注意力分布图；根据所述目标注意力分布图确定所述待处理图像中所述目标对象的位置信息。3.根据权利要求2所述的图像检测方法，其特征在于，所述根据所述第二特征图和所述第一特征图，确定所述待处理图像中目标对象的类别信息并生成第二注意力分布图包括：根据所述第二特征图进行分类，得到第一分类结果；所述第一分类结果包括多个预设类别中各预设类别对应的概率值；根据所述第一分类结果对多个初始化卷积核进行加权求和，得到目标卷积核；根据所述目标卷积核对所述第一特征图进行特征提取，得到第三特征图；根据所述第三特征图，确定所述待处理图像中目标对象的类别信息并生成第二注意力分布图。4.根据权利要求3所述的图像检测方法，其特征在于，所述根据所述第二特征图进行分类，得到第一分类结果包括：对所述第二特征图进行降维处理，得到降维特征图；对所述降维特征图分别进行全局最大池化和全局平均池化，得到第一池化特征和第二池化特征；融合所述第一池化特征和所述第二池化特征，得到融合池化特征；对所述融合池化特征进行分类，得到第一分类结果。5.根据权利要求3所述的图像检测方法，其特征在于，所述根据所述第三特征图，确定所述待处理图像中目标对象的类别信息并生成第二注意力分布图，包括：对所述第三特征图进行全局平均池化，得到第三池化特征；基于所述第三池化特征进行分类，得到第二分类结果；所述第二分类结果表征待处理图像中目标对象的类别信息；
基于所述第三池化特征和所述第三特征图，生成第二注意力分布图。6.根据权利要求1所述的图像检测方法，其特征在于，所述将所述反向注意力分布图与所述第一特征图进行融合处理得到第二特征图，包括：将所述反向注意力分布图与所述第一特征图相乘，得到第二特征图。7.根据权利要求1所述的图像检测方法，其特征在于，所述确定每个所述注意力编码层对应的注意力矩阵，提取每个所述注意力矩阵中对应所述分类嵌入向量的目标注意力特征，对各所述目标注意力特征进行融合处理，得到第一注意力分布图，包括：针对每个所述注意力编码层，确定各自注意力机制模块的注意力矩阵的平均，得到所述注意力...

【专利技术属性】
技术研发人员：王昌安，王亚彪，
申请(专利权)人：腾讯科技上海有限公司，
类型：发明
国别省市：