基于全推理神经网络的目标检测方法、系统及装置制造方法及图纸

本发明专利技术公开一种基于全推理神经网络的目标检测方法，包括以下步骤：获取目标图像数据库；基于目标图像数据库对全推理目标检测网络模型进行训练及验证，得到训练好的全推理目标检测网络模型，全推理目标检测网络模型通过获取初始目标检测网络模型；基于胶囊推理子网络模型进行目标位置和类别信息挖掘得到的；将待检测目标图像输入至训练好的全推理目标检测网络模型中，得到待检测目标信息。采用构建差值注意力提取方法，用于实现特征图信息的增强，通过提取提取大分辨率特征图并和小分辨率图的信息进行对比，提取他们中间被过滤掉的信息，用于对大分辨率特征图中，将大小分辨率特征图进行合并用于后续的目标检测。征图进行合并用于后续的目标检测。征图进行合并用于后续的目标检测。

【技术实现步骤摘要】
基于全推理神经网络的目标检测方法、系统及装置


[0001]本专利技术涉及目标检测
，尤其涉及一种基于全推理神经网络的目标检测方法、系统及装置。

技术介绍

[0002]在现有技术中，目标检测的目标是为每个感兴趣的对象预测一组框及其对应的类别标签。目前的目标检测算法主要通过在大量proposals、anchors或窗口中心上定义回归和分类问题，以间接的方式完成任务。这些算法通过采用后处理方法去除重复的预测框，性能容易受到后处理步骤、anchors的设计，以及目标框和anchor的匹配算法的设计。
[0003]在Transformer基础上新提出的DETR将检测视为集合预测问题，简化了目标检测的整体流程。它没有现在主流的目标检测器中的anchor、label assign、nms等操作，做到了真正的end
‑
to
‑
end。它主要采用了Transformer的编解码结构，它在序列预测任务上大获成功。Transformer中的自注意力机制显示地界定了序列中元素间的相互作用，因此可以用于约束集合的预测结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全推理神经网络的目标检测方法，其特征在于，包括以下步骤：获取目标图像数据库；基于目标图像数据库对全推理目标检测网络模型进行训练及验证，得到训练好的全推理目标检测网络模型，其中，所述全推理目标检测网络模型通过获取初始目标检测网络模型，基于差值注意力算法所述初始目标检测网络模型进行初始改进；基于胶囊推理子网络模型进行目标位置和类别信息挖掘得到的；将待检测目标图像输入至训练好的全推理目标检测网络模型中，得到待检测目标信息。2.根据权利要求1所述的基于全推理神经网络的目标检测方法，其特征在于，所述基于差值注意力算法所述初始目标检测网络模型进行初始改进，包括以下步骤：基于初始目标检测网络模型得到最后两层的特征图，第一特征图和第二特征图，其中第一特征图为倒数第二层的特征图，第二特征图为倒数第一层的特征图；对第二特征图进行上采样和卷积处理，得到第三特征图；将第三特征图和第一特征图进行对比，得到相应的差值，并将所述差值进行sigmoid处理，作为mask结果；基于mask结果并以乘积附加到第一特征图上，得到第四特征图；将第四特征图和第二特征图进行求和，得到第五特征图。3.根据权利要求1所述的基于全推理神经网络的目标检测方法，其特征在于，所述基于胶囊推理子网络模型进行目标位置和类别信息挖掘，包括以下步骤：将第五特征图作为倒数第一层的特征图并转换为胶囊，将此作为输入胶囊，将输入胶囊进行扩充得到输出胶囊；基于多头注意力得到输出胶囊经过仿射变换后和输入胶囊的相关性；采用匈牙利算法进行二分匹配并得到匹配结果，分别计算损失结果，根据损失结果进行梯度计算和参数更新，其中，所述损失结果包括giou损失、交叉熵损失和匹配损失。4.根据权利要求3所述的基于全推理神经网络的目标检测方法，其特征在于，所述基于多头注意力得到输出胶囊经过仿射变换后和输入胶囊间的相关性，包括以下步骤：将输入胶囊的对应的胶囊个数作为多头注意力机制的头，沿着胶囊个数所在的维度，采用多头注意力计算输出胶囊经过仿射变换后和输入胶囊间的相关性，获取输出胶囊分配到输入胶囊的概率值，通过以下公式实现：其中，S是查询向量，设置为DCaps，Z为key和value向量，设置为Pcaps，尺度因子为内积值，d表示键值向量的维度；将输出胶囊作为下层特征图，基于注意力路由传递方式推断图像中所包含的语义信息，其中，语义信息至少包括图片中的目标个数信息，每个目标的所属类别信息以及每个目标在图片中的位置。5.根据权利要求4所述的基于全推理神经网络的目标检测方法，其特征在于，所述将输入胶...

【专利技术属性】
技术研发人员：金京爱，孙国辉，
申请(专利权)人：杭州欣禾圣世科技有限公司，
类型：发明
国别省市：