检测方法及装置制造方法及图纸

本申请的实施例揭示了一种检测方法及装置

【技术实现步骤摘要】
检测方法及装置、电子设备、计算机可读介质


[0001]本申请涉及视觉检测
，具体涉及一种检测方法及装置
、
电子设备
、
计算机可读介质
。

技术介绍

[0002]随着智慧工厂的兴起，新能源行业中产品的装配越来越多用到自动化
。
传统的人工装配效率低
、
容易出现人工误差，如今自动化流水线相对于人工装配可以很大程度上提高工厂的作业速度
。
但是在自动化流水线中，如何在三维空间中准确检测出装配的物体是实现保证自动化装配的重要环节，直接决定了自动化装配能否顺利进行是一个需要研究的问题，研究人员提出了三维物体检测方法
。
[0003]相关技术中，物体检测方法通常分为基于雷达的检测方法
、
基于单目视觉的检测方法以及基于多目视觉的检测方法，其中，基于雷达的物体检测方法的准确高，但该检测方法所使用的激光雷达传感器成本较高；基于单目视觉的物体检测方法目前主要在提高预测的性能，但是该检测方法对物体所处场景的理解仅限于单目检测网络，通常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种检测方法，其特征在于，包括：获取待检测物体的多视图相机图像；利用
ResNet
对所述待检测物体的多视图相机图像进行多维特征提取，得到所述多视图相机图像的多维特征；利用
Transformer
编解码器模型和单层神经网络对所述多视图相机图像的多维特征进行检测处理，得到所述待检测物体的类别以及所述待检测物体在每个视图相机图像中的位置；根据所述待检测物体在每个视图相机图像中的位置确定出所述待检测物体在相邻两个视图相机图像中的重叠区域和非重叠区域；从所述重叠区域中获取视差图，根据所述视差图对所述重叠区域进行视差优化，得到视差优化处理后的重叠区域；对所述视差优化处理后的重叠区域进行矫正处理，得到矫正后的重叠区域，将所述矫正后的重叠区域作为所述待检测物体的三维图像
。2.
根据权利要求1所述的方法，其特征在于，所述利用
ResNet
对所述待检测物体的多视图相机图像进行多维特征提取，包括：利用
ResNet
对所述待检测物体的多视图相机图像进行编码处理，得到所述多视图相机图像的多维特征；所述编码处理的公式包括：；其中，
F
表示所述多视图相机图像的多维特征，表示第
N
个视图相机图像，
N
表示多视图相机图像的数量，
H
，
W
，
C
分别表示向量的三个维度，表示向量空间
。3.
据权利要求2所述的方法，其特征在于，所述利用
Transformer
编解码器模型和单层神经网络对所述多视图相机图像的多维特征进行检测处理，得到所述待检测物体的类别以及所述待检测物体在每个视图相机图像中的位置，包括：将所述多视图相机图像的多维特征压缩成1维序列，得到查询特征集合；将所述查询特征集合输入
Transformer
编解码器模型处理，得到目标特征；通过所述单层神经网络对所述目标特征进行处理，得到所述待检测物体的类别以及所述待检测物体在每个视图相机图像中的位置
。4.
根据权利要求3所述的方法，其特征在于，所述
Transformer
编解码器模型由多个堆叠的
Transformer
编解码器组成，所述将所述查询特征集合输入
Transformer
编解码器模型处理，得到目标特征，包括：所述查询特征集合经过所述
Transformer
编解码器模型中的第一层
Transformer
编解码器处理后，得到所述查询特征集合中包含的每个查询特征在三维空间对应的参考点；获取所述查询特征集合中的每个查询特征对应的视图相机图像，将每个查询特征在三维空间对应的参考点反向投影到对应的视图相机图像上，得到所述查询特征在对应视图相机图像上的投影位置；基于所述查询特征在对应视图相机图像上的投影位置确定出所述查询特征的最终特征；基于所述查询特征的最终特征确定
Transformer
编解码器模型中的下一层
Transformer
编解码器的输入特征，直至
Transformer
编解码器模型中的最后一层
Transformer
编解码器输出目标特征
。5.
根据权利要求4所述的方法，其特征在于，所述获取所述查询特征集合中的每个查询特征对应的视图相机图像，将每个查询特征在三维空间对应的参考点反向投影到对应的视图相机图像上，得到所述查询特征在对应视图相机图像上的投影位置，包括：将所述查询特征集合中包含的每个查询特征在三维空间对应的参考点与同维度的全1特征矩阵进行拼接操作，得到第一特征...

【专利技术属性】
技术研发人员：付文辉，董建伟，郑挺，蔡振浩，
申请(专利权)人：宁德思客琦智能装备有限公司，
类型：发明
国别省市：