一种基于单目图像和先验信息的3D目标检测方法技术

本发明专利技术实施例公开了一种基于单目图像和先验信息的3D目标检测方法，属于计算机图像处理技术领域，包括步骤：S1：根据作业任务要求，标注待检测目标的数据集；S2：使用标注的数据集进行模型训练，产生3D目标检测模型；S3：使用训练后的3D目标检测模型，输入单目图像进行3D目标检测，预测3D目标的位置和姿态信息，并标注目标物体的类别和3D包络框。本发明专利技术通过采用深度学习方法首先从杂乱的环境中识别出目标物体在进行姿态估计，可有效降低复杂环境对姿态估计的干扰和提升姿态估计的准确性；本发明专利技术对目标进行检测同时所有的目标检测和姿态估计均通过一个网络完成，可有效减轻计算机运算负担，提高算法运行的实时性。提高算法运行的实时性。提高算法运行的实时性。

【技术实现步骤摘要】
一种基于单目图像和先验信息的3D目标检测方法


[0001]本专利技术实施例涉及计算机图像处理
，具体涉及一种基于单目图像和先验信息的3D目标检测方法。

技术介绍

[0002]随着科学技术的不断发展，人工智能技术取得了巨大进步，并不断被应用在工业生产，社会生活以及科学研究等各个方面，尤其以具有智能移动机器人的广泛应用，通过采用人工智能技术，机器人可以轻松的全部或部分替代人类从事繁重、重复的劳动作业任务，将人类从危险的、低价值的以及体力劳动中解放出来，让人类发挥聪明才智创造和探索更多有意义和价值的未知领域，同时智能机器人可代替人类完成更多不可完成的任务，比如太空探测，深海探测以及核环境探测等。智能机器人在代替人类完成作业任务的过程中需要像人类一样对作业目标进行准确的操作，以免发生危险或破坏作业目标。所以，在对作业目标进行操作之前需要准确的知道目标的相对位置和姿态，是准确完成操作任务的首要条件。因此，如何准确的估计出目标物体的姿态和位置，一直以来是智能机器人领域的重要研究课题，而传统的研究方法通常仅限于对平面规则物体的位姿进行估计和运动规划。而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目图像和先验信息的3D目标检测方法，其特征在于，包括如下步骤：S1：根据作业任务要求，标注待检测目标的数据集；S2：使用标注的数据集进行模型训练，产生3D目标检测模型；S3：使用训练后的3D目标检测模型，输入单目图像进行3D目标检测，预测3D目标的位置和姿态信息，并标注目标物体的类别和3D包络框。2.如权利要求1所述的基于单目图像和先验信息的3D目标检测方法，其特征在于，所述的步骤S3具体包括：S301：通过相机摄像头采集单目图像信息，并输入到3D目标检测模型；S302：通过3D目标检测模型的ResNet
‑
34特征提取网络提取单目图像中关于待检测目标的特征信息，并输入到特征融合网络中进行特征融合；S303：基于步骤S302中融合的待检测目标的特征信息通过卷积网络进行进一步的特征提取，并分别输入到回归网络和分类网络，通过回归网络得到待检测目标的中心点位置与边框的高度和宽度，通过分类网络检索待检测目标所属的类别，并根据先验尺寸库得到待检测目标的3D尺寸信息；S304：基于步骤S302中融合的待检测目标的特征信息输入到上采样网络进行上采样，将上采样后的特征图通过姿态卷积网络进行卷积操作输出姿态特征图，并根据步骤S303中待检测目标的中心点位置与边框的高度和宽度，提取待检测目标的9个关键点的位置信息。3.如权利要求2所述的基于单目图像和先验信息的3D目标检测方法，其特征在于，所述的步骤S303中，通过回归网络对真实目标检测框与预设框的偏差进行边框预测，其中，真实的边框为B＝(x
b
,y
b
,w
b
,h
b
),预设的边框为G＝(x
g
,y
g
,w
g
,h
g
)，则回归网络的预测值P＝(x
p
,y
p
,w
p
,h
p
)表示如下：则真实边框可表示为：其中，x和y...

【专利技术属性】
技术研发人员：周怀东，冯蓬勃，丑武胜，李维娟，
申请(专利权)人：北航歌尔潍坊智能机器人有限公司，
类型：发明
国别省市：