基于深度拟合程度评估网络的物体三维位置检测方法和装置制造方法及图纸

本发明专利技术提出一种基于深度拟合程度评估网络的物体三维位置检测方法和装置，其中，方法包括：对第一原始图片进行二维物体检测，确定图片中包含物体的检测框，将截取的各个检测框对应的图像块分别输入基于锚点的回归模型中，确定各个物体对应的朝向和三维尺寸，进而采用紧凑性约束方法确定各个物体对应的三维长方体的基准位置，并通过高斯稠密采样获取每个物体对应的至少两个候选三维长方体，并投影至图片中获取对应的至少两个投影三维长方体，将获取的至少两个投影三维长方体通过深度拟合程度评估网络，确定三维覆盖率最大值对应的投影三维长方体为每个物体对应的目标三维长方体，从而确定物体的三维空间位置，提高了物体三维空间位置确定的准确度。

【技术实现步骤摘要】
基于深度拟合程度评估网络的物体三维位置检测方法和装置
本专利技术涉及计算机视觉
，尤其涉及一种基于深度拟合程度评估网络的物体三维位置检测方法和装置。
技术介绍
由于我们生活在一个三维世界中，二维感知是远远无法满足我们的实际需求的，在诸如自动驾驶和基于视觉的机器人抓取问题中，我们常常需要推理三维空间中物体之间的位置关系，从而能够理解真实的三维场景并做出进一步的动作。三维物体检测是三维感知中最重要的问题之一，其中需要求解三维空间中物体的9个自由度，包括维度(长、宽、高)，朝向(横滚角、俯仰角、偏航角)和位置(X、Y、Z坐标)。目前已经有很多基于立体图像对，彩色深度信息，或者激光点云的三维物体检测方法被提出，但是仅仅基于单张彩色图片的三维物体检测方法还处于起步阶段，其主要原因是在只有二维图像中的外观信息的情况下，无法获取真实的三维信息。在诸如网络图像，手机应用，和胃镜图片中，通常也只能得到单张图片的信息，单目问题设置是最为基本的一种输入模态，因此依靠单张图片进行三维物体检测是一个非常值得研究的问题。但在单目三维物体检测问题中由于从二维空间映射到三维空间存在多义性，仅仅通过一个图像块，本文档来自技高网...

【技术保护点】
1.一种基于深度拟合程度评估网络的物体三维位置检测方法，其特征在于，所述方法包括以下步骤：对第一原始图片进行二维物体检测，并对所述原始图片中的各个物体采用检测框进行标注，其中，每个检测框中包含一个物体；对所述第一原始图片中的各个检测框进行截取，获取各个检测框对应的图像块，并将所述各个检测框对应的图像块分别输入基于锚点的回归模型，确定各个物体对应的朝向和三维尺寸；根据所述各个物体对应的朝向和三维尺寸，在三维空间中确定各个物体对应的三维长方体，利用紧凑性约束方法确定各个物体对应的三维长方体的基准位置，并对各个物体对应的三维长方体的基准位置进行高斯稠密采样，确定每个物体对应的至少两个候选三维长方体；...

【技术特征摘要】
1.一种基于深度拟合程度评估网络的物体三维位置检测方法，其特征在于，所述方法包括以下步骤：对第一原始图片进行二维物体检测，并对所述原始图片中的各个物体采用检测框进行标注，其中，每个检测框中包含一个物体；对所述第一原始图片中的各个检测框进行截取，获取各个检测框对应的图像块，并将所述各个检测框对应的图像块分别输入基于锚点的回归模型，确定各个物体对应的朝向和三维尺寸；根据所述各个物体对应的朝向和三维尺寸，在三维空间中确定各个物体对应的三维长方体，利用紧凑性约束方法确定各个物体对应的三维长方体的基准位置，并对各个物体对应的三维长方体的基准位置进行高斯稠密采样，确定每个物体对应的至少两个候选三维长方体；将每个物体对应的至少两个候选三维长方体分别投影至所述第一原始图片中，得到包含每个物体对应的至少两个投影三维长方体的第二原始图片，将所述第二原始图片输入深度拟合程度评估网络，将三维覆盖率最大值对应的投影三维长方体作为每个物体对应的目标三维长方体；根据所述每个物体对应的目标三维长方体，确定每个物体的三维空间位置。2.根据权利要求1所述的检测方法，其特征在于，所述将所述各个检测框对应的图像块分别输入基于锚点的回归模型，确定各个物体对应的朝向和三维尺寸，包括：预先对所述基于锚点的回归模型进行训练，使得所述基于锚点的回归模型学习得到图像块和图像块中物体的三维尺寸的对应关系，以及图像块和图像块中物体的朝向的对应关系。3.根据权利要求2所述的检测方法，其特征在于，所述预先对所述基于锚点的回归模型进行训练，包括：获取训练样本；将所述训练样本输入所述基于锚点的回归模型，采用基于锚点的回归算法，对所述基于锚点的回归模型执行训练过程。4.根据权利要求1所述的检测方法，其特征在于，所述根据所述各个物体对应的朝向和三维尺寸，在三维空间中确定各个物体对应的三维长方体，利用紧凑性约束方法确定各个物体对应的三维长方体的基准位置，并对各个物体对应的三维长方体的基准位置进行高斯稠密采样，确定每个物体对应的至少两个候选三维长方体，包括：根据所述各个物体对应的朝向和三维尺寸，确定所述各个物体对应的三维长方体的初始位置；利用紧凑性约束算法确定各个物体对应的三维长方体的基准位置，并将各个物体对应的三维长方体从初始位置平移至基准位置；针对每个物体对应的三维长方体的基准位置，进行高斯稠密采样，确定所述每个物体对应的至少两个候选三维长方体Si(x+Δxi,y+Δyi,z+Δzi,l,h,w,θ)，其中，i表示第i个候选三维长方体，x，y，z表示物体对应的三维长方体的基准位置的三维坐标，l，h，w分别表示物体的长、宽和高，θ表示物体的朝向，Δxi，Δyi，Δzi分别表示第i个候选三维长方体在x轴方向，y轴方向和z轴方向的位移量。5.根据权利要求1-4任一所述的检测方法，其特征在于，所述将每个物体对应的至少两个候选三维长方体分别投影至所述第一原始图片中，得到包含每个物体对应的至少两个投影三维长方体的第二原始图片，将所述第二原始图片输入深度拟合程度评估网络，将三维覆盖率最大值对应的投影三维长方体作为每个物体对应的目标三维长方体之前，还包括：获取经过标注的训练样本；利用所述训练样本，对所述深度拟合程度评估网络进行训练，其中，深度拟合程度评估网络的参...

【专利技术属性】
技术研发人员：鲁继文，周杰，刘礼杰，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11