三维目标检测方法技术

本申请提供了一种三维目标检测方法

【技术实现步骤摘要】
三维目标检测方法、电子设备及存储介质


[0001]本申请涉及计算机视觉领域
、
尤其涉及一种三维目标检测方法
、
电子设备及存储介质
。

技术介绍

[0002]在自动驾驶领域中，自动驾驶系统会利用不同种类的传感器检测车辆前方或附近的物体，并做出对应的决策
。
例如，自动驾驶系统需要快速精准的检测出物体的类别及三维位置，然后做出对应的决策以确保行车安全
。
然而，目前利用三维目标检测算法检测出物体的类别及位置，并利用回归运算得到物体的三维位置，然而回归运算在预测上需要花费很长的时间
。
此外，在进行三维目标检测时，现有自动驾驶系统利用光达或者雷达取得深度信息来检测车辆与前方物体的距离，但目前使用光达或者雷达的成本高昂
、
视场范围比较小
。

技术实现思路

[0003]鉴于以上内容，有必要提供一种三维目标检测方法
、
电子设备及存储介质，以解决物体检测效率慢及成本高的问题
。
[0004]本申请实施例提供了一种三维目标检测方法，所述三维目标检测方法包括：获取训练图像；基于全卷积网络构建语义分割模型；将所述训练图像输入所述语义分割模型，利用所述语义分割模型中的卷积层和池化层进行多次卷积及池化，得到多个不同尺寸的特征图；将所述多个不同尺寸的特征图进行上采样，得到和所述训练图像相同尺寸的第一图像，对所述第一图像进行像素分类并优化分类损失，输出所述训练图像中物体的物体类别及所述物体的位置，得到训练完成的语义分割模型；获取检测图像及所述检测图像相应的深度图像，其中，所述深度图像通过深度相机获取；将所述检测图像输入所述训练完成的语义分割模型，得到所述检测图像中物体的物体类别及物体位置；根据所述物体类别，从所述三维物体模型库中确定与所述物体对应的物件模型；根据所述深度图像得到所述物体的点云数据及所述深度相机到所述物件模型的距离；根据所述点云数据及所述物件模型，确定所述物件模型的旋转角度；根据所述深度相机到所述物件模型的距离
、
所述旋转角度及所述物体的位置，确定所述物件模型在三维空间中的位置
。
[0005]在一种可选的实施方式中，所述将所述多个不同尺寸的特征图进行上采样，得到和所述训练图像相同尺寸的第一图像包括：将所述多个不同尺寸的特征图进行上采样后，进行反卷积运算，得到运算结果；对所述运算结果进行加和运算，得到和所述训练图像相同尺寸的第一图像
。
[0006]在一种可选的实施方式中，所述根据所述物体类别，从所述三维物体模型库中确定与所述物体对应的物件模型包括：根据所述物体类别查找所述三维物体模型库，确定所述物体的物件模型，所述三维物体模型库包括物体类别及与物体类别对应的物件模型
。
[0007]在一种可选的实施方式中，所述根据所述深度图像得到所述物体的点云数据及所述深度相机到所述物件模型的距离包括：根据所述深度图像获取所述物体的深度值及坐
标，根据所述深度值确定所述深度相机到所述物件模型的距离；根据所述坐标和所述深度相机的内外参矩阵变换公式得到所述点云数据
。
[0008]在一种可选的实施方式中，所述根据所述点云数据及所述物件模型，确定所述物件模型的旋转角度包括：根据所述点云数据，得到物体轮廓的第一点云数据；将所述物件模型转化为第二点云数据；将所述第一点云数据与所述第二点云数据进行点云匹配，将所述第一点云数据中物体轮廓的点拟合成第一平面并计算所述第一平面的曲率，将所述第二点云数据的点拟合成第二平面并计算所述第二平面的曲率；计算所述第一平面的曲率与所述第二平面的曲率之差得到曲率偏差值，根据所述曲率偏差值确定所述物体的物件模型的旋转角度
。
[0009]在一种可选的实施方式中，所述将所述物件模型转化为第二点云数据包括：
[0010]利用点云库中的多个函数对所述物体的物件模型进行处理并生成所述第二点云数据
。
[0011]在一种可选的实施方式中，所述根据所述深度相机到所述物件模型的距离
、
所述旋转角度及所述物体的位置，确定所述物件模型在三维空间中的位置包括：根据所述旋转角度确定所述物件模型在三维空间中的方向；根据所述物件模型在所述三维空间中的方向
、
所述深度相机到所述物件模型的距离及所述物体的位置，确定所述物件模型在三维空间中的位置
。
[0012]在一种可选的实施方式中，所述方法还包括：将所述物体的物件模型在三维空间中的位置作为所述物体在三维空间中的位置，输出所述物体类别及所述物体在三维空间中的位置
。
[0013]本申请实施例还提供了一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的三维目标检测方法
。
[0014]本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的三维目标检测方法
。
[0015]本申请的技术方案成本低且不需进行复杂的运算，能快速的得到物体的三维位置
。
附图说明
[0016]图1为本申请实施例提供的一种三维目标检测方法的流程图
。
[0017]图2为本申请实施例提供的经过所述训练完成的语义分割模型分割后的图像
。
[0018]图3为本申请实施例提供的三维物体模型库示意图
。
[0019]图4为本申请实施例提供的一种电子设备的结构示意图
。
具体实施方式
[0020]为了能够更清楚地理解本申请的上述目的
、
特征和优点，下面结合附图和具体实施例对本申请进行详细描述
。
需要说明的是，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请
。
[0021]在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术
人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0022]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同
。
本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请
。
[0023]参阅图1所示，为本申请实施例提供的一种三维目标检测方法的流程图
。
所述方法应用于电子设备
(
例如，图4所示的电子设备
4)
中，所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机
、
平板电脑
、
智能手机
、<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种三维目标检测方法，其特征在于，所述三维目标检测方法包括：获取训练图像；基于全卷积网络构建语义分割模型；将所述训练图像输入所述语义分割模型，利用所述语义分割模型中的卷积层和池化层进行多次卷积及池化，得到多个不同尺寸的特征图；将所述多个不同尺寸的特征图进行上采样，得到和所述训练图像相同尺寸的第一图像，对所述第一图像进行像素分类并优化分类损失，输出所述训练图像中物体的物体类别及所述物体的位置，得到训练完成的语义分割模型；获取检测图像及所述检测图像相应的深度图像，其中，所述深度图像通过深度相机获取；将所述检测图像输入所述训练完成的语义分割模型，得到所述检测图像中物体的物体类别及物体位置；根据所述物体类别，从所述三维物体模型库中确定与所述物体对应的物件模型；根据所述深度图像得到所述物体的点云数据及所述深度相机到所述物件模型的距离；根据所述点云数据及所述物件模型，确定所述物件模型的旋转角度；根据所述深度相机到所述物件模型的距离
、
所述旋转角度及所述物体的位置，确定所述物件模型在三维空间中的位置
。2.
根据权利要求1所述的三维目标检测方法，其特征在于，所述将所述多个不同尺寸的特征图进行上采样，得到和所述训练图像相同尺寸的第一图像包括：将所述多个不同尺寸的特征图进行上采样后，进行反卷积运算，得到运算结果；对所述运算结果进行加和运算，得到和所述训练图像相同尺寸的第一图像
。3.
根据权利要求1所述的三维目标检测方法，其特征在于，所述根据所述物体类别，从所述三维物体模型库中确定与所述物体对应的物件模型包括：根据所述物体类别查找所述三维物体模型库，确定所述物体的物件模型，所述三维物体模型库包括物体类别及与物体类别对应的物件模型
。4.
根据权利要求1所述的三维目标检测方法，其特征在于，所述根据所述深度图像得到所述物体的点云数据及所述深度相机到所述物件模型的距离包括：根据所述深度图像获取所述物体的深度值及坐标，根据所述深度值确定所述深度相机到所述物件模型的距离；根据所述坐标和所述深度相机的内外参矩阵变...

【专利技术属性】
技术研发人员：李洁，郭锦斌，
申请(专利权)人：鸿海精密工业股份有限公司，
类型：发明
国别省市：