一种六自由度姿态估计方法、装置及计算机可读存储介质制造方法及图纸

根据本发明专利技术实施例公开的一种六自由度姿态估计方法、装置及计算机可读存储介质，控制目标检测主网络对输入图像进行特征提取，然后检测并输出图像中各候选物体的类别以及二维边界框信息；将所有候选物体中的预设类别目标物体的特征图输入至第一估计分支网络，估计出目标物体在相机坐标系中的三维方向；控制第二估计分支网络基于目标物体的二维边界框信息以及特征图估计目标物体在相机坐标系中的三维位置，然后利用三维位置与三维方向得到目标物体的六自由度姿态信息。通过本发明专利技术的实施，由不同网络分支分别估计目标物体的三维方向和三维位置，实现端到端的目标物体周围环境中对象的六自由度姿态估计，有效提升了运算速度以及运算的准确性。

A Six-DOF Attitude Estimation Method, Device and Computer Readable Storage Media

【技术实现步骤摘要】
一种六自由度姿态估计方法、装置及计算机可读存储介质
本专利技术涉及空间定位
，尤其涉及一种六自由度姿态估计方法、装置及计算机可读存储介质。
技术介绍
随着人工智能技术的快速发展，自动化技术例如车辆自动驾驶、智能机器人控制等越来越得到业界的重视，其中，目标控制对象周围环境的感知是自动化控制操作的基础。以车辆自动驾驶为例，车辆周围环境感知是自动驾驶系统中最核心的技术，车辆周围环境感知包括行人道检测、车行道检测、车道线检测、车辆检测、行人检测等图像(周围环境)中目标检测与语义分割技术。车辆多自由度姿态估计是传统目标检测与语义分割在三维空间的扩展，其主要任务是精准定位和识别出车辆驾驶视频序列或单帧图像中的所有车辆对象，且同时对所检测到的车辆进行三维空间中的多自由度姿态估计。目前在进行车辆的多自由度姿态估计时，通常所采用的是结合深度学习与几何约束方法的多阶段车辆六自由度姿态估计网络，该方法分为两步实现汽车的六自由度姿态估计，首先通过深度神经网络对输入的单目RGB图像中的车辆进行检测，同时对所检测的车辆进行长宽高和三自由度方向估计，然后再利用几何约束关系计算出车辆在实际驾驶场景三维空间中三自由度位置。尽管上述基于深度学习的多自由度姿态估计方法可以实现目标控制对象周围环境的感知，并在相关场景下取得了不错的成绩，但上述模型仍存在训练与测试过程比较繁琐、不能实现端到端的训练和测试、姿态估计速度慢等缺陷，这制约了自动化技术在控制准确性要求和实时性要求高的场景下的应用，从而在实际应用中具有较大的局限性。
技术实现思路
本专利技术实施例的主要目的在于提供一种六自由度姿态估计方法、装置及计算机可读存储介质，至少能够解决相关技术中采用结合深度学习与几何约束的方法进行目标控制对象周围环境的感知时，模型的训练与测试过程比较繁琐、不能实现端到端的训练和测试、周围环境中对象的姿态估计速度慢的问题。为实现上述目的，本专利技术实施例第一方面提供了一种六自由度姿态估计方法，应用于包括目标检测主网络、第一估计分支网络以及第二估计分支网络的整体卷积神经网络，该方法包括：将目标图像输入至所述目标检测主网络，控制所述目标检测主网络对所述目标图像进行特征提取得到特征图，然后基于所述特征图检测所述目标图像中各候选物体的类别，以及所述各候选物体在对应于所述目标图像的像素坐标系中的二维边界框信息；获取所有候选物体中的预设类别目标物体所对应的特征图，并输入至所述第一估计分支网络，控制所述第一估计分支网络估计所述目标物体在相机坐标系中的三维方向；控制所述第二估计分支网络基于所述目标物体所对应的二维边界框信息以及特征图，估计所述目标物体在所述相机坐标系中的三维位置，然后利用所述三维位置以及所述三维方向得到所述目标物体的六自由度姿态信息。为实现上述目的，本专利技术实施例第二方面提供了一种六自由度姿态估计装置，应用于包括目标检测主网络、第一估计分支网络以及第二估计分支网络的整体卷积神经网络，该装置包括：检测模块，用于将目标图像输入至所述目标检测主网络，控制所述目标检测主网络对所述目标图像进行特征提取得到特征图，然后基于所述特征图检测所述目标图像中各候选物体的类别，以及所述各候选物体在对应于所述目标图像的像素坐标系中的二维边界框信息；第一估计模块，用于获取所有候选物体中的预设类别目标物体所对应的特征图，并输入至所述第一估计分支网络，控制所述第一估计分支网络估计所述目标物体在相机坐标系中的三维方向；第二估计模块，用于控制所述第二估计分支网络基于所述目标物体所对应的二维边界框信息以及特征图，估计所述目标物体在所述相机坐标系中的三维位置，然后利用所述三维位置以及所述三维方向得到所述目标物体的六自由度姿态信息。为实现上述目的，本专利技术实施例第三方面提供了一种电子装置，该电子装置包括：处理器、存储器和通信总线；所述通信总线用于实现所述处理器和存储器之间的连接通信；所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现上述任意一种六自由度姿态估计方法的步骤。为实现上述目的，本专利技术实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种六自由度姿态估计方法的步骤。根据本专利技术实施例提供的六自由度姿态估计方法、装置及计算机可读存储介质，控制目标检测主网络对输入的目标图像进行特征提取，然后检测并输出目标图像中各候选物体的类别，以及各候选物体的二维边界框信息；获取所有候选物体中的预设类别目标物体所对应的特征图，并输入至第一估计分支网络，控制第一估计分支网络估计目标物体在相机坐标系中的三维方向；控制第二估计分支网络基于目标物体的二维边界框信息以及特征图估计目标物体在相机坐标系中的三维位置，然后利用三维位置与三维方向得到目标物体的六自由度姿态信息。通过本专利技术的实施，由不同网络分支分别估计目标物体的三维方向和三维位置，实现端到端的目标物体周围环境中对象的六自由度姿态估计，有效提升了运算速度以及运算的准确性。本专利技术其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本专利技术说明书中的记载变的显而易见。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术第一实施例提供的六自由度姿态估计方法的基本流程示意图；图2为本专利技术第一实施例提供的整体网络框架示意图；图3为本专利技术第一实施例提供的目标检测方法的流程示意图；图4为本专利技术第一实施例提供的多尺度特征提取示意图；图5为本专利技术第一实施例提供的候选区域提取示意图；图6为本专利技术第一实施例提供的候选区域特征图池化示意图；图7为本专利技术第二实施例提供的六自由度姿态估计装置的结构示意图；图8为本专利技术第三实施例提供的电子装置的结构示意图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。第一实施例：为了解决相关技术中采用结合深度学习与几何约束的方法进行目标控制对象周围环境的感知时，模型的训练与测试过程比较繁琐、不能实现端到端的训练和测试、周围环境中对象的姿态估计速度慢的技术问题，本实施例提出了一种六自由度姿态估计方法，应用于包括目标检测主网络、第一估计分支网络以及第二估计分支网络的整体卷积神经网络，如图1所示为本实施例提供的六自由度姿态估计方法的基本流程示意图，本实施例提出的六自由度姿态估计方法包括以下的步骤：步骤101、将目标图像输入至目标检测主网络，控制目标检测主网络对目标图像进行特征提取得到特征图，然后基于特征图检测目标图像中各候选物体的类别，以及各候选物体在对应于目标图像的像素坐标系中的二维边界框信息。具体的，本实施例的目标检测主网络对输入的图像进行特征提取，然本文档来自技高网...

【技术保护点】
1.一种六自由度姿态估计方法，应用于包括目标检测主网络、第一估计分支网络以及第二估计分支网络的整体卷积神经网络，其特征在于，包括：将目标图像输入至所述目标检测主网络，控制所述目标检测主网络对所述目标图像进行特征提取得到特征图，然后基于所述特征图检测所述目标图像中各候选物体的类别，以及所述各候选物体在对应于所述目标图像的像素坐标系中的二维边界框信息；获取所有候选物体中的预设类别目标物体所对应的特征图，并输入至所述第一估计分支网络，控制所述第一估计分支网络估计所述目标物体在相机坐标系中的三维方向；控制所述第二估计分支网络基于所述目标物体所对应的二维边界框信息以及特征图，估计所述目标物体在所述相机坐标系中的三维位置，然后利用所述三维位置以及所述三维方向得到所述目标物体的六自由度姿态信息。

【技术特征摘要】
1.一种六自由度姿态估计方法，应用于包括目标检测主网络、第一估计分支网络以及第二估计分支网络的整体卷积神经网络，其特征在于，包括：将目标图像输入至所述目标检测主网络，控制所述目标检测主网络对所述目标图像进行特征提取得到特征图，然后基于所述特征图检测所述目标图像中各候选物体的类别，以及所述各候选物体在对应于所述目标图像的像素坐标系中的二维边界框信息；获取所有候选物体中的预设类别目标物体所对应的特征图，并输入至所述第一估计分支网络，控制所述第一估计分支网络估计所述目标物体在相机坐标系中的三维方向；控制所述第二估计分支网络基于所述目标物体所对应的二维边界框信息以及特征图，估计所述目标物体在所述相机坐标系中的三维位置，然后利用所述三维位置以及所述三维方向得到所述目标物体的六自由度姿态信息。2.如权利要求1所述的六自由度姿态估计方法，其特征在于，所述目标检测主网络包括多尺度特征提取网络、候选区域提取网络、候选区域特征图池化层以及物体分类与边界框回归全连接层；所述控制所述目标检测主网络对所述目标图像进行特征提取得到特征图，然后基于所述特征图检测所述目标图像中各候选物体的类别，以及所述各候选物体在对应于所述目标图像的像素坐标系中的二维边界框信息包括：利用所述多尺度特征提取网络对所述目标图像进行多尺度特征提取得到不同尺度的特征图；利用所述候选区域提取网络从所述不同尺度的特征图中，提取出对应于预设候选区域的特征图；利用所述候选区域特征图池化层将所有候选区域特征图进行池化操作，将所述所有候选区域特征图进行尺寸统一；将尺寸统一的候选区域特征图输入至所述物体分类与边界框回归全连接层进行候选区域分类检测与边界框回归，得到各候选区域的候选物体的类别，以及所述各候选物体在对应于所述目标图像的像素坐标系中的二维边界框信息。3.如权利要求2所述的六自由度姿态估计方法，其特征在于，所述多尺度特征提取网络为基于ResNet-101的多尺度特征提取网络，所述基于ResNet-101的多尺度特征提取网络包括自下向上的深层语义特征提取路径和自上向下的深层语义特征融合路径；所述利用所述多尺度特征提取网络对所述目标图像进行多尺度特征提取得到不同尺度的特征图包括：将所述目标图像输入至所述自下向上的深层语义特征提取路径所提取出的各层语义特征经过1×1卷积核卷积后，通过横向连接的方式与所述自上向下的深层语义特征融合路径中相同层的语义特征相加融合，得到不同尺度的特征图。4.如权利要求1所述的六自由度姿态估计方法，其特征在于，所述第一估计分支网络为：分类与三维方向估计分支网络；所述控制所述第一估计分支网络估计所述目标物体在相机坐标系中的三维方向包括：控制所述分类与三维方向估计分支网络估计所述目标物体的子类别，以及所述目标物体在相机坐标系中的三维方向；所述利用所述三维位置以及所述所述三维方向得到所述目标物体的六自由度姿态信息包括：利用所述三维位置、所述三维方向以及所述目标物体的子类别，得到各子类别的所述目标物体的六自由度姿态信息。5.如权利要求4所述的六自由度姿态估计方法，其特征在于，所述整体卷积神经网络的损失函数为：Loss＝lossdet+lossinst；其中，lossdet＝losscls+lossboxlossinst＝λobj_clslossobj_cls+λrotlossrot+λtranslosstrans其中，lossdet为所述目标检测主网络的全连接层的损失函数；lossinst为所述第一估计分支网络以及第二估计分支网络的全...

【专利技术属性】
技术研发人员：邹文斌，卓圣楷，庄兆永，吴迪，李霞，徐晨，
申请(专利权)人：深圳大学，深圳市慧视智联科技有限公司，
类型：发明
国别省市：广东,44