【技术实现步骤摘要】
本专利技术涉及自动驾驶领域，尤其涉及一种物体的动静态估计方法、设备、移动装置和存储介质。
技术介绍
1、在自动驾驶领域中，道路中的车辆检测是最常见且重要的一个任务。车辆检测的主要工作是判断摄像机拍摄到的相机图像或雷达采集的激光点云中有其他物体(例如，道路中的其他车辆)，若有，则给出二维或三维的边界框，作为车辆的位置信息。现有技术还提供了其他的信息，如识别车辆的id、颜色等，以用于识别车辆的差异。但是，传统的目标检测方法仅限于从单一的图像中提取出目标物体，并没有考虑到物体的位置、姿态、动静态等方面的问题。
2、在自动驾驶中，判断道路中的物体是否为静态或动态，是许多后续决策的必要信息。这里的动态或静态是相对于惯性坐标系而言的，而非相对于自动驾驶车辆自身而言的。例如，停在道路两侧的车辆虽然相对自车在运动，但相对于世界坐标系为静态车辆，于是自动驾驶算法就不必考虑这些车辆的换道问题；而在道路中行驶的车辆，虽然可能相对于自车是静止的，但相对于世界坐标系是运动的。在自动驾驶做出决策时，必须考虑到不同车辆的不同行为。例如在十字路口场景下，当红灯亮起时，车辆等待红灯，此时处于静止状态，而绿灯亮起时，车辆开始行驶，此时又处于动态状态。这就要求静止与动态判定方法必须实时运行，而不是事后的计算。
3、总的来说，车辆的动静态信息是一个与时间有关的物理量，用单一的图像或单一的激光点云来判断其动态和静态信息是非常困难的。因此要利用多个时刻的传感器数据才能判定物体是否在运动。根据传感器类型的不同，现有技术中，有以下几种确定动静态信息的方
4、1、强行使用深度学习，对单个图像或单个点云来回归物体的位置和速度。直观上说，人类可以判定停靠在路边的车辆与在路中驾驶的车辆，那么神经网络应该也能具备这种识别能力。于是，可以对图像中的车辆数据直接标注动静态信息，然后训练神经网络，使其学习到动静态判断的能力。
5、2、可以先对图像或点云进行检测和聚类，然后比较各时刻中同类物体的位置情况，来确定每个物体是否在运动。此类方法可以在整个物体层面判定动静态信息。
6、3、利用点云和图像中的特征点匹配，得到每个特征点的动静态信息。然后通过特征点的动静态来判定物体本身的动静态。这类方法既可以使用单独的图像或点云数据，也可以将两者融合在一起使用。
7、在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：
8、1、强行利用神经网络回归物体位置与姿态的方法完全忽略了时间维度上的信息。虽然也可以取得一定效果，但具有神经网络方法的大部分缺点。首先，训练得到的网络与标注数据相关性很强，在标注好的数据上能取得较好效果，但通用性往往较差。
9、如果在实际中改变了雷达类型、相机角度和安装位置，都可能对算法效果产生影响；其次，神经网络目前没有很好的解释性，在算法出错时不便分析原因和调试，也很难知道网络究竟学习到了什么东西；最后，深度学习类方法需要大量的标注数据，而物体的详细速度信息是很难让标注人员直接标注的，在实际运营中也会存在一定困难。
10、2、对于检测和聚类的方法，虽然流程上比较明确，但实际使用时条件比较苛刻。为了检测物体的动静态，必须假设同一个物体在各个时刻都能准确检测，且能够正确地关联为同一物体。然而在实际当中，物体检测的正确率并不是百分之百，在多帧图像都能正确检测的概率则是乘性下降的。
11、另一方面，当车辆在高速运动时，物体在图像中的位置也可能发生明显的变化，使得多个图像中物体的正确关联也变得更为困难。因此，此类方法在低速场景中是可行的，但高速场景则会遇到一些困难。
12、3、利用点云和图像中的特征点的动静态来判定物体的动静态是一种比较简单可行的办法。在实际使用中，其困难主要在于激光点云的稀疏性。一个物体在激光点云中通常反映为几个散布的空间点。由于激光雷达的成像机制，这些点本身存在一定程度的微小跳动，而且远处的车辆点数要明显少于近处的车辆。为了判定这些点的跳动究竟是由正常的成像机制导致的，还是由于物体运动导致的，需要仔细地选取算法当中的各类阈值，才能得到较好的结果。
技术实现思路
1、为了至少解决现有技术中神经网络回归物体位置与姿态的方法完全忽略了时间维度上的信息、检测和聚类的方法在高速场景的准确性较低、激光点云的稀疏性难以得到较为准确结果的问题。第一方面，本专利技术实施例提供一种物体的动静态估计方法，应用于搭载有相机传感器和激光传感器的移动装置，包括：
2、以相机图像为基准，将时间同步的激光点云投影至所述相机图像中，形成深度图像，并提取在所述深度图像中感知到的物体的稠密特征点；
3、利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息；
4、对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息；
5、基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计。
6、第二方面，本专利技术实施例提供一种物体的动静态估计执行设备，包括：
7、稠密特征点提取模块，用于以相机图像为基准，将时间同步的激光点云投影至所述相机图像中，形成深度图像，并提取在所述深度图像中感知到的物体的稠密特征点；
8、预测定位信息确定模块，用于利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息；
9、观测定位信息确定模块，用于对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息；
10、动静态估计模块，用于基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计。
11、第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的物体的动静态估计方法的步骤。
12、第四方面，本专利技术实施例提供一种移动装置，包括本体和所述本体上安装的本专利技术任一实施例所述的电子设备。
13、第五方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的物体的动静态估计方法的步骤。
14、第六方面，本专利技术实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本专利技术实施例中任意一项所述的物体的动静态估计方法。
15、本专利技术实施例的有益效果在于：根据实时检测车辆在世界坐标系下的动静态信息，为自动驾驶决策提供依据，实现了视觉和激光融合进行世界坐标系下动静态检测的算法。同时利用光流追踪特征点，进行反投影，根据观测和预测不一致性判断物理动静态。在动静态检测过程中，不需要额外进行标注与训练工作，简便易行，对于车辆等大型目标物体有着更明显的效果。
本文档来自技高网...【技术保护点】
1.一种物体的动静态估计方法，应用于搭载有相机传感器和激光传感器的移动装置，包括：
2.根据权利要求1所述的方法，其特征在于，对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息，具体包括：
3.根据权利要求2所述的方法，其特征在于，基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计，具体包括：
4.根据权利要求1所述的方法，其特征在于，对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息，具体包括：
5.根据权利要求4所述的方法，其特征在于，基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计，具体包括：
6.根据权利要求1所述的方法，其特征在于，利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息，具体包括：
7.根据权利要求1所述的方法，其特征在于，以所述相机图像为基准，将时间同步的所述激光点云投影至所述相机图像中，形成深度图像，具体包括：
8.一种物体的动静态估计执行设备，包括：>
9.一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述方法的步骤。
10.一种移动装置，包括本体以及安装在所述本体上的根据权利要求9所述的电子设备。
11.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
12.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-7任一项所述的物体的动静态估计方法。
...【技术特征摘要】
1.一种物体的动静态估计方法，应用于搭载有相机传感器和激光传感器的移动装置，包括：
2.根据权利要求1所述的方法，其特征在于，对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息，具体包括：
3.根据权利要求2所述的方法，其特征在于，基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计，具体包括：
4.根据权利要求1所述的方法，其特征在于，对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息，具体包括：
5.根据权利要求4所述的方法，其特征在于，基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计，具体包括：
6.根据权利要求1所述的方法，其特征在于，利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息，具体包括：
7.根据权利...
【专利技术属性】
技术研发人员：高翔，马晓颖，张放，
申请(专利权)人：北京智行者科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。