目标物体运动状态检测方法、设备及存储介质技术

一种目标物体运动状态检测方法、检测设备及存储介质，其中，方法包括：在第一时间获取第一行驶环境图像(S201)，在第二时间获取第二行驶环境图像(S202)，根据所述第一行驶环境图像确定所述目标物体的第一三维特征点在世界坐标系下的三维信息(S203)，根据所述第二行驶环境图像确定所述目标物体的第二三维特征点在世界坐标系下的三维信息(S204)，根据所述第一三维特征点在世界坐标系下的三维信息及所述第二三维特征点在世界坐标系下的三维信息确定所述目标物体的运动状态(S205)。可以提高对车辆的运动状态检测的准确度。

Detection method, equipment and storage medium of moving state of object

【技术实现步骤摘要】
【国外来华专利技术】目标物体运动状态检测方法、设备及存储介质
本专利技术实施例涉及智能控制领域，尤其涉及一种目标物体运动状态检测方法、检测设备及存储介质。
技术介绍
随着智能控制技术的不断迭代发展，越来越多的车辆配置了自动驾驶系统或辅助驾驶系统，自动驾驶系统或辅助驾驶系统给驾驶员带来许多便利。在自动驾驶系统或辅助驾驶系统中，一个很重要的功能是预估周围车辆的运动状态。例如，车辆的运动状态可包括车辆的位置信息、速度信息和运动方向等。现有的自动驾驶系统或辅助驾驶系统是通过观测周围车辆的质心来预估周围车辆的运动状态。然而现有的自动驾驶系统或辅助驾驶系统通常不能准确地确定周围车辆的质心。例如，如图1所示，图1是一种车载激光雷达的3D扫描点投影到鸟瞰(birdview)视角的示意图。开始的时候，目标车辆在本车辆的右前方，本车辆的车载激光雷达只能扫描到目标车辆的左后侧。如图1所示，图1中虚线部分为目标车辆的3D扫描点在鸟瞰视角的投影范围的示意，其中图1中车辆的框为人为标注。如图1所示，此时如果根据3D扫描点求取平均值计算质心，则质心位于车辆的左下角。如果不能准确地确定周围车辆的质心，会导致对周围车辆的运动状态预估不准确。因此，如何准确地预估周围车辆的运动状态是目前亟待解决的问题。
技术实现思路
本专利技术实施例提供了一种目标物体运动状态检测方法、检测设备及存储介质，可以提高对车辆的运动状态检测的准确度。第一方面，本专利技术实施例提供了一种目标物体运动状态检测方法，所述方法包括：在第一时间获取第一行驶环境图像；在第二时间获取第二行驶环境图像，所述第一时间为所述第二时间之前的时间，所述第一行驶环境图像和所述第二行驶环境图像包括目标物体；根据所述第一行驶环境图像确定所述目标物体的第一三维特征点在世界坐标系下的三维信息；根据所述第二行驶环境图像确定所述目标物体的第二三维特征点在世界坐标系下的三维信息，所述第二三维特征点与所述第一三维特征点相匹配；根据所述第一三维特征点在世界坐标系下的三维信息及所述第二三维特征点在世界坐标系下的三维信息确定所述目标物体的运动状态。第二方面，本专利技术实施例提供了另一种目标物体运动状态检测方法，所述方法包括：在第一时间获取第一行驶环境图像；在第二时间获取第二行驶环境图像，所述第一时间为所述第二时间之前的时间，所述第一行驶环境图像和所述第二行驶环境图像中包括目标物体；从所述第一行驶环境图像中提取目标物体的至少一个第一二维特征点；根据所述至少一个第一二维特征点建立所述目标物体的物体模型物体；根据所述目标物体的物体模型从所述第二行驶环境图像中提取所述目标物体的至少一个第二二维特征点；根据所述第二二维特征点更新所述目标物体的物体模型，得到更新后的所述目标物体的物体模型；根据所述第一二维特征点以及所述第二行驶环境图像中与所述第一二维特征点相匹配的二维特征点确定所述目标物体的运动状态。第三方面，本专利技术实施例提供了一种检测设备，所述检测设备包括存储器、处理器、摄像装置；所述摄像装置，用于获取行驶环境图像；所述存储器，用于存储程序指令；所述处理器，调用所述存储器存储的程序指令，执行以下步骤：通过所述摄像装置在第一时间拍摄得到第一行驶环境图像；在第二时间拍摄得到第二行驶环境图像，所述第一时间为所述第二时间之前的时间，所述第一行驶环境图像和所述第二行驶环境图像包括目标物体；根据所述第一行驶环境图像确定所述目标物体的第一三维特征点在世界坐标系下的三维信息；根据所述第二行驶环境图像确定所述目标物体的第二三维特征点在世界坐标系下的三维信息，所述第二三维特征点与所述第一三维特征点相匹配；根据所述第一三维特征点在世界坐标系下的三维信息及所述第二三维特征点在世界坐标系下的三维信息确定所述目标物体的运动状态。第四方面，本专利技术实施例提供了一种检测设备，所述检测设备包括：所述设备包括：存储器、处理器、摄像装置；所述摄像装置，用于获取行驶环境图像；所述存储器，用于存储程序指令；所述处理器，调用所述存储器存储的程序指令，执行以下步骤：通过所述摄像装置在第一时间获取第一行驶环境图像；在第二时间获取第二行驶环境图像，所述第一时间为所述第二时间之前的时间，所述第一行驶环境图像和所述第二行驶环境图像中包括目标物体；从所述第一行驶环境图像中提取目标物体的至少一个第一二维特征点；根据所述至少一个第一二维特征点建立所述目标物体的物体模型物体；根据所述目标物体的物体模型从所述第二行驶环境图像中提取所述目标物体的至少一个第二二维特征点；根据所述第二二维特征点更新所述目标物体的物体模型，得到更新后的所述目标物体的物体模型；根据所述第一二维特征点以及所述第二行驶环境图像中与所述第一二维特征点相匹配的二维特征点确定所述目标物体的运动状态。本专利技术实施例中，检测设备可以根据该第一行驶环境图像确定该目标物体的第一三维特征点在世界坐标系下的三维信息，根据该第二行驶环境图像确定该目标物体的第二三维特征点在世界坐标系下的三维信息，根据该第一三维特征点在世界坐标系下的三维信息及该第二三维特征点在世界坐标系下的三维信息确定该目标物体的运动状态。第一三维特征点与第二三维特征点是相匹配的，即可根据目标物体上相匹配的三维特征点的三维坐标信息确定该目标物体的运动状态，不需要通过目标物体的质心确定该目标移动的运动状态，可以提高对目标物体的运动状态检测的准确度。可提高车辆行驶的安全性，使车辆驾驶更加自动化、智能化。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种车载激光雷达的3D扫描点投影到鸟瞰视角的示意图；图2是本专利技术实施例提供的一种目标物体运动状态检测方法的流程示意图；图3是本专利技术实施例提供的另一种目标物体运动状态检测方法的流程示意图；图4是本专利技术实施例提供的一种目标图像的示意图；图5是本专利技术实施例提供的一种第一行驶环境图像的示意图；图6是本专利技术实施例提供的一种目标物体的移动速度分布的示意图；图7是本专利技术实施例提供的一种对目标物体的移动速度进行拟合的示意图；图8是本专利技术实施例提供的一种二维特征点与三维特征点的关系示意图；图9是本专利技术实施例提供的又一种目标物体运动状态检测方法的流程示意图；图10是本专利技术实施例提供的另一种二维特征点与三维特征点的关系示意图；图11是本专利技术实施例提供的又一种目标物体运动状态检测方法的流程示意图；图12是本专利技术实施例提供的又一种目标物体运动状态检测方法的流程示意图；图13是本专利技术实施例提供的又一种二维本文档来自技高网...

【技术保护点】
1.一种目标物体运动状态检测方法，其特征在于，所述方法包括：/n在第一时间获取第一行驶环境图像；/n在第二时间获取第二行驶环境图像，所述第一时间为所述第二时间之前的时间，所述第一行驶环境图像和所述第二行驶环境图像包括目标物体；/n根据所述第一行驶环境图像确定所述目标物体的第一三维特征点在世界坐标系下的三维信息；/n根据所述第二行驶环境图像确定所述目标物体的第二三维特征点在世界坐标系下的三维信息，所述第二三维特征点与所述第一三维特征点相匹配；/n根据所述第一三维特征点在世界坐标系下的三维信息及所述第二三维特征点在世界坐标系下的三维信息确定所述目标物体的运动状态。/n

【技术特征摘要】
【国外来华专利技术】1.一种目标物体运动状态检测方法，其特征在于，所述方法包括：
在第一时间获取第一行驶环境图像；
在第二时间获取第二行驶环境图像，所述第一时间为所述第二时间之前的时间，所述第一行驶环境图像和所述第二行驶环境图像包括目标物体；
根据所述第一行驶环境图像确定所述目标物体的第一三维特征点在世界坐标系下的三维信息；
根据所述第二行驶环境图像确定所述目标物体的第二三维特征点在世界坐标系下的三维信息，所述第二三维特征点与所述第一三维特征点相匹配；
根据所述第一三维特征点在世界坐标系下的三维信息及所述第二三维特征点在世界坐标系下的三维信息确定所述目标物体的运动状态。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一行驶环境图像确定所述目标物体的第一三维特征点在世界坐标系下的三维信息，包括：
从所述第一行驶环境图像中提取目标物体的第一二维特征点；
确定所述第一二维特征点对应的第一三维特征点在世界坐标系下的三维信息；
所述根据所述第二行驶环境图像确定所述目标物体的第二三维特征点在世界坐标系下的三维信息，包括：
从所述第二行驶环境图像中确定与所述第一二维特征点相匹配的第二二维特征点；
确定所述第二二维特征点对应的第二三维特征点在世界坐标系下的三维信息。


3.根据权利要求2所述的方法，其特征在于，所述从所述第一行驶环境图像中提取目标物体的第一二维特征点，包括：
在所述第一行驶环境图像中确定目标物体的第一特征区域；
从所述第一特征区域中提取所述目标物体的第一二维特征点。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
通过摄像装置拍摄目标图像；
在所述目标图像中确定所述目标物体的第二特征区域；
所述在所述第一行驶环境图像中确定目标物体的第一特征区域，包括：
将所述第二特征区域投影到所述第一行驶环境图像中，并将得到的投影区域确定为所述目标物体的第一特征区域。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
确定所述目标物体的第一参数是否满足预设条件，所述第一参数包括所述第二特征区域对应的属性、所述目标物体所在车道和所述目标物体的行驶方向中的至少一种，所述属性包括所述第二特征区域的尺寸和/或形状；
若是，则执行所述将所述第二特征区域投影到所述第一行驶环境图像中，并将得到的投影区域确定为所述目标物体的第一特征区域的步骤。


6.根据权利要求4所述的方法，其特征在于，所述将得到的投影区域确定为所述目标物体的第一特征区域之后，所述方法还包括：
确定所述目标物体的第二参数是否满足预设条件，所述第二参数包括所述第一特征区域对应的属性、所述目标物体所在车道和所述目标物体的行驶方向中的至少一种，所述属性包括所述第一特征区域的尺寸和/或形状；
若是，则执行所述从所述第一特征区域中提取第一二维特征点的步骤。


7.根据权利要求2-6中任一项所述的方法，其特征在于，所述确定所述第一二维特征点对应的第一三维特征点在世界坐标系下的三维信息，包括：
确定所述第一二维特征点对应的第一三维特征点在相机坐标系下的三维信息；
根据所述第一三维特征点在相机坐标系下的三维信息确定所述第一三维特征点在世界坐标系下的三维信息；
所述确定所述第二二维特征点对应的第二三维特征点在世界坐标系下的三维信息，包括：
确定所述第二二维特征点对应的第二三维特征点在相机坐标系下的三维信息；
根据所述第二三维特征点在相机坐标系下的三维信息确定所述第二三维特征点在世界坐标系下的三维信息。


8.根据权利要求7所述的方法，其特征在于，所述确定所述第一二维特征点对应的第一三维特征点在相机坐标系下的三维信息，包括：
从第三行驶环境图像中确定与所述第一二维特征点匹配的第三二维特征点，所述第三行驶环境图像和所述第一行驶环境图像为双目摄像装置同时拍摄的两张图像；
根据所述第一二维特征点和所述第三二维特征点确定第一深度信息；
根据所述第一深度信息确定所述第一三维特征点在相机坐标系下的三维信息；
所述确定所述第二二维特征点对应的第二三维特征点在相机坐标系下的三维信息，包括：
从第四行驶环境图像中确定与所述第二二维特征点匹配的第四二维特征点，所述第四行驶环境图像和所述第二行驶环境图像为双目摄像装置同时拍摄的两张图像；
根据所述第二二维特征点和所述第四二维特征点确定第二深度信息；
根据所述第二深度信息确定所述第二三维特征点在相机坐标系下的三维信息。


9.根据权利要求2-6任一项所述的方法，其特征在于，所述确定所述第一二维特征点对应的第一三维特征点在世界坐标系下的三维信息，包括：
获取在所述第一时间通过点云传感器得到的三维点在世界坐标系下的三维信息；
根据在所述第一时间获取的三维点的三维信息确定所述第一二维特征点对应的第一三维特征点在世界坐标系下的三维信息；
所述确定所述第二二维特征点对应的第二三维特征点在世界坐标系下的三维信息，包括：
获取在所述第二时间通过所述点云传感器得到的三维点在世界坐标系下的三维信息；
根据在所述第二时间获取的三维点的三维信息确定所述第二二维特征点对应的第二三维特征点在世界坐标系下的三维信息。


10.根据权利要求9所述的方法，其特征在于，所述根据在所述第一时间获取的三维点的三维信息确定所述第一二维特征点对应的第一三维特征点在世界坐标系下的三维信息，包括：
将在所述第一时间通过所述云传感器获取得到的三维点投影为二维特征点；
从投影得到的二维特征点中确定与所述第一二维特征点相匹配的第五二维特征点；
将所述第五二维特征点对应的三维点的三维信息确定为所述第一二维特征点对应的第一三维特征点在世界坐标系下的三维信息；
所述根据在所述第二时间获取的三维点的三维信息确定所述第二二维特征点对应的第二三维特征点在世界坐标系下的三维信息，包括：
将在所述第二时间通过所述云传感器获取得到的三维点投影为二维特征点；
从投影得到的二维特征点中确定与所述第二二维特征点相匹配的第六二维特征点；
将所述第六二维特征点对应的三维点的三维信息确定为所述第二二维特征点对应的第二三维特征点在世界坐标系下的三维信息。


11.根据权利要求1所述的方法，其特征在于，所述根据所述第一三维特征点在世界坐标系下的三维信息及所述第二三维特征点在世界坐标系下的三维信息确定所述目标物体的运动状态，包括：
将所述第一三维特征点在世界坐标系下的三维信息投影至鸟瞰视角下，得到第一鸟瞰视觉坐标；
将所述第二三维特征点在世界坐标系下的三维信息投影至鸟瞰视角下，得到第二鸟瞰视觉坐标；
根据所述第一鸟瞰视觉坐标和所述第二鸟瞰视觉坐标确定所述目标物体的运动状态。


12.根据权利要求11所述的方法，其特征在于，所述根据所述第一鸟瞰视觉坐标和所述第二鸟瞰视觉坐标确定所述目标物体的运动状态，包括：
根据所述第一鸟瞰视觉坐标和所述第二鸟瞰视觉坐标确定所述目标物体在第一方向和第二方向上的位移信息，和/或在第一绕向上的旋转角度信息；
根据所述目标物体的所述位移信息和/或所述旋转角度信息确定所述目标物体的运动状态。


13.根据权利要求1所述的方法，其特征在于，所述根据所述第一三维特征点在世界坐标系下的三维信息及所述第二三维特征点在世界坐标系下的三维信息确定所述目标物体的运动状态，包括：
根据所述第一三维特征点在世界坐标系下的三维信息及所述第二三维特征点在世界坐标系下的三维信息确定所述目标物体在第一方向和第二方向上的位移信息，和/或在第一绕向上的旋转角度信息；
根据所述目标物体的所述位移信息和/或所述旋转角度信息确定所述目标物体的运动状态。


14.根据权利要求12或13所述的方法，其特征在于，所述运动状态包括所述目标物体的移动速度或/和旋转方向，所述根据所述目标物体的所述位移信息和/或所述旋转角度信息确定所述目标物体的运动状态，包括：
根据所述目标物体的所述位移信息确定所述目标物体的移动速度；和/或，根据所述旋转角度信息确定所述目标物体的旋转方向。


15.根据权利要求14所述的方法，所述根据所述目标物体的所述位移信息确定所述目标物体的移动速度，包括：
根据所述目标物体的位移信息确定目标移动速度；
将对所述目标移动速度滤波后得到的速度确定为所述目标物体的移动速度。


16.根据权利要求3-6任一项所述的方法，其特征在于，所述从所述第一特征区域中提取第一二维特征点，包括：
从所述第一特征区域中提取多个二维特征点；
根据预设算法从所述多个二维特征点中筛选得到第一二维特征点。


17.根据权利要求1-6任一项所述的方法，其特征在于，所述目标物体的数量为一个或多个。


18.一种目标物体运动状态检测方法，其特征在于，所述方法包括：
在第一时间获取第一行驶环境图像；
在第二时间获取第二行驶环境图像，所述第一时间为所述第二时间之前的时间，所述第一行驶环境图像和所述第二行驶环境图像中包括目标物体；
从所述第一行驶环境图像中提取目标物体的至少一个第一二维特征点；
根据所述至少一个第一二维特征点建立所述目标物体的物体模型物体；
根据所述目标物体的物体模型从所述第二行驶环境图像中提取所述目标物体的至少一个第二二维特征点；
根据所述第二二维特征点更新所述目标物体的物体模型，得到更新后的所述目标物体的物体模型；
根据所述第一二维特征点以及所述第二行驶环境图像中与所述第一二维特征点相匹配的二维特征点确定所述目标物体的运动状态。


19.根据权利要求18所述的方法，其特征在于，更新后的所述目标物体的物体模型包括所述至少一个第一二维特征点和所述至少一个第二二维特征点。


20.根据权利要求18所述的方法，其特征在于，所述方法还包括：
在第三时间获取第三行驶环境图像，所述第二时间为所述第三时间之前的时间；
根据所述第二行驶环境图像和所述第三行驶环境图像中相匹配的所述目标物体的二维特征点更新所述目标物体的运动状态。


21.根据权利要求18-20任一项所述的方法，其特征在于，所述从所述第一行驶环境图像中提取目标物体的至少一个第一二维特征点，包括：
在所述第一行驶环境图像中确定目标物体的第一特征区域；
从所述第一特征区域中提取所述目标物体的至少一个第一二维特征点；
根据所述目标物体的物体模型从所述第二行驶环境图像中提取所述目标物体的第二二维特征点，包括：
根据所述目标物体的物体模型在所述第二行驶环境图像中确定所述目标物体的第二特征区域；
从所述第二特征区域中提取所述目标物体的至少一个第二二维特征点。


22.根据权利要求21所述的方法，其特征在于，所述根据所述目标物体的物体模型在所述第二行驶环境图像中确定所述目标物体的第二特征区域，包括：
获取所述第二行驶环境图像中的至少一个物体特征区域；
确定每个物体特征区域中的特征点与所述目标物体的物体模型中的特征点相匹配的数量；
将所述至少一个物体特征区域中特征点匹配的数量大于目标预设值的物体的特征区域确定为所述目标物体的第二特征区域。


23.一种检测设备，其特征在于，所述检测设备包括存储器、处理器、摄像装置；

【专利技术属性】
技术研发人员：周游，赵峰，杜劼熹，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44