一种障碍物的检测方法及相关装置制造方法及图纸

本发明专利技术实施例提供了一种障碍物的检测方法及相关装置，该方法包括：分别调用第一摄像头、第二摄像头向地面采集多帧第一原始图像数据、多帧第二原始图像数据，从多帧第一原始图像数据、第二原始图像数据中选定在时间上同步的第一目标图像数据、第二目标图像数据，然后将第一目标图像数据与第二目标图像数据对齐，对齐后则计算第一目标图像数据与第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据，最后根据感知差异图像数据检测障碍物。本发明专利技术实施例通过第一目标图像数据与第二目标图像数据的感知差异进行障碍物检测，而不是对障碍物进行分类学习因此检测结果不受障碍物种类限制，相对于传统视觉感知技术扩大了障碍物检测的范围。大了障碍物检测的范围。大了障碍物检测的范围。

【技术实现步骤摘要】
一种障碍物的检测方法及相关装置


[0001]本专利技术涉及计算机视觉的
，尤其涉及一种障碍物的检测方法及相关装置。

技术介绍

[0002]随着科技的进步，车辆作为当今社会的主要交通工具之一，与进步的科学技术融合时向大众展示出车辆自动驾驶的概念。实现车辆自动驾驶带来的效果是将车辆驾驶驾驶员的双手与双眼从驾驶过程中解放出来，并且通过对车辆周围环境的感知以及路况数据分析，降低安全事故发生率，规划效率更高的驾驶线路。
[0003]在进行车辆自动驾驶的研究时，车辆对周围环境的感知，包括障碍物的判断、交通标识的识别等构成指示车辆在自动驾驶条件下驾驶的重要因素，通过分析上述因素保障了车辆自动驾驶技术在实践中对公众而言的安全性。
[0004]目前用于车辆自动驾驶过程中障碍物的识别与判断的主要有传统视觉感知技术、激光感知技术等。其中传统视觉感知技术应用于车辆自动驾驶技术时，多针对车辆驾驶路上有限类别的障碍物进行识别，例如道路上其他车辆、行人以及交通标志等，而驾驶道路上障碍物种类是多样的，若对使用车辆自动驾驶技术的车辆适用传统视觉感知技术针对有限种类的障碍物进行识别并提示，则当有限种类障碍物以外的障碍物对车辆驾驶造成影响时，车辆难以对该障碍物作出反应，使乘客或处于车辆以外的人员、财产受到安全威胁。激光感知技术应用于车辆自动驾驶技术时，则首先由于光线的影响，使被检测物体的激光反射强度与真实的激光反射强度存在差异，使得在估计被检测物的形状与距离时出现偏差。其次在检测车辆周围低矮的障碍物，激光点云稀疏，则根据反射回来的激光分析的障碍物形状与距离与实际情况偏差较大，提升了了车辆自动驾驶过程中的危险性。

技术实现思路

[0005]本专利技术实施例提出了一种障碍物的检测方法及相关装置，以解决车辆在自动驾驶过程中或者机器人在自动行驶过程中，进行障碍物检测时受到障碍物种类限制或计算障碍物形状与距离时与实际情况偏差较大的问题。
[0006]第一方面，本专利技术实施例提供了一种障碍物的检测方法，包括：
[0007]分别调用所述第一摄像头向地面采集多帧第一原始图像数据、调用所述第二摄像头向地面采集多帧第二原始图像数据；
[0008]分别从多帧所述第一原始图像数据中选定第一目标图像数据、从多帧所述第二原始图像数据中选定第二目标图像数据，所述第一目标图像数据与所述第二目标图像数据在时间上同步；
[0009]将所述第一目标图像数据与所述第二目标图像数据对齐；
[0010]若完成对齐，则计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据；
[0011]根据所述感知差异图像数据检测障碍物。。
[0012]第二方面本专利技术实施例还提供了一种障碍物的检测装置，包括：
[0013]原始图像数据采集模块，用于分别调用所述第一摄像头向地面采集多帧第一原始图像数据、调用所述第二摄像头向地面采集多帧第二原始图像数据；
[0014]目标图像数据选取模块，用于分别从多帧所述第一原始图像数据中选定第一目标图像数据、从多帧所述第二原始图像数据中选定第二目标图像数据，所述第一目标图像数据与所述第二目标图像数据在时间上同步；
[0015]图像数据对齐模块，用于将所述第一目标图像数据与所述第二目标图像数据对齐；
[0016]感知差异图像数据第一获取模块，用于若完成对齐，则计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据；
[0017]障碍物检测模块，用于根据所述感知差异图像数据检测障碍物。第三方面，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括：
[0018]一个或多个处理器；
[0019]存储器，用于存储一个或多个程序，
[0020]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的障碍物的检测方法。
[0021]第四方面本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的障碍物的检测方法。
[0022]第五方面本专利技术实施例还提供了一种车辆，所述车辆包括如第二方面所述的装置或如第三方面所述的计算机设备。
[0023]第六方面本专利技术实施例还提供了一种机器人，所述机器人包括如第二方面所述的装置或如第三方面所述的计算机设备。
[0024]本专利技术实施例中，通过在车辆或者机器人上配置安装位置存在差异的第一摄像头、第二摄像头，并分别调用第一摄像头针对地面采集第一原始图像数据、调用第二摄像头采集第二图像数据，并将在时间上同步的第一原始图像数据和第二原始图像数据作为本专利技术实施例用于分析确定地面上可能存在的障碍物的第一目标图像数据、第二目标图像数据，在将第一目标图像数据对齐至第二图像数据后，则计算第一目标图像数据与第二图像数据在垂直方向上的感知差异，以获得感知差异图像数据，根据感知差异图像数据检测得到车辆或机器人周围地面上的障碍物，从而帮助自动驾驶中的车辆或自动行驶的机器人进行障碍物定位，指导车辆在驾驶时规避障碍物或停止驾驶以及帮助机器人规划行驶路线与避障，由此保障了乘客及乘客以外的人员、财产安全或者机器人行驶过程的顺利。
[0025]本专利技术实施例中通过在车辆或机器人上安装第一摄像头、第二摄像头，且两个摄像头之间安装位置存在差异，扩大了车辆在驾驶途中可采集图像数据的范围，减少了因单个摄像头视野有限而漏采集障碍物图像数据带来的车辆或机器人难以及时规避障碍物的风险，并且通过第一目标图像数据与第二目标图像数据的感知差异进行障碍物检测，而不是对障碍物进行分类学习因此检测结果不受障碍物种类限制，相对于传统视觉感知技术扩大了障碍物检测的范围。进一步的本专利技术实施例通过第一摄像头、第二摄像头安装在不同
位置，全方位的采集车辆或机器人周围的障碍物图像数据用于障碍物检测分析，弥补了在搭载自动驾驶技术的车辆或搭载自动行驶技术的机器人上应用激光感知技术时因激光点云稀疏等原因难以检测到位于低矮处的小尺寸障碍物的缺点，提升了车辆自动驾驶或机器人自动行驶过程中检测障碍物的准确性，提高了根据检测到的障碍物指导车辆自动驾驶或机器人自动行驶的指令的可靠性，进而提高了车辆或机器人行进路上的安全性。
附图说明
[0026]图1为本专利技术实施例一提供的一种障碍物的检测方法的流程图；
[0027]图2为本专利技术实施例一提供的一种VGG11的层数示意图；
[0028]图3为本专利技术实施例一提供的室内条件下障碍物示意图；
[0029]图4为本专利技术实施例一提供的室外条件下障碍物示意图；
[0030]图5为本专利技术实施例一提供的室内条件下障碍物的感知差异图；
[0031]图6为本专利技术实施例一提供的室外条件下障碍物的感知差异图；
[0032]图7为本专利技术实施例二提供的一种障碍物的检测装置的结构示意图；
[0033]图8为本专利技术实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种障碍物的检测方法，其特征在于，应用于车辆或机器人，所述车辆或机器人安装有位置存在差异的第一摄像头、第二摄像头，所述方法包括：分别调用所述第一摄像头向地面采集多帧第一原始图像数据、调用所述第二摄像头向地面采集多帧第二原始图像数据；分别从多帧所述第一原始图像数据中选定第一目标图像数据、从多帧所述第二原始图像数据中选定第二目标图像数据，所述第一目标图像数据与所述第二目标图像数据在时间上同步；将所述第一目标图像数据与所述第二目标图像数据对齐；若完成对齐，则计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据；根据所述感知差异图像数据检测障碍物。2.根据权利要求1所述的方法，其特征在于，所述第一摄像头位于所述第二摄像头的上方，所述第一摄像头与所述第二摄像头之间间隔预设的距离，所述第一摄像头的拍摄角度相对于水平面向下倾斜指定的角度，所述第二摄像头的拍摄角度与水平面平齐。3.根据权利要求1所述的方法，其特征在于，多帧所述第一原始图像数据存储在第一缓冲队列中、多帧所述第二原始图像数据存储在第二缓冲队列中，所述分别从多帧所述第一原始图像数据中选定第一目标图像数据、从多帧所述第二原始图像数据中选定第二目标图像数据，包括：从所述第一缓冲队列中提取一帧所述第一原始图像数据，所述第一原始图像数据携带有第一时间戳；从所述第二缓冲队列中提取一帧所述第二原始图像数据，所述第二原始图像数据携带有第二时间戳；查找是否存在所述第一时间戳与所述第二时间戳之间的差值小于预设的第一阈值的所述第一原始图像数据与所述第二原始图像数据；若存在则确定所述第一原始图像数据与所述第二原始图像数据在时间上同步，分别标记所述第一原始图像数据为第一目标图像数据、标记所述第二原始图像数据为第二目标图像数据；若不存在，则重启所述第一摄像头、所述第二摄像头，并执行所述查找是否存在所述第一时间戳与所述第二时间戳之间的差值小于预设的第一阈值的所述第一原始图像数据与所述第二原始图像数据。4.根据权利要求1所述的方法，其特征在于，所述将所述第一目标图像数据与所述第二目标图像数据对齐，包括：分别查询对所述第一摄像头标定的第一摄像头内参、对所述第二摄像头标定的第二摄像头内参；分别使用所述第一摄像头内参计算所述第一摄像头的第一畸变参数、使用所述第二摄像头内参计算所述第二摄像头的第二畸变参数；分别使用所述第一畸变参数校正所述第一目标图像数据、使用所述第二畸变参数校正所述第二目标图像数据；若完成校正，则分别从所述第一目标图像数据中提取多个第一特征点、从所述第二目
标图像数据中提取多个第二特征点，所述第一特征点与所述第二特征点匹配；计算所述第一特征点与所述第二特征点之间的单应矩阵；将所述第一目标图像数据乘以所述单应矩阵，以仿射至所述第二目标图像数据所在的坐标系中；将完成仿射的所述第一目标图像数据作为对齐至所述第二目标图像数据后的所述第一目标图像数据。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据，包括：确定图像感知模型，所述图像...

【专利技术属性】
技术研发人员：赖志林，杨晓东，周东开，
申请(专利权)人：广州赛特智能科技有限公司，
类型：发明
国别省市：