一种避障方法、装置及系统制造方法及图纸

本发明专利技术公开了一种避障方法、装置及系统，所述方法包括：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像；提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。由于在本发明专利技术实施例中，同时获取可见光相机采集的第一图像和红外TOF相机采集的第二图像，提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像，根据得到得深度图像，确定周围的障碍物，规划路径并避开障碍物，解决了现有技术无法在光照强度低和/或障碍物纹理较简单时进行规划路径，躲避障碍物的问题，提高了规划路径及避障的适用度。

A Barrier Avoidance Method, Device and System

The invention discloses an obstacle avoidance method, device and system, which includes: acquiring the first image captured by a visible camera and the second image captured by an infrared TOF camera; extracting the depth information of the first image and the second image, and fusing the depth information to obtain the depth image; determining the surrounding obstacles and planning the road according to the depth image; Path and avoid obstacles. Because in the embodiment of the present invention, the first image captured by the visible camera and the second image captured by the infrared TOF camera are simultaneously acquired, the depth information of the first image and the second image is extracted, and the depth information is fused to obtain the depth image. According to the obtained depth image, the surrounding obstacles are determined, the path is planned and the obstacles are avoided, thus solving the problem of no obstacles in the existing technology. This method can avoid obstacles when the illumination intensity is low and/or the texture of obstacles is simple, which improves the applicability of planning path and obstacle avoidance.

【技术实现步骤摘要】
一种避障方法、装置及系统
本专利技术涉及导航
，尤其涉及一种避障方法、装置及系统。
技术介绍
随着科学技术的飞速发展，机器人和无人机的应用领域越来越广泛。它们可以在复杂危险的环境下执行各种任务，例如：无人机航拍火灾现场，机器人在震后地区进行搜救等。然而现有无人机和机器人在完成各种任务时，仍然需要人工远程遥控，无人机和机器人并不能在无人控制的情况下在未知的环境下自动确定行驶路径躲避障碍物。虽然现有技术部分机器人，例如特斯拉的自动驾驶汽车，已经采用双目相机获取深度图像，根据获取的深度图像确定行驶路径。然而这种行驶路径确定方法，只能在光照强度高，障碍物纹理较复杂的情况下使用，在光照强度低和/或障碍物纹理较简单时，双目相机无法获取到准确的深度图像，适用度不高。
技术实现思路
本专利技术提供一种避障方法、装置及系统，用以解决现有技术中存在的无法在光照强度较低和/或障碍物纹理较简单时进行规划路径，躲避障碍物的问题。本专利技术公开了一种避障方法，所述方法包括：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像；提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。进一步地，所述提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像包括：针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值；根据每个像素点的第三深度值，确定深度图像。进一步地，所述针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值包括：根据第一图像中每个像素点的像素值，确定第一图像采集时对应的亮度值，和/或根据第一图像中每个像素点的像素邻域的纹理复杂度，确定第一图像的纹理复杂度；根据所述第一图像的所述亮度值和/或纹理复杂度，确定第一图像对应的第一权重值；根据所述第一图像对应的第一权重值，确定所述第二图像对应的第二权重值，其中所述第一权重值和第二权重值均大于0小于1，且所述第一权重值和所述第二权重值的和为1；针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与在第二图像中的第二深度值，及所述第一权重值与所述第二权重值，确定该像素点的第三深度值。进一步地，所述得到深度图像之后，根据深度图像，确定周围的障碍物，规划路径并避开障碍物之前，所述方法还包括：判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值；如果否，根据深度图像，确定周围的障碍物，规划路径并避开障碍物。进一步地，如果毫米波雷达获取的距离自身最近的物体的距离小于设定的距离阈值，所述方法还包括：判断所述亮度值是否大于设定的亮度阈值；如果否，根据深度图像，确定周围的障碍物，规划路径并避开障碍物；如果是，判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果否，进行刹车操作，如果是，根据深度图像，确定周围障碍物，规划路径并避开障碍物。进一步地，根据深度图像，确定周围的障碍物，规划路径并避开障碍物包括：将所述深度图像二值化，根据像素值为1的像素点，确定周围的障碍物，规划路径并避开障碍物。本专利技术实施例公开了一种避障装置，所述装置包括：获取模块，用于获取可见光相机采集的第一图像和红外飞行时间TOF相机采集的第二图像；处理模块，用于提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；路径规划模块，用于根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。进一步地，所述处理模块，具体用于针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值；根据每个像素点的第三深度值，确定深度图像。进一步地，所述处理模块，具体用于根据第一图像中每个像素点的像素值，确定第一图像采集时对应的亮度值，和/或根据第一图像中每个像素点的像素邻域的纹理复杂度，确定第一图像的纹理复杂度；根据所述第一图像的所述亮度值和/或纹理复杂度，确定第一图像对应的第一权重值；根据所述第一图像对应的第一权重值，确定所述第二图像对应的第二权重值，其中所述第一权重值和第二权重值均大于0小于1，且所述第一权重值和所述第二权重值的和为1；针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与在第二图像中的第二深度值，及所述第一权重值与所述第二权重值，确定该像素点的第三深度值。进一步地，所述装置还包括：第一判断模块，用于判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值；如果判断结果为否，触发路径规划模块。进一步地，所述装置还包括：第二判断模块，用于如果第一判断模块的判断结果为是，判断所述亮度值是否大于设定的亮度阈值；如果判断结果为否，触发路径规划模块；如果判断结果为是，判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果判断结果为否，进行刹车操作，如果判断结果为是，触发路径规划模块。进一步地，所述路径规划模块，具体用于将所述深度图像二值化，根据像素值为1的像素点，确定周围的障碍物，规划路径并避开障碍物。本专利技术公开了一种避障系统，所述避障系统包括上述的应用于控制设备的避障装置，及向控制设备发送第一图像的可见光相机，向控制设备发送第二图像的红外TOF相机。本专利技术公开了一种避障方法、装置及系统，所述方法包括：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像；提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。由于在本专利技术实施例中，同时获取可见光相机采集的第一图像和红外TOF相机采集的第二图像，提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像，根据得到得深度图像，确定周围的障碍物，规划路径并避开障碍物，解决了现有技术无法在光照强度低和/或障碍物纹理较简单时进行规划路径，躲避障碍物的问题，提高了规划路径及避障的适用度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例1提供的一种避障过程示意图；图2为本专利技术实施例3提供的一种避障过程示意图；图3为本专利技术实施例5提供的一种避障装置结构示意图；图4为本专利技术实施例6提供的一种避障系统结构示意图。具体实施方式为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。实施例1：图1为本专利技术实施例提供的一种避障过程示意图，该过程包括：S101：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像。本专利技术实施例提供的避障方法本文档来自技高网...

【技术保护点】
1.一种避障方法，其特征在于，所述方法包括：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像；提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。

【技术特征摘要】
1.一种避障方法，其特征在于，所述方法包括：获取可见光相机采集的第一图像和红外TOF相机采集的第二图像；提取所述第一图像和所述第二图像的深度信息，并将所述深度信息进行融合，得到深度图像；根据所述深度图像，确定周围的障碍物，规划路径并避开障碍物。2.如权利要求1所述的方法，其特征在于，所述提取第一图像和第二图像的深度信息，并将所述深度信息进行融合，得到深度图像包括：针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值；根据每个像素点的第三深度值，确定深度图像。3.如权利要求2所述的方法，其特征在于，所述针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值和在第二图像中的第二深度值，确定该像素点的第三深度值包括：根据第一图像中每个像素点的像素值，确定第一图像采集时对应的亮度值，和/或根据第一图像中每个像素点的像素邻域的纹理复杂度，确定第一图像的纹理复杂度；根据所述第一图像的所述亮度值和/或纹理复杂度，确定第一图像对应的第一权重值；根据所述第一图像对应的第一权重值，确定所述第二图像对应的第二权重值，其中所述第一权重值和第二权重值均大于0小于1，且所述第一权重值和所述第二权重值的和为1；针对第一图像和第二图像对应的每个像素点，根据该像素点在第一图像中的第一深度值与在第二图像中的第二深度值，及所述第一权重值与所述第二权重值，确定该像素点的第三深度值。4.如权利要求3所述的方法，其特征在于，所述得到深度图像之后，根据深度图像，确定周围的障碍物，规划路径并避开障碍物之前，所述方法还包括：判断毫米波雷达获取的距离自身最近的物体的距离是否小于设定的距离阈值；如果否，根据深度图像，确定周围的障碍物，规划路径并避开障碍物。5.如权利要求4所述的方法，其特征在于，如果毫米波雷达获取的距离自身最近的物体的距离小于设定的距离阈值，所述方法还包括：判断所述亮度值是否大于设定的亮度阈值；如果否，根据深度图像，确定周围的障碍物，规划路径并避开障碍物；如果是，判断第一图像的纹理复杂度是否大于设定的纹理复杂度阈值，如果否，进行刹车操作，如果是，根据深度图像，确定周围障碍物，规划路径并避开障碍物。6.如权利要求1所述的方法，其特征在于，根据深度图像，确定周围的障碍物，规划路径并避开障碍物包括：将所述深度图像二值化，根据像素值为1的像素点...

【专利技术属性】
技术研发人员：郑卫锋，其他发明人请求不公开姓名，
申请(专利权)人：北京臻迪科技股份有限公司，
类型：发明
国别省市：北京,11