基于双目视觉的环境感知方法、装置及无人飞行器制造方法及图纸

本发明专利技术实施例公开了一种基于双目视觉的环境感知方法、装置及无人飞行器。无人飞行器设置有五组双目相机，五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，第一双目相机设置于无人飞行器的机身前部，第二双目相机倾斜向上设置于无人飞行器的机身左侧与机身上部之间，第三双目相机倾斜向上设置于无人飞行器的机身右侧与机身上部之间，第四双目相机设置于无人飞行器的机身下部，第五双目相机设置于无人飞行器的机身后部。通过上述方式，本发明专利技术实施例能够简化全向感知系统，同时减小感知盲区。

【技术实现步骤摘要】
基于双目视觉的环境感知方法、装置及无人飞行器
本专利技术实施例涉及飞行器
，特别是涉及一种基于双目视觉的环境感知方法、装置及无人飞行器。
技术介绍
随着飞行器相关技术的不断发展，无人飞行器(UnmannedAerialVehicle，UAV)，也称无人机成为诸多领域发展的热点；例如，近年来，无人机在灾情调查和救援、空中监控、输电线路巡检、航拍、航测以及军事领域均得到了广泛的应用。为实现避障、刹车、路径规划等，无人机配备有传感器进行环境感知，典型的传感器包括超声波传感器、红外传感器、TOF传感器以及视觉传感器。其中，超声波传感器、红外传感器、TOF传感器无法获取飞行图像，通常作为辅助感知手段；单目视觉传感器(即，单目相机)虽然输出信息丰富并且硬件成本低，但所获取的飞行图像是二维的，难以满足复杂化的应用场景；而双目视觉传感器(即，双目相机)基于视差原理，因其产生的立体视觉信息可以直接恢复被测量点的三维坐标，成为感知传感器中的热门。然而，受限于体积或者成本，无人机仅部分方向上配备有双目相机，无法实现全向感知；即使在无人机上配备有6组双目相机，因部分双目视觉传感器易被机臂遮挡，视角较窄，也存在一定感知盲区。
技术实现思路
本专利技术实施例主要解决的技术问题是提供一种基于双目视觉的环境感知方法、装置及无人飞行器，能够简化全向感知系统，同时减小感知盲区。为实现上述目的，本专利技术实施例采用的一个技术方案是：第一方面，提供一种基于双目视觉的环境感知方法，所述方法应用于无人飞行器，所述无人飞行器设置有五组双目相机，所述五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，所述第一双目相机设置于所述无人飞行器的机身前部，所述第二双目相机倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间，所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间，所述第四双目相机设置于所述无人飞行器的机身下部，所述第五双目相机设置于所述无人飞行器的机身后部；所述方法包括：通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图；分别根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据；分别将所述初始三维点云数据的坐标系转换为世界坐标系，以获得五组世界坐标系下的三维点云数据；根据所述五组世界坐标系下的三维点云数据构建目标场景的三维地图。可选地，任一双目相机的光心连线平行于水平面，且任一双目相机的两光轴相互平行。可选地，所述第二双目相机的光轴、所述第三双目相机的光轴与水平面的夹角均为α。在一些实施例中，所述第二双目相机的垂直视角H2、所述第三双目相机的垂直视角H3以及所述第四双目相机的垂直视角H4满足：H2+H3+H4>360°；且，所述第二双目相机的垂直视角与所述第三双目相机的垂直视角部分重叠，所述第三双目相机的垂直与所述第四双目相机的垂直视角部分重叠，所述第四双目相机的垂直视角与所述第二双目相机的垂直视角部分重叠。可选地，所述第二双目相机的垂直视角H2、所述第三双目相机的垂直视角H3、所述第四双目相机的垂直视角H4还满足以下条件：H2+H4-2α>180°；H3+H4-2α>180°；H2+H3>180°。在一些实施例中，所述第一双目的水平视角V1、所述第二双目相机的水平视角V2、所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5满足：V1+V2+V3+V5>360°；且，所述第一双目相机的水平视角与所述第二双目相机的水平视角部分重叠，所述第二双目相机的水平视角与所述第五双目的水平视角部分重叠，所述第五双目的水平视角与所述第三双目相机的水平视角部分重叠，所述第三双目相机的水平视角与所述第一双目相机的水平视角部分重叠。可选地，所述第一双目的水平视角V1、所述第二双目相机的水平视角V2、所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5还满足以下条件：V1+V2>180°；V2+V5>180°；V5+V3>180°；V3+V1>180°。在一些实施例中，所述第一双目的垂直视角H1、所述第二双目的水平视角V2、所述第四双目的垂直视角H4、所述第五双目的水平视角V5满足：H1+V2+H4+V5>360°；且，所述第一双目的垂直视角与所述第二双目的水平视角部分重叠，所述第二双目的水平视角与所述第四双目的垂直视角部分重叠，所述第四双目的垂直视角与所述第五双目的水平视角部分重叠。可选地，所述第一双目的垂直视角H1、所述第二双目的水平视角V2、所述第四双目的垂直视角H4、所述第五双目的水平视角V5还满足以下条件：H1+V2>180°；V2+H4>180°；H4+V5>180°；V5+H1>180°。可选地，所述第三双目的水平视角与所述第二双目的水平视角相等。在一些实施例中，在所述通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图之前，所述方法还包括：在预设环境下，通过所述五组双目相机的每一组双目相机获取一组对照双目视图；若确定所述对照双目视图中的左右视图上有所述无人飞行器的机体本体形成的遮挡区域，根据所述遮挡区域分别构建左蒙版和右蒙版，根据所述左蒙版和所述右蒙版生成与所述双目相机对应的蒙版视图，并存储所述蒙版视图；则所述根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据，具体包括：将所述视差图和所述双目相机对应的蒙版视图进行融合，生成融合视差图；根据所述融合视差图及所述双目相机的内部参数，生成初始三维点云数据。可选地，所述无人飞行器的机体本体形成的遮挡区域包括以下至少一种：所述无人飞行器的机臂形成的遮挡区域，所述无人飞行器的机身形成的遮挡区域，所述无人飞行器的动力装置形成的遮挡区域，以及所述无人飞行器的保护装置形成的遮挡区域。第二方面，提供一种基于双目视觉的环境感知装置，所述装置应用于无人飞行器，所述无人飞行器设置有五组双目相机，所述五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，所述第一双目相机设置于所述无人飞行器的机身前部，所述第二双目相机倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间，所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间，所述第四双目相机设置于所述无人飞行器的机身下部，所述第五双目相机设置于所述无人飞行器的机身后部，所述装置包括：视差图生成模块，用于通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图；初始点云数据生成模块，用于分别根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据；点云数据生本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的环境感知方法，其特征在于，所述方法应用于无人飞行器，所述无人飞行器设置有五组双目相机，所述五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，所述第一双目相机设置于所述无人飞行器的机身前部，所述第二双目相机倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间，所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间，所述第四双目相机设置于所述无人飞行器的机身下部，所述第五双目相机设置于所述无人飞行器的机身后部；/n所述方法包括：/n通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图；/n分别根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据；/n分别将所述初始三维点云数据的坐标系转换为世界坐标系，以获得五组世界坐标系下的三维点云数据；/n根据所述五组世界坐标系下的三维点云数据构建目标场景的三维地图。/n

【技术特征摘要】
1.一种基于双目视觉的环境感知方法，其特征在于，所述方法应用于无人飞行器，所述无人飞行器设置有五组双目相机，所述五组双目相机包括第一双目相机、第二双目相机、第三双目相机、第四双目相机以及第五双目相机，所述第一双目相机设置于所述无人飞行器的机身前部，所述第二双目相机倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间，所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间，所述第四双目相机设置于所述无人飞行器的机身下部，所述第五双目相机设置于所述无人飞行器的机身后部；
所述方法包括：
通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图；
分别根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据；
分别将所述初始三维点云数据的坐标系转换为世界坐标系，以获得五组世界坐标系下的三维点云数据；
根据所述五组世界坐标系下的三维点云数据构建目标场景的三维地图。


2.根据权利要求1所述的方法，其特征在于，任一双目相机的光心连线平行于水平面，且任一双目相机的两光轴相互平行。


3.根据权利要求2所述的方法，其特征在于，所述第二双目相机的光轴、所述第三双目相机的光轴与水平面的夹角均为α。


4.根据权利要求3所述的方法，其特征在于，所述第二双目相机的垂直视角H2、所述第三双目相机的垂直视角H3以及所述第四双目相机的垂直视角H4满足：H2+H3+H4>360°；
且，所述第二双目相机的垂直视角与所述第三双目相机的垂直视角部分重叠，所述第三双目相机的垂直与所述第四双目相机的垂直视角部分重叠，所述第四双目相机的垂直视角与所述第二双目相机的垂直视角部分重叠。


5.根据权利要求4所述的方法，其特征在于，所述第二双目相机的垂直视角H2、所述第三双目相机的垂直视角H3、所述第四双目相机的垂直视角H4还满足以下条件：
H2+H4-2α>180°；
H3+H4-2α>180°；
H2+H3>180°。


6.根据权利要求3所述的方法，其特征在于，所述第一双目的水平视角V1、所述第二双目相机的水平视角V2、所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5满足：V1+V2+V3+V5>360°；
且，所述第一双目相机的水平视角与所述第二双目相机的水平视角部分重叠，所述第二双目相机的水平视角与所述第五双目的水平视角部分重叠，所述第五双目的水平视角与所述第三双目相机的水平视角部分重叠，所述第三双目相机的水平视角与所述第一双目相机的水平视角部分重叠。


7.根据权利要求6所述的方法，其特征在于，所述第一双目的水平视角V1、所述第二双目相机的水平视角V2、所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5还满足以下条件：
V1+V2>180°；
V2+V5>180°；
V5+V3>180°；
V3+V1>180°。


8.根据权利要求3所述的方法，其特征在于，所述第一双目的垂直视角H1、所述第二双目的水平视角V2、所述第四双目的垂直视角H4、所述第五双目的水平视角V5满足：H1+V2+H4+V5>360°；
且，所述第一双目的垂直视角与所述第二双目的水平视角部分重叠，所述第二双目的水平视角与所述第四双目的垂直视角部分重叠，所述第四双目的垂直视角与所述第五双目的水平视角部分重叠。


9.根据权利要求8所述的方法，其特征在于，所述第一双目的垂直视角H1、所述第二双目的水平视角V2、所述第四双目的垂直视角H4、所述第五双目的水平视角V5还满足以下条件：
H1+V2>180°；
V2+H4>180°；
H4+V5>180°；
V5+H1>180°。


10.根据权利要求9所述的方法，其特征在于，所述第三双目的水平视角与所述第二双目的水平视角相等。


11.根据权利要求1-10任一项所述的方法，其特征在于，在所述通过所述五组双目相机的每一组双目相机获取一组双目视图，并根据所述双目视图生成视差图之前，所述方法还包括：
在预设环境下，通过所述五组双目相机的每一组双目相机获取一组对照双目视图；
若确定所述对照双目视图中的左右视图上有所述无人飞行器的机体本体形成的遮挡区域，根据所述遮挡区域分别构建左蒙版和右蒙版，根据所述左蒙版和所述右蒙版生成与所述双目相机对应的蒙版视图，并存储所述蒙版视图；
则所述根据所述视差图及其对应的双目相机的内部参数，生成初始三维点云数据，具体包括：
将所述视差图和所述双目相机对应的蒙版视图进行融合，生成...

【专利技术属性】
技术研发人员：郑欣，
申请(专利权)人：深圳市道通智能航空技术有限公司，
类型：发明
国别省市：广东;44