一种基于视觉语义信息的动态障碍环境导航方法和装置制造方法及图纸

本发明专利技术涉及多旋翼无人机控制与导航技领域，更具体的说，涉及一种基于视觉语义信息的动态障碍环境导航方法和装置。本发明专利技术提出的一种基于视觉语义信息的动态障碍环境导航方法，包括以下步骤：S1、使用基于深度神经网络模型的概率回归预测方法，分割并解析原始图片的场景中的语义信息，对场景中的障碍物进行实时检测识别，建立障碍物地图；S2、使用启发式分层搜索的方法，基于多旋翼动力学模型的运动微元序列进行路径搜索，对建立的障碍物地图进行动态路径规划；S3、使用李代数控制器进行快速响应的轨迹跟踪控制。本发明专利技术通过使用视觉语义信息，使多旋翼无人机在复杂动态场景中完成高效率、高动态性能的作业任务。

A navigation method and device for dynamic obstacle environment based on visual semantic information

【技术实现步骤摘要】
一种基于视觉语义信息的动态障碍环境导航方法和装置
本专利技术涉及多旋翼无人机控制与导航技领域，更具体的说，涉及一种基于视觉语义信息的动态障碍环境导航方法和装置。
技术介绍
四旋翼无人机由于其体型轻便，飞行灵活，悬停能力强，机动性能好等特点，受到工程应用界各领域的广泛关注。配备机载视觉传感器的四旋翼飞行器，是自主导航任务的理想平台，在复杂的动态环境中执行任务，成为了无人飞行设备应用与研究中的重要关注点。配备机载视觉传感器的四旋翼无人机的应用场景广泛分布于场景勘探，危情侦查，室内外建图，环境交互，以及搜索救援任务等方面。四旋翼无人机由两对反向旋转的旋翼和螺旋桨组成，具有欠驱动，非线性，强耦合等系统特性。通过使用反推控制器、滑模技术以及Dijkstra(迪杰斯特拉)算法，已经开发出一些近悬停状态下以及不考虑复杂动力学模型的路径规划方法的无人机控制器。但是当环境复杂、障碍物动态化时，四旋翼无人机系统表现出强非线性的特点，上述方法基于已知的环境信息，而如何实时准确的检测环境信息，也是需要重点关注的问题。现有的四旋翼无人机的导航方法存在以下的缺陷：1)对于视觉语义信息没有充分利用，对于动态障碍物判断的效率有所欠缺，基于深度学习的语义分割方法的处理效率需要提升；2)轨迹规划中对于无人机模型的考虑过于简单，使得无人机无法穿越较为复杂的障碍物；3)基于欧拉角姿态表示方法的控制器设计，受限于欧拉角的万向锁缺陷，其控制性能受到限制。
技术实现思路
本专利技术的目的是提供一种基于视觉语义信息的动态障碍环境导航方法和装置，解决现有技术的无人机导航方法在复杂动态场景中效率低、控制性能差的问题。为了实现上述目的，本专利技术提供了一种基于视觉语义信息的动态障碍环境导航方法，包括以下步骤：S1、使用基于深度神经网络模型的概率回归预测方法，分割并解析原始图片的场景中的语义信息，对场景中的障碍物进行实时检测识别，建立障碍物地图；S2、使用启发式分层搜索的方法，基于多旋翼动力学模型的运动微元序列进行路径搜索，对建立的障碍物地图进行动态路径规划；S3、使用李代数控制器进行快速响应的轨迹跟踪控制。在一实施例中，所述步骤S1进一步包括以下步骤：S11、将原始图片缩放至指定大小并进行区块分割；S12、将分割后的图片输入深度神经网络模型进行概率回归预测，输出图片场景中障碍物的位置、尺寸和置信度的预测值；S13、根据非极大值抑制法去除多余的预测值，得到目标检测结果，所述目标检测结果采用边界框体与物体种类表示。在一实施例中，所述步骤S1中的深度神经网络模型的概率回归预测方法的预测参数，进一步包括：图片像素点与预测物体中心的距离坐标；图片像素点所预测的物体尺寸与图像尺寸比；障碍物预测置信度，包括预测的选定区域尺寸的准确度以及对所预测目标的置信度。在一实施例中，所述步骤S1中的深度神经网络模型的损失函数，为中心点位置偏差损失项、选定边框宽高偏差损失项和预测置信度偏差损失项之和：所述中心点位置偏差损失项为：其中，λcoord为中心点位置偏差损失项权重，S为图片分割的块数，B为预测物体总数量，i为当前分割后图片的单元格序号，j为当前预测物体序号，为单元格i与所负责物体j的对应系数，(xi，yi)为实际物体中心坐标，为预测物体中心坐标；所述选定边框宽高偏差损失项为：其中，λcoord为选定边框宽高偏差损失项权重，S为图片分割的块数，B为预测物体总数量，i为当前分割后图片的单元格序号，j为当前预测物体序号，为单元格i与所负责物体j的对应系数，(wi，hi)为图片尺寸的宽高，为预测物体尺寸的宽高；预测置信度偏差损失项为：其中，λNobj为预测置信度偏差损失项权重，S为图片分割的块数，B为预测物体总数量，i为当前分割后图片的单元格序号，j为当前预测物体序号，为单元格i与所负责物体j的对应系数，Ci为实际物体置信度，为预测物体置信度。在一实施例中，所述步骤S2中：惯性坐标系下的质量归一化作用力、方向和角速度，通过多旋翼动力学模型的控制输入等价获得。在一实施例中，所述步骤S2中基于多旋翼动力学模型的运动微元序列进行路径搜索方法，进一步包括：通过对加加速度um在时间序列上的选择与延伸，对空间中的路径进行搜索，寻找并优化从初始状态s0到末态sg的轨迹，获得在目标所需的总控制力J和时间T方面达到最优的最佳轨迹，所述优化轨迹算法所对应的目标函数为其中，j为加加速度，ρ为时间损失项系数。在一实施例中，所述步骤S2中优化轨迹算法的路径规划中的约束条件包括动力学特性约束和碰撞约束：所述动力学特性约束满足以下条件：其中，为速度，为加速度，为加加速度，vmax为速度最大值，amax为加速度最大值，jmax为加加速的最大值；所述碰撞约束通过以下步骤实现：检查验证ξ和点云之间是否存在交集，即检查以下公式如果存在交集，则认为多旋翼系统与障碍物发生碰撞；其中，为障碍物集合，o为在障碍物内的集合元素，D为欧氏距离，ξ为多旋翼系统在中的椭球建模，d为多旋翼系统的位置。在一实施例中，所述步骤S2中，启发式分层搜索的方法，进一步包括，使用低维空间的先验轨迹Φp的状态变量来初始化搜索，使用加速度来搜索高维空间中的轨迹Φq；当前状态sq到末态sg的启发函数H(Sq)为其中，q为高维轨迹，p为低维轨迹，g为终点下标，n为当前点下标，H1为表示升维距离的启发函数，H2为到终点的启发函数，为高维起点到终点的总控制力，ρ为时间损失项系数，T为时间。在一实施例中，所述步骤S3中李代数控制器的控制量包括升力τ和转矩M，所述升力τ由以下公式生成：其中，kx位置项系数，kv为速度项系数，ex位置误差，ev为速度误差，m为多旋翼质量，g为重力加速度，e3为惯性坐标系z轴单位向量，R为多旋翼系统的姿态，为期望加速度；所述转矩M由以下公式生成：其中，C为控制指令的期望值，kR，kΩ为控制参数，eR为姿态误差，eΩ为角速度误差，RC为期望姿态，ΩC为期望角速度，为期望角加速度，为多旋翼系统的角速度，为多旋翼系统的转动惯量，R为多旋翼系统的姿态，为多旋翼系统的预测角速度。为了实现上述目的，本专利技术提供了.一种基于视觉语义信息的动态障碍环境导航装置，其特征在于，包括目标检测模块，路径搜索规划模块和执行模块：所述目标检测模块，与多旋翼系统、路径搜索规划模块连接，包括图像分割模块和回归预测模块，所述图像分割模块接收多旋翼系统的原始图片并进行分割，所述回归预测模块对分割后的图片基于深度神经网络模型进行概率回归预测，得到目标检测结果；所述路径搜索规划模块，与目标检测模块、执行模块连接，包括地图生成模块和路径规本文档来自技高网...

【技术保护点】
1.一种基于视觉语义信息的动态障碍环境导航方法，其特征在于，包括以下步骤：/nS1、使用基于深度神经网络模型的概率回归预测方法，分割并解析原始图片的场景中的语义信息，对场景中的障碍物进行实时检测识别，建立障碍物地图；/nS2、使用启发式分层搜索的方法，基于多旋翼动力学模型的运动微元序列进行路径搜索，对建立的障碍物地图进行动态路径规划；/nS3、使用李代数控制器进行快速响应的轨迹跟踪控制。/n

【技术特征摘要】
1.一种基于视觉语义信息的动态障碍环境导航方法，其特征在于，包括以下步骤：
S1、使用基于深度神经网络模型的概率回归预测方法，分割并解析原始图片的场景中的语义信息，对场景中的障碍物进行实时检测识别，建立障碍物地图；
S2、使用启发式分层搜索的方法，基于多旋翼动力学模型的运动微元序列进行路径搜索，对建立的障碍物地图进行动态路径规划；
S3、使用李代数控制器进行快速响应的轨迹跟踪控制。


2.根据权利要求1所述的基于视觉语义信息的动态障碍环境导航方法，其特征在于，所述步骤S1进一步包括以下步骤：
S11、将原始图片缩放至指定大小并进行区块分割；
S12、将分割后的图片输入深度神经网络模型进行概率回归预测，输出图片场景中障碍物的位置、尺寸和置信度的预测值；
S13、根据非极大值抑制法去除多余的预测值，得到目标检测结果，所述目标检测结果采用边界框体与物体种类表示。


3.根据权利要求1所述的基于视觉语义信息的动态障碍环境导航方法，其特征在于，所述步骤S1中的深度神经网络模型的概率回归预测方法的预测参数，进一步包括：
图片像素点与预测物体中心的距离坐标；
图片像素点所预测的物体尺寸与图像尺寸比；
障碍物预测置信度，包括预测的选定区域尺寸的准确度以及对所预测目标的置信度。


4.根据权利要求1所述的基于视觉语义信息的动态障碍环境导航方法，其特征在于，所述步骤S1中的深度神经网络模型的损失函数，为中心点位置偏差损失项、选定边框宽高偏差损失项和预测置信度偏差损失项之和：
所述中心点位置偏差损失项为：



其中，λcoord为中心点位置偏差损失项权重，S为图片分割的块数，B为预测物体总数量，i为当前分割后图片的单元格序号，j为当前预测物体序号，为单元格i与所负责物体j的对应系数，(xi，yi)为实际物体中心坐标，为预测物体中心坐标；
所述选定边框宽高偏差损失项为：



其中，λcoord为选定边框宽高偏差损失项权重，S为图片分割的块数，B为预测物体总数量，i为当前分割后图片的单元格序号，j为当前预测物体序号，为单元格i与所负责物体j的对应系数，(wi，hi)为图片尺寸的宽高，为预测物体尺寸的宽高；
预测置信度偏差损失项为：



其中，λNobj为预测置信度偏差损失项权重，S为图片分割的块数，B为预测物体总数量，i为当前分割后图片的单元格序号，j为当前预测物体序号，为单元格i与所负责物体j的对应系数，Ci为实际物体置信度，为预测物体置信度。


5.根据权利要求1所述的基于视觉语义信息的动态障碍环境导航方法，其特征在于，所述步骤S2中：
惯性坐标系下的质量归一化作用力、方向和角速度，通过多旋翼动力学模型的控制输入等价获得。


6.根据权利要求1所述的基于视觉语义信息的动态障碍环境导航方法，其特征在于，所述步骤S2中基于多旋翼动力学模型的运动微元序列进行路径搜索方法，进一步包括：
通过对加加速度um在时间序列上的选择与延伸，对空间中的路径进行搜索，寻找并优化从初始状态s0到末态sg的轨迹，获得在目标所需的总控制力J和时间T方面达到最优的最佳轨迹，所...

【专利技术属性】
技术研发人员：唐漾，和望利，杜文莉，钱锋，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：上海;31