一种复杂环境下无人机目标跟踪的轨迹生成方法技术

本发明专利技术公开了一种复杂环境下无人机目标跟踪的轨迹生成方法，涉及无人机运动规划及目标跟踪技术领域，能够实现复杂环境下无人机对运动目标的安全、实时的跟踪。分段建立无人机运动轨迹多项式以及目标运动轨迹多项式。采用云台相机实时观测获取目标的三维位置信息，通过拟合的方式对目标在未来时域内的运动轨迹进行预测。生成无人机安全飞行通道。建立轨迹生成的目标函数，目标函数为位置约束、速度约束以及能耗约束的加权求和函数；为目标函数添加几何约束、动态约束以及多段多项式轨迹间的平滑性约束，并将目标函数转化为凸优化问题。采用凸优化求解器求解凸优化问题，生成多项式飞行轨迹发送至无人机的飞行控制器，完成飞行轨迹跟踪。

A trajectory generation method of UAV target tracking in complex environment

【技术实现步骤摘要】
一种复杂环境下无人机目标跟踪的轨迹生成方法
本专利技术涉及无人机运动规划及目标跟踪
，具体涉及一种复杂环境下无人机目标跟踪的轨迹生成方法。
技术介绍
目标跟踪作为一种基本任务形式，广泛出现于各类军用与民用领域。主要的应用情景有军用方面的边防巡逻、海关缉私、目标追捕、搜索营救等，以及民用领域的运动航拍、电力巡线等。目标跟踪的主要任务内容是在识别目标的前提下，持续观测目标的位置和速度变化，并随着目标的移动而进行自身平台的运动状态调整，以保证对目标的长时间不间断状态监测。在实际应用场景中，不定向跟踪应用最为广泛。在不定向跟踪过程中，无人机与目标维持在设定距离(可使目标在图像中的尺度保持不变)，通过云台相机进行目标搜索、识别和图像跟踪，通过控制云台相机，使目标保持在图像中心。无刷云台相机系统相比较于静态相机系统可提高物体捕捉能力与跟踪能力。如果目标突然偏离图像中心，摄像机有足够的调整空间使目标重新位于图像中心，最大程度地避免目标丢失。关于无人机或其他移动机器人执行这些任务的研究已经有了很多，(J.Thomas,J.Welde,G.Loianno,K.DaniilidisandV.Kumar.AutonomousFlightforDetection,Localization,andTrackingofMovingTargetsWithaSmallQuadrotor,IEEERoboticsandAutomationLetters,vol.2,no.3,pp.1762-1769,July2017.)和(D.Zheng,H.Wang,W.ChenandY.Wang.PlanningandTrackinginImageSpaceforImage-BasedVisualServoingofaQuadrotor,IEEETransactionsonIndustrialElectronics,vol.65,no.4,pp.3376-3385,April2018.)针对一般室内环境下的运动目标跟踪进行了研究，文献(M.Mueller,G.Sharma,N.SmithandB.Ghanem.PersistentAerialTrackingsystemforUAVs,2016IEEEInternationalConferenceonIntelligentRobotsandSystems(IROS),Daejeon,2016,pp.1562-1569.)进行了室外环境下的运动目标跟踪研究，但是其研究环境较为理想，没有树木或其它障碍物。文献(Y.Liu,Q.Wang,H.HuandY.He.ANovelReal-TimeMovingTargetTrackingandPathPlanningSystemforaQuadrotorUAVinUnknownUnstructuredOutdoorScenes,IEEETransactionsonSystems,Man,andCybernetics:Systems.)研究了四旋翼在复杂树林环境下跟踪运动目标的问题。其利用深度学习方法进行目标识别、分类与图像跟踪，但是项目只考虑了目标的位置信息与路径生成问题，没有考虑运动目标的状态(位置、速度等)预测以及动态环境中的无人机轨迹生成中的动态约束、能耗等问题，这对于复杂环境中无人机对于机动目标的长时跟踪是不够的。在文献(S.A.P.QuinteroandJ.P.Hespanha.Vision-basedtargettrackingwithasmallUAV:Optimization-basedcontrolstrategies,ControlEng.Pract.,vol.32,pp.28:42,Nov.2014.)中，一架装备有全角度云台相机的小型无人机完成了在没有树木或其他障碍物阻碍的结构化道路上行驶的不可预测的移动地面车辆的跟踪任务。文献(A.Giustietal.AMachineLearningApproachtoVisualPerceptionofForestTrailsforMobileRobots,IEEERoboticsandAutomationLetters,vol.1,no.2,pp.661-667,July2016.)创新性地介绍了一个基于深度学习的无人机在复杂森林环境中的飞行演示，通过先验数据集的训练，使四旋翼无人机真实飞行过程中通过自主决策完成森林环境中的道路找寻与自主飞行。但由于森林中已有的道路宽度足够四旋翼进行飞行，因此本工作只针对无人机对已有路径的跟踪进行了研究，而对飞行过程中的避障问题没有进行研究。文献(B.Penin,P.R.GiordanoandF.Chaumette.Vision-BasedReactivePlanningforAggressiveTargetTrackingWhileAvoidingCollisionsandOcclusions,IEEERoboticsandAutomationLetters,vol.3,no.4,pp.3725-3732,Oct.2018.)提出了一种基于运动规划的方法来跟踪机动目标，同时避免碰撞和遮挡，但它需要对环境和目标模型有完整的先验知识，在大多数实际应用场景中，所有这些需求都是有限制的。典型的复杂环境中，在对未来运动状态未知的机动目标跟踪过程中，需要对不断变化的目标运动状态和实时在线检测到的障碍物做出积极的反应，在可能存在威胁的情况下保证飞行安全与跟踪性能。首先，由于相机的测量噪声和障碍物遮挡，跟踪时必须对目标的运动状态进行估计和预测。为了提高目标短暂地离开视场时对遮挡和潜在故障的鲁棒性，需要对跟踪目标的运动状态进行估计并进行运动状态传递。因此目前亟需一种能够应用于复杂环境下对目标进行实时跟踪的无人机飞行轨迹生成方法。
技术实现思路
有鉴于此，本专利技术提供了一种复杂环境下无人机目标跟踪的轨迹生成方法，能够在复杂环境下综合考虑安全性、实时性等问题，实现无人机对运动目标的安全、实时的跟踪。为达到上述目的，本专利技术的技术方案采用由激光雷达、机载计算机、云台相机以及无人机组成的系统进行目标跟踪，包括如下步骤：分段建立无人机运动轨迹多项式以及目标运动轨迹多项式。采用云台相机实时观测获取目标的三维位置信息，依据目标在设定时间段内的三维位置信息，通过拟合的方式对目标在未来时域内的运动轨迹进行预测。机载计算机和激光雷达进行环境感知，建立环境八叉树地图，并利用A*路径搜索算法在环境八叉树地图中进行搜索得到一条安全路径，利用欧式距离场与膨胀方法生成无人机安全飞行通道。建立轨迹生成的目标函数，目标函数为位置约束、速度约束以及能耗约束的加权求和函数；为目标函数添加几何约束、动态约束以及多段多项式轨迹间的平滑性约束，并将目标函数转化为凸优化问题。位置约束为无人机与目标之间的相对距离等于设定的距离阈值。速度约束为无人机与目标之间的相对速度最小化。能耗约束为无人机运动轨迹的能耗最小化。几何约束为无人机安全飞行通道约束本文档来自技高网...

【技术保护点】
1.一种复杂环境下无人机目标跟踪的轨迹生成方法，其特征在于，采用由激光雷达、机载计算机、云台相机以及无人机组成的系统进行目标跟踪，包括如下步骤：/n分段建立无人机运动轨迹多项式以及目标运动轨迹多项式；/n采用云台相机实时观测获取目标的三维位置信息，依据目标在设定时间段内的三维位置信息，通过拟合的方式对目标在未来时域内的运动轨迹进行预测；/n所述机载计算机和所述激光雷达进行环境感知，建立环境八叉树地图，并利用A*路径搜索算法在所述环境八叉树地图中进行搜索得到一条安全路径，利用欧式距离场与膨胀方法生成无人机安全飞行通道；/n建立轨迹生成的目标函数，所述目标函数为位置约束、速度约束以及能耗约束的加权求和函数；为所述目标函数添加几何约束、动态约束以及多段多项式轨迹间的平滑性约束，并将目标函数转化为凸优化问题；/n所述位置约束为无人机与目标之间的相对距离等于设定的距离阈值；/n所述速度约束为无人机与目标之间的相对速度最小化；/n所述能耗约束为无人机运动轨迹的能耗最小化；/n所述几何约束为所述无人机安全飞行通道约束；/n所述动态约束为所述目标的速度约束、加速度约束以及加加速度约束；/n采用凸优化求解器求解所述凸优化问题，生成多项式飞行轨迹发送至所述无人机的飞行控制器，完成飞行轨迹跟踪。/n...

【技术特征摘要】
1.一种复杂环境下无人机目标跟踪的轨迹生成方法，其特征在于，采用由激光雷达、机载计算机、云台相机以及无人机组成的系统进行目标跟踪，包括如下步骤：
分段建立无人机运动轨迹多项式以及目标运动轨迹多项式；
采用云台相机实时观测获取目标的三维位置信息，依据目标在设定时间段内的三维位置信息，通过拟合的方式对目标在未来时域内的运动轨迹进行预测；
所述机载计算机和所述激光雷达进行环境感知，建立环境八叉树地图，并利用A*路径搜索算法在所述环境八叉树地图中进行搜索得到一条安全路径，利用欧式距离场与膨胀方法生成无人机安全飞行通道；
建立轨迹生成的目标函数，所述目标函数为位置约束、速度约束以及能耗约束的加权求和函数；为所述目标函数添加几何约束、动态约束以及多段多项式轨迹间的平滑性约束，并将目标函数转化为凸优化问题；
所述位置约束为无人机与目标之间的相对距离等于设定的距离阈值；
所述速度约束为无人机与目标之间的相对速度最小化；
所述能耗约束为无人机运动轨迹的能耗最小化；
所述几何约束为所述无人机安全飞行通道约束；
所述动态约束为所述目标的速度约束、加速度约束以及加加速度约束；
采用凸优化求解器求解所述凸优化问题，生成多项式飞行轨迹发送至所述无人机的飞行控制器，完成飞行轨迹跟踪。


2.如权利要求1所述的方法，其特征在于，所述分段建立无人机运动轨迹多项式以及目标运动轨迹多项式具体为：
将无人机的飞行时间进行分段，对于第i段，建立如下无人机运动轨迹多项式：
fμi(t)＝a0i+a1it+a2it2+…+anitn＝q(t)Aμi
其中fμi(t)为第μ∈x,y,z维的第i段的无人机运动轨迹多项式；μ用于指代世界坐标系的xyz轴，x，y，z为世界坐标系的xyz轴；
a0ia1ia2i…ani分别为第i段的无人机运动轨迹多项式的各项系数；
Aμi为无人机运动轨迹多项式的系数矩阵，
tn为t的n阶导数
q(t)为关于时间t的基向量q(t)＝[1tt2…tn]；
对于第i段，建立如下目标运动轨迹多项式：
Tμi(t)＝b0i+b1it+b2it2+…+bnitn＝q(t)Bμi
Tμi(t)为第μ∈x,y,z维第i段的目标运动轨迹多项式；
b0ib1ib2i…bni分别为第i段的目标运动轨迹多项式的各项系数；
Bμi为目标运动轨迹多项式的系数矩阵，


3.如权利要求2所述的方法，其特征在于，所述实时观测获取目标的三维位置信息，依据目标在设定时间段内的三维位置信息，通过拟合的方式对目标在未来时域内的运动轨迹进行预测；
具体为
所述云台相机实时采集目标图像并输出；选取一个时间段内所有时刻对应的目标图像，机载计算机对所选取的目标图像进行目标识别处理以及图像定位，获取目标的三维位置信息；
依据所选取的时间段内所有时刻下目标的三维位置信息，利用多项式拟合公式解算所述目标运动轨迹多项式的系数矩阵；
所述多项式拟合公式为最小二乘拟合公式和正则项的组合：



其中为最小二乘拟合公式，σBuiTBui为正则项，所述所选取的时间段为[tl,t0]，tl为始时间，t0为结束时间；pk表示在时间t∈[tl,t0]区间内目标的第k个三维位置信息，共L个；...

【专利技术属性】
技术研发人员：彭志红，奚乐乐，陈杰，王星博，蒋卓，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11