一种交互式的无人机自主航拍方法及装置制造方法及图纸

本发明专利技术公开了一种交互式的无人机自主航拍方法及装置，应用于一种交互式的无人机自主航拍系统的无人机执行端，该方法包括：获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；根据所述拍摄指令，以拍摄效果损失最小为为目标进行航拍路径的动力学路径搜索；对搜索得到的动力学路径进行局部的可视区域调整，得到所述动力学路径中每个搜索节点的最佳观测区域；结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；控制无人机根据优化后的轨迹运动至轨迹终点并进行航拍。拍。拍。

【技术实现步骤摘要】
一种交互式的无人机自主航拍方法及装置


[0001]本专利技术属于无人机航拍
，尤其涉及一种交互式的无人机自主航拍方法及装置。

技术介绍

[0002]装载了相机及云台的无人机，在进行空中拍摄任务的时候，需要保障至少以下三点均得到满足a.无人机自身的飞行安全；b.机体自身动力上的物理限制；c拍摄画面满足一定的用户需求。对于使用无人机进行航拍的场景，拍摄得到的画面质量尤其重要。在电影行业中，得到的画面效果直接决定了最终的电影质量；在工业巡检等场景应用中，调整至合适的视角进行拍摄侦察，对于指定区域的检查起到了关键的作用。
[0003]目前，无人机的航拍方式主要有：a.人工操作b.自主跟踪拍摄c.交互式的航拍。a:通常需要较高熟练度的操作人员，且由于无人机和相机云台需要分别控制，往往需要多于一位操作者，需要耗费较高的人力成本且拍摄效果无法保障。b:现有的一些技术和方法支持无人机对目标进行自主跟踪和拍摄，典型的如大疆创新的自主跟拍功能，以及前沿的无人机自主跟踪算法，这些方法能较好地保证无人机的持续拍摄，但是由于缺乏与拍摄者的交互，拍摄需求无法实时地传达至无人机，最终的画面和视频与使用者的需求有一定差距。c：目前的研究中提供了交互式的拍摄方式，可供使用者定制化地给出拍摄需求，但是已有的方法使用场景较为简单，无法适用于复杂场景下对动态物体的拍摄。
[0004]无论是哪种方式，当下无人机在复杂场景中航拍主要有两大问题：1.对于除画面外的环境缺乏精确而有效的感知，从而在拍摄过程无人机自身的安全性无法保障。2.无人机和相机云台之间需要较好的协同，否则将影响拍摄主体在画面中的呈现，甚至会在无人机的机动下脱离画面。
[0005]一些现有的自主航拍研究旨在通过设计合适的交互方式来简化操作。其中一种典型的交互方式是利用关键帧进行交互，例如《N.Joubert,M.Roberts,A.Truong,F.Berthouzoz,and P.Hanrahan,“An interactive tool for designing quadrotor camera shots,”ACM Transactions on Graphics(TOG),vol.34,no.6,pp.1
–
11,2015》《N.Joubert,D.B.Goldman,F.Berthouzoz,M.Roberts,J.A.Landay,P.Hanrahan,et al.,“Towards a drone cinematographer:Guiding quadrotor cameras using visual composition principles,”arXiv preprint arXiv:1610.01691,2016》《C.Gebhardt,B.Hepp,T.N
¨
ageli,S.Stev
ˇ
si
′
c,and O.Hilliges,“Airways:Optimization
‑
based planning of quadrotor trajectories according to high
‑
level user goals,”in Proceedings of the 2016chi conference on human factors in computing systems,2016,pp.2508
–
2519》《C.Gebhardt,S.Stev
ˇ
si
′
c,and O.Hilliges,“Optimizing for aesthetically pleasing quadrotor camera motion,”ACM Transactions on Graphics(TOG),vol.37,no.4,pp.1
–
11,2018》中公开的方法。在这种方法中，用户提前给定了一些视点，随后通过求解器生成了连接视点的光滑轨迹。另一种较为直观的方式通过指定地图上
要拍摄的地标来进行交互。这种方式的主要缺点在于生成的视频无法直接展现给观众，需要多次调整设定的关键帧来改变视频的表达，这对于使用者来说不够友好。有一些实时交互的方式试图解决这样的问题，例如在《Q.Galvane,J.Fleureau,F.
‑
L.Tariolle,and P.Guillotel,“Automated cinematography with unmanned aerial vehicles,”arXiv preprint arXiv:1712.04353,2017》中通过给定拍摄指令或者曲线。也有一些方法在无人机返回的实时画面上提供了交互接口，无疑这样的方式更加直观有效。以上所说的方法大多只用于静态已知场景的拍摄，在算法的设计上往往忽略了环境中可能出现的未知障碍物。此外被拍摄目标多集中于静态物体，这些方法无法适用于动态的目标拍摄。
[0006]已有的一些方法可实现对动态物体的追踪和拍摄。当下前沿的无人机目标跟踪轨迹跟踪可以在已知或未知环境中保持对目标的可视性，从而增加跟踪的鲁棒性。但对于一般的跟踪算法来说，这些方法仅仅与目标保持了合适的距离，却无法控制与目标的视角，目标在画面上的位置等因素，因此这类跟踪算法与航拍的需求还有一定距离。
[0007]目前也有一些方法在实时的跟踪算法上加入了摄影的要素，多数采用了模型预测控制(MPC,model predictive control)的方式，该方法通过优化离散化时间的无人机状态及控制输入，在优化项中加入画面位置，大小，视角等要素计算较优的无人机运动轨迹，但这些方法大多存在以下的局限之一：1.对环境的建模过于简单，一般将环境中的障碍物简化为椭球，这样的做法在非结构化的场景下可能会过于保守；2.对无人机和云台的运动规划较为粗糙，例如不考虑运动时的倾角，仅使用基于图像的反馈控制等，该做法会导致无人机在快速机动时模型失准，从而影响相机对目标的拍摄效果。

技术实现思路

[0008]针对现有技术的不足，本申请实施例的目的是提供一种交互式的无人机自主航拍方法及装置，提高无人机航拍系统的交互性和鲁棒性，使得无人机能在保证安全性、动力学可行性的同时拍摄用户期望的画面。
[0009]根据本申请实施例的第一方面，提供一种交互式的无人机自主航拍方法，应用于一种交互式的无人机自主航拍系统的无人机执行端，包括：
[0010]获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；
[0011]根据所述拍摄指令，以拍摄效果损失最小为为目标进行航拍路径的动力学路径搜索；
[0012]对搜索得到的动力学路径进行局部的可视区域调整，得到所述动力学路径中每个搜索节点的最佳观测区域；
[0013]结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互式的无人机自主航拍方法，其特征在于，应用于一种交互式的无人机自主航拍系统的无人机执行端，包括：获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；根据所述拍摄指令，以拍摄效果损失最小为为目标进行航拍路径的动力学路径搜索；对搜索得到的动力学路径进行局部的可视区域调整，得到所述动力学路径中每个搜索节点的最佳观测区域；结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；控制无人机根据优化后的轨迹运动至轨迹终点并进行航拍。2.根据权利要求1所述的方法，其特征在于，所述拍摄指令包括拍摄目标、拍摄视角、拍摄距离和过渡时间。3.根据权利要求1所述的方法，其特征在于，利用混合A*方法进行航拍路径的动力学路径搜索，过程包括：根据无人机初始的运动状态和时间建立节点，施加离散的控制输入作为采样，扩展至一系列子节点，将扩展的子节点加入一个优先队列，每次在所述优先队列中选取代价函数和启发函数之和最小的节点作为下一个扩展的节点，当扩展节点的时间达到T时刻时搜索结束，得到一条带有时间信息的路径。4.根据权利要求3所述的方法，其特征在于，所述代价函数为其中，d
n
为搜索节点位置上与目标的距离，D
n
为搜索节点位置上与目标的期望距离，θ
n
为搜索节点位置上与目标的相对角度，Θ
n
为搜索节点位置上与目标的期望角度，θ
n
为搜索节点位置上与目标的高度方向视线倾角，Θ
n
为搜索节点位置上与目标在画面位置上的相应倾角；λ
d
、λ
θ
、为对应的权重系数。5.根据权利要求3所述的方法，其特征在于，所述启发函数为h(n)＝T
‑
t
...

【专利技术属性】
技术研发人员：高飞，张智为，
申请(专利权)人：浙江大学，
类型：发明
国别省市：