基于美学评价的无人机摄像方法和系统技术方案

本发明专利技术的目的是提供一种基于美学评价的无人机摄像方法和系统，所述无人机具有摄像机，所述方法包括以下步骤：控制所述无人机飞行到指定区域；使所述摄像机朝向被拍摄主体以便将所述主体置于所述摄像机的视场内；利用所述摄像机拍摄所述主体的图像；基于美学评价算法来计算所述图像的美学评分；基于所述美学评分来调整所述无人机的姿态；迭代进行所述拍摄、计算和调整的步骤，直到得到最优美学评分；以及将所述最优美学评分所对应的摄像机视角作为最优视角，在所述最优视角下利用所述摄像机对所述主体进行拍摄。

Aerial camera shooting method and system based on aesthetic evaluation

The purpose of this invention is to provide a method and system for UAV camera based on aesthetic evaluation, the UAV has a camera, the method comprises the following steps: control of the UAV flight to the designated area; the camera shot toward the body so that the main body is arranged in the camera's field of view the use of the camera; the image of the body; to calculate the image of the aesthetic evaluation based on aesthetic evaluation algorithm; based on the aesthetic score to adjust the UAV attitude; the shooting, iterative calculation and adjustment steps, until you have the most beautiful scores; and the most beautiful scores corresponding to the camera angle as the optimal angle of view, the optimal perspective using the camera to shoot the body.

【技术实现步骤摘要】
基于美学评价的无人机摄像方法和系统
本专利技术涉及无人机摄像领域，尤其是涉及基于美学评价的无人机摄像方法和系统。
技术介绍
近年来，随着民用无人驾驶飞行器（以下简称无人机）技术的兴起，各种类型的无人机已经被广泛应用于航拍、运动跟拍、目标跟踪等领域。为了便于飞行控制，大多数无人机都采用多旋翼的结构。通过控制不同旋翼的转速来调节无人机飞行的方向、速度和姿态。控制终端（例如控制面板、智能手机、平板设备等）通过无线网络与无人机连接和通信，用户通过操作控制终端来控制无人机的飞行。无人机通常具有机载摄像机，以便拍摄图像或视频。拍摄的图像或视频可以被传送到控制终端并且在控制终端的显示装置上进行显示。用户能够根据显示的图像或视频来进一步控制无人机的飞行。在对无人机的人工控制基础上，很多研究也关注于对无人机的自动控制。所涉及到的领域包括自动避障和自主导航。在自动避障方面，很多技术采用附加硬件（如红外测距仪、声呐、超声波）来测量飞机与障碍物的距离从而躲避障碍物。此类技术适用于结构化的室内场景，而对于室外场景则很难测量到与障碍物的准确距离，并且支持此类技术的设备耗电量巨大，可能给无人机增加额外的供电负担。另一类技术采用了基于视觉信息的方法来避障，通过实时分析无人机视频信号，基于事先采集好的场景信息利用图像分类或者相似性计算来进行定位从而避开障碍物。这类技术依赖于预先采集场景信息，因此难以应用于随机场景或实时场景。另外，基于深度摄像机的方法涉及三维重建等大量计算，将耗费巨大的计算资源和时间，因此难以用于无人机实时飞行控制。在自主导航方面，所涉及的技术主要通过用户交互来指定飞行轨迹或者想要到达的位置，从而合成符合物理规律的飞行路径。在一种技术中，通过用户交互在虚拟三维场景中设置待拍摄的关键帧，根据这些关键帧所在的空间位置生成飞行轨迹，无人机按照此合成的轨迹进行实际飞行然后完成拍摄。在另一种技术中，考虑无人机飞行的空气动力学模型，根据用户指定轨迹生成实际符合物理规律的运动轨迹从而根据该轨迹完成拍摄任务。在自动摄影方面，一种技术通过激光测距仪测量机器人与拍摄主体的距离建立目标函数，利用远程计算机做路径规划和运动控制。另一种技术通过声音识别来确定人的方位，然后调节相机的方向来改善画面中的线条与人的位置关系。然而，这些技术都通过肤色特征来检测人体，使得自动摄影局限于人像。另外，对机器人的运动控制需要考虑精确的三维场景信息以避免碰撞和路径规划，因此所涉及的大量计算不能保证对采集到的图像进行实时处理。此外，这些技术都是针对特定场景设定构图规则，不能应用到随机场景或实时场景。无人机的人工控制方法对用户的操作熟练程度有一定要求，而且在高空飞行时，用户很难在地面对无人机进行准确的控制。在无人机的自动控制时，无人机在飞行过程中通过机载摄像机完成拍摄任务。拍摄的结果可以是关于被拍摄主体的一段视频或者某个时刻的图像。现有技术中基本使用目标跟踪或目标识别以保证被拍摄主体位于视频或者图像画面以内，但并不保证拍摄图像的构图质量。因此，需要一种无人机智能控制技术，其可以自动检测被拍摄主体，并且能够通过启发式搜索来选取最优取景角度，从而自动拍摄出符合美学规则的图像或视频。
技术实现思路
本专利技术提供了一种基于美学评价的无人机摄像方法，所述无人机具有摄像机，所述方法包括以下步骤：控制所述无人机飞行到指定区域；使所述摄像机朝向被拍摄主体以便将所述主体置于所述摄像机的视场内；利用所述摄像机拍摄所述主体的图像；基于美学评价算法来计算所述图像的美学评分；基于所述美学评分来调整所述无人机的姿态；迭代进行所述拍摄、计算和调整的步骤，直到得到最优美学评分；以及将所述最优美学评分所对应的摄像机视角作为最优视角，在所述最优视角下利用所述摄像机对所述主体进行拍摄。本专利技术还提供了一种用于无人机摄像的控制终端，所述无人机具有摄像机，所述控制终端与无人机通信连接并且被配置为进行以下操作：控制所述无人机飞行到指定区域；使所述摄像机朝向被拍摄主体以便将所述主体置于所述摄像机的视场内；利用所述摄像机拍摄所述主体的图像；基于美学评价算法规则来计算所述图像的美学评分；基于所述美学评分来调整所述无人机的姿态；迭代进行所述拍摄、计算和调整的步骤，直到得到最优美学评分；以及将所述最优美学评分所对应的摄像机视角作为最优视角，在所述最优视角下利用所述摄像机对所述主体进行拍摄。本专利技术还提供了一种基于美学评价的无人机摄像系统，包括：无人机；摄像机，其机载于所述无人机上以用于对主体进行拍摄；以及根据前文所述的控制终端。附图说明通过阅读参照以下附图所作的对非限制性实施例的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是根据本专利技术实施例的包括控制终端和无人机的系统架构的示意图；图2是根据本专利技术的实施例的基于美学评价的无人机摄像方法的流程图；图3是根据本专利技术的实施例的利用控制终端对无人机进行自动控制的基本原理的示意图；图4是用于根据本专利技术的实施例的无人机摄像方法的四种示例美学评价规则的示意图；图5示出了在根据本专利技术的实施例的摄像方法中目标函数的变量的变化趋势；图6示出了根据本专利技术的实施例的控制终端和无人机之间的控制流程；以及图7和图8是利用根据本专利技术的实施例的无人机摄像方法和系统进行拍摄的过程示意图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式本领域的技术人员应当明白本专利技术可以以脱离这些具体细节的其它实现方式来实现。而且为了不模糊本专利技术，在当前的说明中省略了已知的功能和结构的并非必要的细节。下面结合附图对本专利技术作进一步详细描述。图1是根据本专利技术实施例的包括控制终端和无人机的系统架构的示意图。在图1所示的实施例中，无人机110为一台多旋翼无人机，以及控制终端120为笔记本计算机。无人机110携带一个视频摄像机130，用于拍摄图像或视频。摄像机130在拍摄过程中，随着无人机110的运动而改变视角，以便拍摄关于主体的图像或视频。所拍摄的图像或视频数据可以经由无线网络传输到控制终端120。控制终端120可以通过无线网络向无人机110传输控制指令。在本专利技术的实施例中，控制终端120接收无人机110传输的图像或视频数据，基于对所接收的图像或视频数据的处理和分析来生成对无人机110的控制指令，并且将所生成的控制指令传输到无人机110以控制无人机110的飞行。在图1中所示的笔记本计算机仅是控制终端120的一个示例。在实践中，控制终端120可以采用其他形式，例如控制面板、智能手机、平板设备等等。此外，控制终端120也可以被实现为独立的控制模块而机载于无人机110上，通过有线或无线连接与无人机进行数据交换。这样的系统配置能够避免远程传输的开销，并且能够提高数据处理速度以及系统的整体便携性。图2是根据本专利技术的实施例的基于美学评价的无人机摄像方法的流程图。该方法基于图1的系统架构，并且主要包括以下步骤：步骤210，控制无人机飞行到指定区域；步骤220，使摄像机朝向主体以便将主体置于摄像机的视场内；步骤230，利用摄像机拍摄包括主体的图像；步骤240，基于美学评价算法来计算图像的美学评分；步骤250，基于美学评分来调整无人机的姿态；针对给定的美学评分阈值来迭代进行步骤230至步骤250，直到得到最优美学评分；以及本文档来自技高网...

【技术保护点】
一种基于美学评价的无人机摄像方法，所述无人机具有摄像机，所述方法包括以下步骤：控制所述无人机飞行到指定区域；使所述摄像机朝向被拍摄主体以便将所述主体置于所述摄像机的视场内；利用所述摄像机拍摄所述主体的图像；基于美学评价算法来计算所述图像的美学评分；基于所述美学评分来调整所述无人机的姿态；迭代进行所述拍摄、计算和调整的步骤，直到得到最优美学评分；以及将所述最优美学评分所对应的摄像机视角作为最优视角，在所述最优视角下利用所述摄像机对所述主体进行拍摄。

【技术特征摘要】
1.一种基于美学评价的无人机摄像方法，所述无人机具有摄像机，所述方法包括以下步骤：控制所述无人机飞行到指定区域；使所述摄像机朝向被拍摄主体以便将所述主体置于所述摄像机的视场内；利用所述摄像机拍摄所述主体的图像；基于美学评价算法来计算所述图像的美学评分；基于所述美学评分来调整所述无人机的姿态；迭代进行所述拍摄、计算和调整的步骤，直到得到最优美学评分；以及将所述最优美学评分所对应的摄像机视角作为最优视角，在所述最优视角下利用所述摄像机对所述主体进行拍摄。2.根据权利要求1所述的方法，其中，所述最优美学评分是超过预定美学评分阈值的美学评分或者收敛于最大值的美学评分。3.根据权利要求1或2所述的方法，其中，所述无人机的姿态包括滚转、偏航、俯仰和直升，以及调整所述无人机的姿态包括调整每种姿态下的偏移。4.根据权利要求1或2所述的方法，其中，在拍摄所述主体的图像之前，利用预先建立的主体分类器来检测所述主体。5.根据权利要求1或2所述的方法，其中，所述美学评价算法包括量化美学评价规则的方法或者基于图像数据集的机器学习方法。6.根据权利要求1或2所述的方法，其中，在计算所述图像的美学评分的同时，对所述图像进行稳定处理以得到无人机当前姿态下漂移引起的偏移运动向量，以及基于所述偏移运动向量和所述美学评分来调整所述无人机的姿态。7.根据权利要求1或2所述的方法，其中，调整所述无人机的姿态进一步包括补偿无人机的运动漂移。8.一种用于无人机摄像的控制终端，所述无人机具有摄像机，所述控制终端与无人机通信连接并且被配置为进行以下操...

【专利技术属性】
技术研发人员：熊晓亮，冯洁，周秉锋，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11