【技术实现步骤摘要】
【国外来华专利技术】多个群的无人机捕获的系统
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月30日提交的标题为“SYSTEM OF MULTI
‑
SWARM DRONE CAPTURING”的美国临时专利申请序列No.16/917,024(020699
‑
116600US)的权益，该申请用于所有目的通过引用并入本文，就像在本申请中完全阐述一样。
技术介绍
[0003]常规的多视图电影摄影使用多个固定的、经过良好校准的相机以根据预定的动作脚本移动，从而在有限的空间内跟随感兴趣的一个或多个目标的同时捕获图像。通常只对整部电影中特别期望特殊的视觉效果(特别是第一人称视图)的几个重要镜头执行这个操作是可行的。这样的视图对于为预期的观众提供逼真的、身临其境的体验可以是有用的。如果想要以多视图方式捕获整部电影，那么当前的方法是不现实的。如果期望多视图的电影的部分包括户外场景或大空间上的快速移动，那么更具挑战性。
[0004]特别是对于第一人称视图视频的捕获，目前的技术水平要求对应的演员在他们的头部周围靠近他们的眼睛安装或穿戴相机，并且相机需要与演员的面部的前平面精确对准。这设置了严格的捕获限制，因为(a)演员随后能够执行的动作可以在空间上受到相机的体积和重量以及将它们附接到演员的设备的显著限制；(b)要求对相机的视场朝向的仔细控制，或者对所捕获的图像的非常复杂的后处理，以避免或移除相机和设备在最终图像中可见；以及(c)演员表演的“自然性”可能受到对他们头上多余材料的感觉和知觉的影响。>[0005]因此，需要更好的、优选地是自动化的定位和控制多个相机的系统，以便它们可以跟踪感兴趣的目标，而无需以下任何一项：(1)与目标的物理接触；(2)目标移动的先验知识；或(3)拍摄期间采用的跟踪和控制所有个体相机的空间分布和轨迹的主控制器。理想情况下，系统将不需要计算密集型场景分析或对象识别，尤其是在拍摄期间，并且可以在拍摄期间轻松地在不同目标之间切换。目前可用的无人机和无人机控制系统的使用最多只能解决要求(1)。
技术实现思路
[0006]实施例涉及用于对可以是人类或动物的目标移动通过的环境进行多视图成像的系统和方法。
[0007]在一个实施例中，一种系统包括第一多个无人机，每个无人机具有无人机相机；以及第二多个无人机，每个无人机具有无人机相机。第一多个无人机移动以跟踪目标的移动，定位在目标前方，使得：人的面部的对应的第一多个图像由第一多个无人机的无人机相机捕获。第一多个无人机基于所捕获的第一多个图像并基于第一多个无人机相机的姿势之间的空间关系来做出目标的头部姿势和注视的实时确定；以及将头部姿势和注视确定传输到第二多个无人机。第二多个无人机移动以跟踪目标的移动，定位在目标附近，其中无人机相机姿势至少部分地由从第一多个无人机接收的头部姿势和注视确定来确定，使得第二多个无人机的无人机相机捕获目标前方的环境的部分的第二多个图像。第二多个图像的后处理
允许生成第一人称视图，该第一人称视图代表由目标在与第一多个图像的捕获对应的时间看到的环境的视图。
[0008]在另一实施例中，一种方法包括：操作第一多个无人机上的第一多个无人机相机以捕获目标的第一多个图像，无人机移动以跟踪目标的移动，同时定位在目标的前方，使得第一多个图像包括目标的面部的图像；基于所捕获的第一多个图像并基于第一多个无人机相机的姿势之间的空间关系来做出目标的头部姿势和注视的实时确定；将头部姿势和注视确定从第一多个无人机传输到定位在目标附近的第二多个无人机，每个无人机具有无人机相机；根据需要调整第二多个无人机的姿势以响应所传输的头部姿势和注视确定，以跟踪目标移动；调整第二多个无人机上的无人机相机的姿势并操作第二多个无人机的无人机相机以捕获目标前方的环境的部分的第二多个图像；以及对第二多个图像进行后处理以生成第一人称视图，该第一人称视图代表由目标在与第一多个图像的捕获对应的时间看到的环境的视图。
[0009]通过参考说明书的其余部分和附图，可以实现对本文公开的特定实施例的性质和优点的进一步理解。
附图说明
[0010]图1图示了根据一些实施例的用于对场景进行成像的系统的概览。
[0011]图2图示了根据一些实施例的用于注视确定的布置。
[0012]图3图示了根据一些实施例的注视确定中的处理步骤。
[0013]图4示意性地图示了根据一些实施例的操作的方法。
[0014]图5是根据一些实施例的用于环境的多视图成像的方法的流程图。
具体实施方式
[0015]为了本公开的目的，姿势被定义为由3维位置和3维朝向组成的6维参数。在大多数情况下，为了简单起见，详细描述的具体实施例的讨论假设给定无人机的姿势完全确定对应无人机相机的姿势，但是应当理解的是，本专利技术可以以更复杂的方式实现，其中无人机相机可以在某种程度上独立于无人机的朝向被定向。对于此类情况，可以在无人机上安装直接从遥控器或者间接从无人机接收命令，并提供可跟踪、经校准的响应的众所周知的可控运动设备(诸如万向节)。
[0016]图1图示了根据一些实施例的用于环境的多视图成像的系统100。系统100包括第一多个无人机102(为简单起见仅示出了两个，但可以有更多个)，每个无人机102配备有无人机相机104(为简单起见仅指示了一个)。第一多个无人机中的每个无人机102沿着其自己的轨迹移动以跟踪目标106(目标106在此处示为人，但是如上所述，目标可以是另一物种的动物)的移动。无人机102相对于人正在面对的方向定位在目标(在这种情况下为人)前方，其相机104被定向成能够捕获人的面部的第一多个图像。结合关于无人机的空间分布的数据，各种众所周知的图像处理技术中的任何一种都可以被用于所捕获的图像，以允许做出可以被视为指示预期移动方向的人的头部姿势和注视(3维方向参数)的实时确定，如果通信带宽足够，那么这种头部姿势和注视的实时确定或者在无人机102内或者在相机控制站进行。这些确定被用于指导无人机102的后续移动和朝向，使得这些无人机可以维持在人前
方的位置，并且它们的相机104可以根据需要调整它们的朝向以捕获人的面部的图像，即使人改变方向、减速或加速等。这些随后所捕获的图像允许做出对应更新的头部姿势和注视确定、指导进一步的移动和图像捕获等。
[0017]系统100还包括第二多个无人机108(图1中示出了三个)，每个无人机106配备有无人机相机110(为简单起见仅指示了一个)。这些无人机108中的每个被定位在人的附近，其中相机朝向相对于人正在面对的方向一般指向向外或向前的方向，同时避免直接在人的面部前方的位置。每个无人机相机108的姿势至少部分地由该无人机从第一多个无人机接收的注视确定来确定，使得第二多个无人机的无人机相机108捕获人前方在人的视场之内或与之相邻或重叠的环境的部分的第二多个图像。第二多个图像的后处理允许生成代表由人看到的环境的视图的第一人称视图1(下述图4中的视图406是其示例)。在一些情况下，视图可以包括本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种目标移动通过的环境的多视图成像的系统，所述系统包括：第一多个无人机，每个无人机具有无人机相机；以及第二多个无人机，每个无人机具有无人机相机；其中所述第一多个无人机移动以跟踪目标的移动，定位在目标前方，使得目标的面部的对应的第一多个图像由所述第一多个无人机的无人机相机捕获；其中目标的特征在于时变头部姿势和时变注视；其中所述第一多个无人机：基于所捕获的所述第一多个图像并基于所述第一多个无人机相机的姿势之间的空间关系来做出目标的头部姿势和注视的实时确定；以及将头部姿势和注视确定传输到所述第二多个无人机；其中所述第二多个无人机移动以跟踪目标的移动，定位在目标附近，其中无人机相机姿势至少部分地由从所述第一多个无人机接收的头部姿势和注视确定来确定，使得所述第二多个无人机的无人机相机捕获目标前方的环境的部分的第二多个图像；以及其中所述第二多个图像的后处理允许生成第一人称视图，所述第一人称视图代表由目标在与所述第一多个图像的捕获对应的时间看到的环境的视图。2.如权利要求1所述的系统，其中根据头部姿势和注视确定来调整所述第一多个无人机相机的姿势，使得：目标的面部的第三多个图像由所述第一多个无人机的相机捕获；以及所述第一多个无人机基于所捕获的所述第三多个图像并基于所述第一多个无人机相机的经调整的姿势之间的空间关系对目标的头部姿势和注视做出经修正的实时确定，并将经修正的实时确定传输到所述第二多个无人机；其中所述第二多个无人机移动以继续跟踪目标的移动，修正至少部分地由从所述第一多个无人机接收的经修正的实时头部姿势和注视确定所确定的所述第二多个无人机的无人机相机的姿势，使得所述第二多个无人机的无人机相机捕获目标前方的环境的部分的第四多个图像；以及其中所述第四多个图像的后处理允许生成第一人称视图，所述第一人称视图代表由目标在与所述第三多个图像的捕获对应的时间看到的环境的视图。3.如权利要求1所述的系统，其中所述第一多个无人机和所述第二多个无人机分别包括特征在于第一参考姿势和第二参考姿势的第一参考无人机和第二参考无人机；以及其中所述第一参考姿势和所述第二参考姿势分别表征所述第一多个无人机和所述第二多个无人机的第一群姿势和第二群姿势。4.如权利要求1所述的系统，其中，在所述第一多个无人机和所述第二多个无人机中的至少一个内，所有无人机的姿势至少部分地由基于地面的群控制器确定。5.如权利要求4所述的系统，其中，对于所述第一多个无人机和所述第二多个无人机中的至少一个，基于地面的群控制器向该多个无人机中的每个无人机发送对应的特定于无人机的姿势命令。6.如权利要求4所述的系统，其中，对于所述第一多个无人机和所述第二多个无人机中的至少一个，基于地面的群控制器向该多个无人机中的领头无人机发送多个姿势命令，该
领头无人机通过与所述多个无人机中的每个其它无人机直接或间接地通信进行响应，使得所述多个无人机中的每个无人机接收对应的特定于无人机的姿势命令。7.如权利要求1所述的系统，其中由所述第一多个无人机确定头部姿势和注视包括：对所述第一多个图像中的每个所捕获的图像进行处理，以实现面部检测和眼睛检测；以及处理所述第一多个图像中的所捕获的图像的组合以实现头部姿势和注视确定。8.如权利要求1所述的系统，其中所述第二多个无人机的无人机相机中的至少一个无人机相机的视场大于目标的预期视场，所述至少一个无人机相机的视场允许目标前方的环境的部分的所述第二多个图像中的图像捕获。9.如权利要求1所述的系统，其中后处理包括：自动逐帧注视方向平滑以确定所估计的3D注视方向；以及基于所估计的3D注视方向的自动逐帧第一人称视图生成。10.如权利要求1所述的系统，其中，在所述第一多个无人机和所述第二多个无人机中的至少一个内，每个无人机相机附接到对应无人机或定位在对应无人机内，使得表征该无人机的姿势完全确定无人机相机的姿势。11.如权利要求1所述的系...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。