一种空基大场景摄像系统及方法技术方案

一种空基大场景摄像系统及方法，所述的系统由多旋翼无人机组子系统、多旋翼无人机飞行地面控制子系统、地面图像数据处理与显示终端子系统组成。本发明专利技术通过在多个多旋翼无人机下加挂相机的方式，控制多个多旋翼无人机进行编队飞行，在近地面空间实现多飞行器的合理位置布局，并实时将各无人机所拍摄的图像传回到地面；地面图像数据处理与显示终端子系统接收图像数据，并采用图像分析与机器视觉技术将各旋翼无人机拍摄到的图像进行投影变换与拼接处理，最终形成对远距离大场景景象的二维拼接。该系统较为适合于进行各类军事演习、打靶射击时大场景的重建与弹着点的观测与测量。

【技术实现步骤摘要】
一种空基大场景摄像系统及方法
本专利技术涉及一种空基大场景摄像系统及方法。
技术介绍
在进行各类军事演习、武器系统的打靶试验时，需要采用摄影记录的方式对演习的态势、关键事件进行记录，以便实现事后的分析与处理。采用单摄像机拍摄的方式，由于受相机视场的约束，很难兼顾拍摄图像的细节与拍摄视场范围的要求；而采用传统的地面安放相机拍摄方式，即所谓的“陆基”平台拍摄方式，由于拍摄视角较低，所能拍摄到的距离和视场范围也极其有限，若需要对典型事件进行拍摄和记录，在这种情况下很难确定和控制拍摄相机的姿态。
技术实现思路
本专利技术针对单个相机拍摄视场有限、采用地面放置拍摄方式拍摄视角偏低等不足，提出了一种采用多个多旋翼无人机组编队飞行拍摄的空基大场景摄像系统及方法，实现了对大场景的拼接，当相机距被拍摄目标的距离达1公里到3公里之间时，拍摄视场能够达到几十米到几百米范围，有效提高了拍摄的视觉效果，并为后续的大场景图像分析提供了可能。本专利技术包括如下技术方案：一种空基大场景摄像系统，包括多旋翼无人机组子系统、多旋翼无人机飞行地面控制子系统、地面图像数据处理与显示终端子系统，其中：多旋翼无人机组子系统由多个多旋翼无人机、两自由度旋转运动长焦距相机、GPS授时模块、空中无线数据收发终端组成；在每个多旋翼无人机上安装两自由度旋转运动长焦距相机、GPS授时模块和空中无线数据收发终端；多旋翼无人机为4旋翼、6旋翼或8旋翼的无人机飞行器，多旋翼无人机采用电池供电，连续飞行时间不小于30分钟；两自由度旋转运动长焦距相机能够实现俯仰-5°～185°、偏航0°～300°角度范围的转动，相机采用能进行远距离拍摄的长焦相机；GPS授时模块用于获取相机拍摄时的时间信息，授时精度不大于0.5毫秒；空中无线数据收发终端用于接收多旋翼无人机飞行地面控制子系统发送的飞行控制指令，并将多旋翼无人机的相机每一帧拍摄的图像及对应的拍摄时的时间信息组成数据包发送至地面图像数据处理与显示终端子系统；多旋翼无人机飞行地面控制子系统由地面第一无线数据收发终端和便携式计算机组成；地面第一无线数据收发终端用于和各个多旋翼无人机进行数据通信，控制、监控各多旋翼无人机的正常飞行；便携式计算机用于根据拍摄任务需求在多旋翼无人机执行飞行任务前进行各个多旋翼无人机飞行编队和路径的规划，同时在多旋翼无人机执行飞行任务时进行各个无人机工作状态的实时监控；地面图像数据处理与显示终端子系统由地面第二无线数据收发终端、图像处理工作站及液晶显示器组成；地面第二无线数据收发终端用于接收多个多旋翼无人机传回的含有时间信息的图像数据；图像处理工作站用于进行图像的投影变换及拼接处理；液晶显示器用于显示拍摄场景的拼接结果。在每个多旋翼无人机上安装微压差风速风向传感器，用来测量当前无人机正面的风速与风向；多旋翼无人机根据微压差风速风向传感器测量的风速、风向进行悬停控制。两自由度旋转运动长焦距相机为可见光相机或近红外相机。利用上述空基大场景摄像系统进行摄像的方法，其特征在于，实现步骤如下：(1)根据拍摄任务的需求，确定参与拍摄任务无人机的数量及编队队形；按照确定的编队队形，由预定飞行位置从高到低的方式依次放飞各个多旋翼无人机，由多旋翼无人机飞行地面控制子系统控制各个多旋翼无人机飞行到预定飞行位置并在空中实现悬停，逐步构建飞行编队；(2)旋翼无人机飞行地面控制子系统通过向各个多旋翼无人机发送控制指令调节各个多旋翼无人机的相机的俯仰和偏航角的大小，使得各个多旋翼无人机的相机指向并覆盖待拍摄区域，且在水平方向上相邻两个多旋翼无人机拍摄的图像具有一定的重合内容，在竖直方向上相邻两个多旋翼无人机拍摄的图像具有一定的重合内容；重合内容的大小必须保证能够提取出至少4对的对应匹配的图像特征点；(3)每个多旋翼无人机的相机进行图像数据采集,同时根据GPS授时模块采集拍摄时的时间信息，将各个多旋翼无人机的相机每一帧拍摄的图像及对应的拍摄时的时间信息组成数据包通过空中无线数据收发终端发送至地面图像数据处理与显示终端子系统；(4)地面图像数据处理与显示终端子系统对从每个多旋翼无人机接收到的数据包进行处理，将相同时间信息对应的图像归为一组获得按照时间顺序排列的多个图像组，每个图像组的相邻两幅图像具有重叠；对每个图像组利用投影变换及拼接处理方法实现大场景图像的二维拼接。多个多旋翼无人机的编队队形采用矩形飞行编队或者三角形飞行编队。采用IEEE802.11G的无线网络传输协议，并按照MPEG4的压缩格式，将各个多旋翼无人机的相机每一帧拍摄的图像及其对应的拍摄时间信息组成数据包。采用8参数的投影变换模型实现大场景图像的二维拼接。对相邻两幅具有重叠的图像，进行拼接的步骤如下：(1)对相邻两幅具有重叠的图像提取SIFT特征点；(2)采用RANSAC算法进行各个SIFT特征点之间匹配点的搜索，共获得n个对应的匹配点；(3)根据n个对应的匹配点的坐标，利用最小二乘法计算投影变换模型的参数H；计算公式为：H＝(ATA)-1ATb，H＝[h0h1...h7]T，h0h1...h7为投影变换模型的8个参数；其中，(xi，yi)、分别为第i个匹配点在相邻两幅具有重叠的图像中的像素坐标，i＝1至n；(4)将相邻两幅具有重叠的图像中的一幅图像的每一个像素坐标按照如下公式映射到另一幅图像之中，实现对图像的拼接；x与y为所述一幅图像的每一个像素坐标，与为映射到另一幅图像后的每一个像素坐标。单个多旋翼无人机的空中悬停控制是通过基于径向基神经网络的控制方式实现无人机在当前近地面风速风向条件下稳定的悬停，具体方法如下：将微压差风速风向传感器获得的风速、风向输入至径向基神经网络，径向基神经网络根据训练数据计算各旋翼的目标转动速度、以及多旋翼无人机的目标姿态角；然后将无人机的各旋翼的转动速度控制至目标转动速度；将无人机的姿态角控制至目标姿态角。本专利技术与现有技术相比有益效果为：(1)本专利技术设计了一种用于室外大场景拍摄的空基摄影方法，该方法通过拼接多个相机拍摄的场景图像，能够同时兼顾相机拍摄的细节及拍摄的视场大小，有效拓展了空基拍摄的可靠性和应用范围。(2)本专利技术所设计的多旋翼无人机的空基摄影平台，实现近地面的拍摄功能，与高分辨率遥感卫星拍摄和飞机高空航拍技术相比，由于采用多旋翼无人机系统进行拍摄，具有拍摄稳定、系统成本低、使用方便灵活的特点。(3)本专利技术所设计的系统，采用一种基于径向基神经网络的多旋翼无人机悬停控制方法，提高了无人机在复杂近地面风中飞行悬停的稳定性，降低了地面人员控制与操作的复杂度。(4)本专利技术所设计系统，采用将多个无人机挂载相机拍摄的图像送回地面进行拼接的方式记录大场景的变化，通过GPS授时保证多个无人机拍摄的同步，可实现对大场景瞬时动态变化的全记录；而采用单台相机连续拍摄场景，再采将连续拍摄各帧图像采用图像处理技术进行拼接的技术无法记录到场景瞬时动态变化的情况。附图说明图1为本专利技术系统示意图；图2为本专利技术所设计的无人机拍摄模式下有效视场的计算方法原理图；图3为本专利技术所提的以6个多旋翼无人机为例的编队方案的正视图示意图，图3(a)为矩形编队形式，图3(b)、图3(c)分别为三角形编队形式；图4为一种基于径向基神经网络的多旋翼无人机悬停控制计算原理示意图。具本文档来自技高网...

【技术保护点】
一种空基大场景摄像系统，其特征在于：所述的空基大场景摄像系统包括多旋翼无人机组子系统、多旋翼无人机飞行地面控制子系统、地面图像数据处理与显示终端子系统，其中：多旋翼无人机组子系统由多个多旋翼无人机、两自由度旋转运动长焦距相机、GPS授时模块、空中无线数据收发终端组成；在每个多旋翼无人机上安装两自由度旋转运动长焦距相机、GPS授时模块和空中无线数据收发终端；多旋翼无人机为4旋翼、6旋翼或8旋翼的无人机飞行器，多旋翼无人机采用电池供电，连续飞行时间不小于30分钟；两自由度旋转运动长焦距相机能够实现俯仰‑5°～185°、偏航0°～300°角度范围的转动，相机采用能进行远距离拍摄的长焦相机；GPS授时模块用于获取相机拍摄时的时间信息，授时精度不大于0.5毫秒；空中无线数据收发终端用于接收多旋翼无人机飞行地面控制子系统发送的飞行控制指令，并将多旋翼无人机的相机每一帧拍摄的图像及对应的拍摄时的时间信息组成数据包发送至地面图像数据处理与显示终端子系统；多旋翼无人机飞行地面控制子系统由地面第一无线数据收发终端和便携式计算机组成；地面第一无线数据收发终端用于和各个多旋翼无人机进行数据通信，控制、监控各多旋翼无人机的正常飞行；便携式计算机用于根据拍摄任务需求在多旋翼无人机执行飞行任务前进行各个多旋翼无人机飞行编队和路径的规划，同时在多旋翼无人机执行飞行任务时进行各个无人机工作状态的实时监控；地面图像数据处理与显示终端子系统由地面第二无线数据收发终端、图像处理工作站及液晶显示器组成；地面第二无线数据收发终端用于接收多个多旋翼无人机传回的含有时间信息的图像数据；图像处理工作站用于进行图像的投影变换及拼接处理；液晶显示器用于显示拍摄场景的拼接结果。...

【技术特征摘要】
1.利用空基大场景摄像系统对打靶试验进行摄像的方法，可实现对大场景瞬时动态变化的全记录，大场景摄像是指当相机距被拍摄目标的距离达1公里到3公里之间，拍摄视场要求在几十米到几百米范围的拍摄情况；所述的空基大场景摄像系统包括多旋翼无人机组子系统、多旋翼无人机飞行地面控制子系统、地面图像数据处理与显示终端子系统，其中：多旋翼无人机组子系统由多个多旋翼无人机、两自由度旋转运动长焦距相机、GPS授时模块、空中无线数据收发终端组成；在每个多旋翼无人机上安装两自由度旋转运动长焦距相机、GPS授时模块和空中无线数据收发终端；多旋翼无人机为4旋翼、6旋翼或8旋翼的无人机飞行器，多旋翼无人机采用电池供电，连续飞行时间不小于30分钟；两自由度旋转运动长焦距相机能够实现俯仰-5°～185°、偏航0°～300°角度范围的转动，相机采用能进行远距离拍摄的长焦相机；GPS授时模块用于获取相机拍摄时的时间信息，授时精度不大于0.5毫秒；空中无线数据收发终端用于接收多旋翼无人机飞行地面控制子系统发送的飞行控制指令，并将多旋翼无人机的相机每一帧拍摄的图像及对应的拍摄时的时间信息组成数据包发送至地面图像数据处理与显示终端子系统；多旋翼无人机飞行地面控制子系统由地面第一无线数据收发终端和便携式计算机组成；地面第一无线数据收发终端用于和各个多旋翼无人机进行数据通信，控制、监控各多旋翼无人机的正常飞行；便携式计算机用于根据拍摄任务需求在多旋翼无人机执行飞行任务前进行各个多旋翼无人机飞行编队和路径的规划，同时在多旋翼无人机执行飞行任务时进行各个无人机工作状态的实时监控；地面图像数据处理与显示终端子系统由地面第二无线数据收发终端、图像处理工作站及液晶显示器组成；地面第二无线数据收发终端用于接收多个多旋翼无人机传回的含有时间信息的图像数据；图像处理工作站用于进行图像的投影变换及拼接处理；液晶显示器用于显示拍摄场景的拼接结果；其特征在于，利用空基大场景摄像系统进行摄像的实现步骤如下：(1)根据拍摄任务的需求，确定参与拍摄任务无人机的数量及编队队形；按照确定的编队队形，由预定飞行位置从高到低的方式依次放飞各个多旋翼无人机，由多旋翼无人机飞行地面控制子系统控制各个多旋翼无人机飞行到预定飞行位置并在空中实现悬停，逐步构建飞行编队；设定所有的多旋翼无人机均采用同样类型的相机系统，且各个相机的焦距设定为大小相同的固定值；假设需要拍摄的场景大小为W×H，则用W×H除以单个无人机拍摄视场的大小S，即W×H/S＝(W×AB/S)×(H/AB)＝n1×n2；将计算结果的中间变量n1与n2取整数便为认为是得到了所需参与拍摄任务的无人机的基本数量；其中n1＝W×AB/S，n2＝H/AB，S＝0.5×(x0×(O0O1-(O0O1×sinα-O0O×tan(α-θ))×sinα)/f+x0×O0O3/f)×AB，AB＝O0...

【专利技术属性】
技术研发人员：刘皓挺，王巍，王学锋，于文鹏，王军龙，蓝天，马建立，付铁刚，孙媛，
申请(专利权)人：北京航天控制仪器研究所，
类型：发明
国别省市：北京;11