一种用于无人机的360度立体全景观测系统及方法技术方案

一种用于无人机的360度立体全景观测系统，包括：观测子系统与处理子系统，其中，所述观测子系统由观测无人机所处空间6个方向的多个摄像头组成，所述处理子系统与所述观测子系统进行通信。与现有技术相比，可对无人机所在高度上四周的环境信息、无人机高度上方的环境图像信息进行观测，具备覆盖水平360°和垂直360°全方位的视野的能力。此外，本发明专利技术加入了高程感知模块，兼容北斗/GPS卫星信息与惯性传感器信息，使得本发明专利技术对无人机观测环境中的位置和高程信息的探测更准确。采用2D和3D建模对图像对进行观测，高度信息融合环境图像信息，对环境的描述更精确。

【技术实现步骤摘要】
一种用于无人机的360度立体全景观测系统及方法
本专利技术涉及无人机航拍领域，特别是涉及了一种用于无人机的360度立体全景观测系统及方法，用于实现无人机的360度立体全景观测。
技术介绍
随着经济的飞速发展和社会的不断进步，无人机搭载多种传感器系统的环境探测技术在许多方面得到广泛的应用。在环境保护中的环境监测方面，无人机因其时效性强，机动性好，巡查范围广的特点，可用于大范围内探明环境情况。在测绘方面，测绘无人机作为一种低成本、高精度、操作简便的遥感影像获取设备应运而生，并在传统测绘、数字城市建设、地理国情监测、灾害应急处理等方面取得了很好的效果。现有无人机观测系统主要对俯视地面的场景进行拍摄和拼接，系统可以全面观测地面场景的状况，单无法采集到环绕无人机的图像和无人机上方的图像，在环境监测时，无法反应立体的环境情况。在飞行高度不高的情况下，难以观测全方位的环境情况。申请号：201610969823.4本专利技术了一种无人机全景视觉跟踪方法、无人机以及控制终端，该方法包括：获取多个相机在同一时间点拍摄的图像；拼接该多个相机在同一时间点拍摄的图像形成全景图像；将每次拼接的该全景图像传送至与无人机无线连接的控制终端。上述专利中，存在两个问题：1.相机均设置在无人机的下方，无法感知无人机平行高度及平行高度以上的图像信息。其只在俯视平面上具备全景信息，在垂直方向上不具备全景信息。2.图像信息没有与无人机高程信息结合，无法详细探测实际环境中在各个高程上，实际环境中的立体信息。
技术实现思路
针对上述问题，根据本专利技术的一个方面，公开了一种用于无人机的360度立体全景观测系统，包括：观测子系统与处理子系统，其中，所述观测子系统由观测无人机下方、观测无人机上方以及观测无人机四周的多个摄像头组成，所述处理子系统与所述观测子系统进行通信，所述处理子系统用于对所述观测子系统中多个摄像头获得的图像进行处理。优选的，所述观测子系统还包括：用于固定所述多个摄像头的结构。优选的，所述处理子系统包括：核心处理器模块、系统存储模块、视频存储模块、图像数据同步模块以及位置高程感知模块，其中所述系统存储模块、所述视频存储模块、所述图像数据同步模块以及所述位置高程感知模块分别与所述核心处理器模块相连。更优选的，所述核心处理器模块为，DSP、GPU、FPGA或CPU，用于控制场景图像数据的读入、图像拼接、图像处理与用户交互。更优选的，所述图像数据同步处理模块用于多路摄像头的同步处理，所述位置高程感知模块，用于获得系统所在的经纬度信息以及高程信息，所述通讯模块用于和外界进行通讯，所述系统存储模块与所述视频存储模块分别用于存储控制程序与合成全景图像数据，其中所述视频存储模块为SD卡或TF卡。根据本专利技术的另一个方面，公开了一种使用上述一种用于无人机的360度立体全景观测系统的方法，其特征在于，包括：所述观测子系统采集图像数据；所述处理子系统对所述图像数据进行图像预处理；所述处理子系统根据摄像头的内外参数据对所述预处理后的图像数据进行图像校正；所述处理子系统根据校正后的图像数据与所述摄像头内外参数据进行全景投影模型建模，获得全景投影模型；所述处理子系统对所述全景投影模型进行全景投影纹理映射，获得全景投影纹理映射图像；所述处理子系统对所述全景投影纹理映射图像进行图像纹理融合。进一步的，所述摄像头的内外参数据包括：所述多个摄像头的焦距以及所述多个摄像头间的相对位置信息。进一步的，所述对全景投影模型建模包括：根据观测需要，根据所述多个摄像头间的相对位置信息，对所述图像数据进行2D或3D建模，其中所述2D建模由图像方阵组成，方阵中每个方格对应一个像素点，所述3D建模由多个面组成立体模型，立体模型中每个组成面对应一个像素点，其中所述像素点来自校正后的图像数据。进一步的，所述对所述全景投影模型进行全景投影纹理映射包括：根据所述多个摄像头的相对位置信息，通过所述像素点将组成2D或3D模型的方格或面的位置信息映射到校正后的图像信息中，进而再映射到原始图像信息中，从而完成全景投影纹理的映射，其中每个位置信息对应一个或多个原始图像信息。进一步的，所述对所述全景投影纹理映射图像进行图像纹理融合包括：通过对所述一个像素位置信息中对应的多个原始图像赋予不同权重的方法进行图像纹理融合。与现有技术相比，可对无人机所在高度上四周的环境信息、无人机高度上方的环境图像信息进行观测，具备覆盖水平360°和垂直360°全方位的视野的能力。此外，本专利技术加入了高程感知模块，兼容北斗/GPS卫星信息与惯性传感器信息，使得本专利技术对无人机观测环境中的位置和高程信息的探测更准确。采用2D和3D建模对图像对进行观测，高度信息融合环境图像信息，对环境的描述更精确。附图说明通过阅读下文具体实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出具体实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本专利技术的系统结构组成图。图2为本专利技术的图像处理流程图。图3为本专利技术的投影纹理映射示意图。图4为本专利技术一种可选实施例的观测子系统结构图。图5为本专利技术另一种可选实施例的观测子系统结构图。图6为本专利技术利用高程信息感知模块估计俯视观测区域面积实施例示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术公开了一种用于无人机的360度立体全景观测系统，包括：观测子系统与处理子系统，其通过采用多个摄像头对无人机所处空间的6个方向进行观测，将6个方向的画面组合在一起，从而实现对无人机所处空间的360度立体式全景观测，其中所述多个摄像头构成摄像头组，所述摄像头组即作为本专利技术的观测子系统，所述观测子系统将采集到的无人机所处空间各个方向的图像信息发送给处理子系统进行建模、图像融合，从而最终实现无人机所处空间的360度立体式全景观测。如图1所示，为本专利技术的系统结构组成图，包括：观测子系统(摄像头组)与处理子系统，其中，所述观测子系统包括：观测无人机下方、观测无人机上方以及观测无人机四周的多个摄像头组成，所述处理子系统包括：核心处理器模块、系统存储模块、视频存储模块、图像数据同步模块以及位置高程感知模块，其中所述系统存储模块、所述视频存储模块、所述图像数据同步模块以及所述位置高程感知模块分别与所述核心处理器模块相连。具体的，所述核心处理模块为中央处理器，是整个系统的控制中心，负责控制场景图像数据的读入、图像的处理、拼接以及与用户交互。所述中央处理器可采用DSP数字信号处理器、GPU图像处理单元、FPGA可编程逻辑阵列或CPU。此外，为了保证处理器的正常工作，本专利技术还包括电源模块以及时钟模块以及通信接口模块，其中电源模块用于变压，为其它模块提供稳定的电压，时钟模块用于提供计时或计数功能，二者均与核心处理模块相连。所述通信接口模块用于连接所述核心处理器模块与观测子系统(摄像头组)；所述系统存储模块或所述视频存储模块为S本文档来自技高网...

【技术保护点】
1.一种用于无人机的360度立体全景观测系统，其特征在于，包括：观测子系统与处理子系统，其中，所述观测子系统由观测无人机下方、观测无人机上方以及观测无人机四周的多个摄像头组成，所述处理子系统与所述观测子系统进行通信，所述处理子系统用于对所述观测子系统中多个摄像头获得的图像进行处理。

【技术特征摘要】
1.一种用于无人机的360度立体全景观测系统，其特征在于，包括：观测子系统与处理子系统，其中，所述观测子系统由观测无人机下方、观测无人机上方以及观测无人机四周的多个摄像头组成，所述处理子系统与所述观测子系统进行通信，所述处理子系统用于对所述观测子系统中多个摄像头获得的图像进行处理。2.根据权利要求1所述的观测系统，其特征在于，所述观测子系统还包括：用于固定所述多个摄像头的结构。3.根据权利要求1所述的观测系统，其特征在于，所述处理子系统包括：核心处理器模块、系统存储模块、视频存储模块、图像数据同步模块以及位置高程感知模块，其中所述系统存储模块、所述视频存储模块、所述图像数据同步模块以及所述位置高程感知模块分别与所述核心处理器模块相连。4.根据权利要求3所述的观测系统，其特征在于，所述核心处理器模块为，DSP、GPU、FPGA或CPU，用于控制场景图像数据的读入、图像拼接、图像处理与用户交互。5.根据权利要求3所述的观测系统，其特征在于，所述图像数据同步处理模块用于多路摄像头的同步处理，所述位置高程感知模块，用于获得系统所在的经纬度信息以及高程信息，所述通讯模块用于和外界进行通讯，所述系统存储模块与所述视频存储模块分别用于存储控制程序与合成全景图像数据，其中所述视频存储模块为SD卡或TF卡。6.一种使用上述权利要求1-5任意一项所述的一种用于无人机的360度立体全景观测系统的方法，其特征在于，包括：所述观测子系统采集图像数据；所述处理子系统对所述图像数据...

【专利技术属性】
技术研发人员：晁涌耀，梁艳菊，常嘉义，
申请(专利权)人：中科院微电子研究所昆山分所，
类型：发明
国别省市：江苏,32