一种无人机遥感影像实时拼接方法及系统技术方案

本发明专利技术公开了一种无人机遥感影像实时拼接方法及系统，包括：实时接收无人机回传的航拍数据，包括：实时航拍影像及对应的POS数据；基于POS数据定位定向影像获得影像的地理信息；基于无人机相机的内方位元素校正影像镜头畸变，基于POS数据中的外方位元素几何校正影像，结合步骤2获得的影像位置信息地理对校正后的影像进行配准；对配准后的影像进行切片；融合拼接切片得到的瓦片并发布为标准的地图服务供浏览器端使用；本方法及系统能够实时定位定向、校正及拼接无人机回传的影像，实时呈现无人机航拍区域的全域实景地图。

A Real-time Mosaic Method and System for UAV Remote Sensing Images

【技术实现步骤摘要】
一种无人机遥感影像实时拼接方法及系统
本专利技术涉及无人机遥感影像处理
，具体地，涉及一种无人机遥感影像实时拼接方法及系统。
技术介绍
目前无人机航测主要通过无人机航拍外业获得遥感影像，内业离线处理影像提供地图服务。这种技术流程复杂、内外业分离、响应周期长，无法满足有快速响应需求的应用场景。此外，无人机实时直播视频数据只能得到局部区域信息，无法实时提供全局态势。在应急救援等对实时响应速度要求较高的场景，需要航测作业实时处理遥感影像，提供全局态势地图服务。
技术实现思路
本专利技术提供了一种无人机遥感影像的实时拼接方法与系统，能够在无人机航拍作业过程中，实时定位定向、校正及拼接回传影像，实时呈现无人机航拍区域的全域实景地图，满足应急场景下的实时成图需求。为实现上述专利技术目的，本专利技术一方面提供了一种无人机遥感影像实时拼接方法，所述方法包括：步骤1：实时接收无人机回传的航拍数据，包括：实时航拍影像及对应的POS数据；步骤2：基于POS（PositionandOrientationSystem，定位定向系统）数据获得影像的地理信息；步骤3：基于无人机相机的内方位元素校正影像镜头畸变，基于POS数据中的外方位元素几何校正影像，结合步骤2获得的影像地理信息对校正后的影像进行配准；步骤4：对步骤3配准后的影像进行切片；步骤5：融合拼接切片得到的瓦片并发布为标准的地图服务供浏览器端使用。优选的，实时接收无人机航拍数据，获得无人机拍摄影像时的空间位置和三轴姿态信息，空间位置包括无人机的经度、纬度、高程，三轴姿态信息包括无人机相对于导航坐标系的翻滚角、俯仰角、偏航角。优选的，步骤2还包括：根据无人机拍摄的外方位元素，基于无人机相机和GPS与IMU（InertialMeasurementUnit）的安装距离误差以及姿态角偏移导致的投影误差校正影像的地理位置。优选的，配准时根据相机CCD尺寸、影像分辨率以及相对无人机航高计算出地面像素分辨率，利用像素分辨率和校正后的影像中心点坐标配准影像。优选的，所述方法还包括：浏览器动态获取融合拼接后的瓦片，并加载最新融合拼接后的瓦片进行可视化展示。优选的，所述方法具体为：将融合拼接后的瓦片发布为标准的TMS服务；利用WebSocket实时通知浏览器前端加载实景地图的最新可视范围；浏览器端根据最新可视范围加载相应层级的最新瓦片实景地图。图片切片技术是按照金字塔方式将带有地理坐标的影像切为小图片的技术。将无人机拍摄的遥感影像发布为地图服务，可以通过浏览器访问，目前主要有两种处理方法，一种是将所有遥感影像拼接成一张大图，对大图切片后发布为地图服务；另一种是对单张影像进行流式切片后将每张影像作为独立图层发布为地图服务，叠加之后通过浏览器展示。第一种方法需要把遥感影像先拼接再切片，无法满足实时场景需求。第二种方法虽然能够实时处理，但是只适用于较少影像的场景，随着影像增多，图层数量增加，当影像达到一定数量时浏览器的负载变大，性能下降，无法满足实时应用。本专利技术提供了一种无人机遥感影像的切片方法，解决了现有切片技术的实时性问题、边界瓦片黑白边问题、浏览器端的性能加载问题，能够在无人机航拍作业时对校正后的影像进行切片及处理，实时将无人机拍摄的遥感影像以地图服务形式流畅呈现给用户。本方法中将对影像进行切片和融合拼接切片得到的瓦片，具体包括：步骤a：检测单张无人机遥感影像的坐标系，若不是墨卡托投影坐标系，则转换为墨卡托投影坐标系，用于在地图上呈现影像；步骤b：确定影像支持的最大缩放层级N，N为大于1的整数；步骤c：将影像的分辨率与第N层级的分辨率对齐；步骤d：对影像进行切片获得第N层级的瓦片；步骤e：基于第N层级的瓦片依次生成第N-1层级至第1层级的瓦片；步骤f：根据时序及瓦片标识逐层融合拼接第1层级至第N层级的瓦片；优选的，根据影像的像素分辨率及墨卡托投影坐标算法，四叉树切割地图。每次切割后对应图层墨卡托投影坐标系的初始分辨都会变大，直到小于影像的分辨率。影像支持的最大缩放层级为最大切割次数减一。其中，步骤d和步骤e生成瓦片时，瓦片能够存储为任意图片格式。如果考虑地图服务，则需要将瓦片存储为HTTPContent-Type所支持的图片格式并对瓦片做透明化处理。当瓦片存储为jpg或png格式时，不包含nodata的瓦片（即非边界瓦片）存储为jpg格式，包含nodata的瓦片（即边界瓦片）存储为png格式。在地图服务端统一设置地图边界，仅可以请求边界范围内的瓦片。请求边界范围内的瓦片时忽略请求的瓦片存储格式，直接返回实际存储的瓦片，能够同时解决边界瓦片黑白边问题及png图片过大导致的加载过慢问题。其中，本方法针对校正后的单张无人机遥感影像，将对第N层级切片获得的瓦片作为瓦片地图金字塔模型的底层；其余层级的瓦片都通过重采样其下一层瓦片生成；根据时序及瓦片标识融合拼接瓦片。优选的，所述步骤d具体包括：根据瓦片数据规范确定每张瓦片的大小及在影像中的像素坐标，从影像左上角开始，从左至右、从上到下进行切分，将影像切分为若干个单张瓦片，瓦片不完整的部分用nodata填充。优选的，步骤f在融合拼接瓦片时，将瓦片转换为矩阵。此矩阵可以获得瓦片通道中相同行列所有像素点的像素值，这些像素值分别可以视为一组向量v。nodata像素点的像素值在所属通道中统一视为标量0。因此可以通过向量运算判断新瓦片是否包含nodata。优选的，步骤f融合拼接瓦片时，将瓦片转换为矩阵。对于包含nodata的新瓦片，将影像通道中相同行列的像素点的像素值视为一组向量v，各像素点的像素值为v中各通道标量。向量v视影像通道个数不同为单项式或者多项式。将原切片生成的瓦片和新瓦片对应向量v中的各项标量按通道顺序一一对应做“或运算”，并替换原切片生成的瓦片。其中，采用上述两种方法将瓦片的融合拼接耗时约降至逐像素方式的1/6。优选的，本方法中的几何校正，可以采用传统的几何校正方法，也可以采用本专利技术中的改进后的几何校正方法，为了解决无法设立控制点或无控制点的应急应用场景下微小数据扰动可能引起较大校正误差的问题，本专利技术提供了改进后的几何校正方法为实时拼接无人机遥感影像时的快速几何校正提供支持，本专利技术方法针对俯仰角、翻滚角、偏航角引起的几何形变，利用三维几何模型快速几何校正原始影像。现有的无控制点几何校正方法通过变换坐标系，将IMU坐标系变换到地面测量坐标系，将校正后的POS参数直接作为影像外方位元素，通过共线条件方程和间接法影像几何校正无人机遥感影像。该校正过程需要相机与IMU安装角的误差等数据，这些数据在应急场景下难以获得，并且可能面临多个矩阵乘积引起的计算误差以及部分矩阵对误差敏感，导致微小数据误差引起较大校正误差的问题。所述基于POS数据中的外方位元素对影像进行几何校正，具体包括：采集无人机原始遥感影像；由于无人机俯仰角的影响，无人机原始遥感影像在成像时产生梯形形变，校正俯仰角引起的梯形形变得到原始影像对应的第一梯形ABEF；将第一梯形ABEF的最小外接矩形作为第二矩形ABCD，即以第一梯形ABEF的上底与下底中较长的底AB作为第二矩形ABCD的长，以第一梯形ABEF的高作为第二矩形ABCD的宽；由于无人机翻滚角的影响，第二矩形ABCD在成像时产生梯形形变，校本文档来自技高网...

【技术保护点】
1.一种无人机遥感影像实时拼接方法，其特征在于，所述方法包括：步骤1：实时接收无人机回传的航拍数据，包括：实时航拍影像及对应的POS数据；步骤2：基于POS数据定位定向影像获得影像的地理信息；步骤3：基于无人机相机的内方位元素校正影像镜头畸变，基于POS数据中的外方位元素几何校正影像，结合步骤2获得的影像地理信息对校正后的影像进行配准；步骤4：对配准后的影像进行切片；步骤5：融合拼接切片得到瓦片并发布为标准的地图服务供浏览器端使用。

【技术特征摘要】
1.一种无人机遥感影像实时拼接方法，其特征在于，所述方法包括：步骤1：实时接收无人机回传的航拍数据，包括：实时航拍影像及对应的POS数据；步骤2：基于POS数据定位定向影像获得影像的地理信息；步骤3：基于无人机相机的内方位元素校正影像镜头畸变，基于POS数据中的外方位元素几何校正影像，结合步骤2获得的影像地理信息对校正后的影像进行配准；步骤4：对配准后的影像进行切片；步骤5：融合拼接切片得到瓦片并发布为标准的地图服务供浏览器端使用。2.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，所述方法还包括：浏览器端动态获取融合拼接后的瓦片，并加载最新融合拼接后的瓦片进行可视化展示；将融合拼接后的瓦片发布为标准的TMS服务；利用WebSocket实时通知浏览器端加载实景地图的最新可视范围；浏览器端根据最新可视范围加载相应层级的最新瓦片实景地图。3.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，本方法中将对配准后的影像进行切片和融合拼接切片得到的瓦片，具体包括：步骤a：检测单张无人机遥感影像的坐标系，若不是墨卡托投影坐标系，则转换为墨卡托投影坐标系，用于在地图上呈现影像；步骤b：确定影像支持的最大缩放层级N，N为大于1的整数；步骤c：将影像的分辨率与第N层级的分辨率对齐；步骤d：对影像进行切片获得第N层级的瓦片；步骤e：基于第N层级的瓦片依次生成第N-1层级至第1层级的瓦片；步骤f：根据时序及瓦片标识逐层融合拼接第1层级至第N层级的瓦片；其中，步骤d和步骤e生成瓦片时，瓦片能够存储为任意图片格式；如果考虑地图服务，则需要将瓦片存储为HTTPContent-Type所支持的图片格式并对瓦片做透明化处理；当瓦片存储为jpg或png格式时，将不包含nodata的瓦片存储为jpg格式，包含nodata的瓦片存储为png格式；在地图服务端统一设置地图边界，仅能够请求边界范围内的瓦片；请求边界范围内的瓦片时忽略请求的瓦片存储格式，直接返回实际存储的瓦片。4.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，实时接收无人机航拍数据，获得无人机拍摄影像时的空间位置和三轴姿态信息，空间位置包括无人机的经度、纬度、高程，三轴姿态信息包括无人机相对于导航坐标系的翻滚角、俯仰角、偏航角。5.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，步骤2还包括：根据无人机采集的POS数据中的外方位元素，结合无人机相机与GPS、IMU的安装距离误差以及姿态角偏移导致的投影误差对影像的地理位置进行校正。6.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，配准时根据相机CCD尺寸、影像分辨率以及相对无人机航高计算出地面像素分辨率，利用像素分辨率和校正后的影像中心点坐标配准影像。7.根据权利要求1...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：成都数之联科技有限公司，
类型：发明
国别省市：四川,51