一种基于GPU‑CPU协同的无人机影像快速镶嵌方法技术

本发明专利技术公开了一种基于GPU‑CPU协同的无人机影像快速镶嵌方法，包括数据预处理及Voronoi图镶嵌网络的自动生成，计算每张影像的有效区域对应的局部DEM和原始影像局部纹理；计算镶嵌后DOM全景影像图的大小，并在硬盘上创建DOM全景影像存储指针；依次对测区每张影像的有效区域进行正射纠正；依次对每条镶嵌线两侧影像进行线性加权融合处理，并按照DOM全景影像存储指针写到对应的位置对原始镶嵌结果进行更新等步骤。其显著效果是：该方法从匀光后影像出发，先自动生成测区Voronoi图镶嵌线网络，将正射纠正嵌入影像镶嵌过程中，且只对每张影像有效区域进行纠正直接生成DOM全景图，解决了大序列、高重叠度无人机影像纠正镶嵌效率慢，数据冗余资源开销大的问题。

【技术实现步骤摘要】
一种基于GPU-CPU协同的无人机影像快速镶嵌方法
本专利技术涉及到无人机影像的快速镶嵌
，具体地说，是一种基于GPU-CPU协同的无人机影像快速镶嵌方法。
技术介绍
无人机等低空遥感系统以其机动性强、获取影像分辨率高、硬件价格低廉及维护成本低等优势，在应急测绘等领域中扮演着重要的角色。无人机影像具有分辨率高、框幅小、重叠度高等特点，在利用大序列无人机影像来制作测区数字影像地图(DigitalOrthophotoMap，DOM)时，传统方法是先对测区内所有影像进行正射纠正，然后对所有纠正后影像进行边缘提取、生成镶嵌线网络，最后进行镶嵌。传统模式中单片的全幅正射纠正需要对每个像素进行纠正耗时巨大、基于边缘提取生成镶嵌线网络的方法复杂度高，效率低下，同时先全幅纠正再镶嵌的作业模式会造成巨大数据冗余、时间和资源开销，很难满足应急测绘的需求。在航空影像拍摄过程中，由于受到相机内部和外部因素的影响，如光学透镜成像的不均匀性、曝光时间、拍摄角度、大气条件、光照差异、地物属性等，会造成影像内部或影像之间色彩的不一致，如影像的亮度、色调均衡等。经过影像间匀光后相邻影像间的色彩不一致的问题得到了很大的改善，但是依旧存在一定的偏差。在两幅影像经过镶嵌线镶嵌之后，在镶嵌线的两侧依然存在着色彩过渡不自然的现象。传统减弱镶嵌线两侧色彩过渡不自然的方法有直接平均融合法和线性加权融合法。但是整个测区所有镶嵌线两侧缓冲区域的色彩融合计算任务是非常大的，如果仅用CPU对每条镶嵌线两侧的缓冲区每个像素灰度进行加权内插将非常的耗时。2007年，NVIDIA推出CUDA(ComputeUnifiedDeviceArchitecture，统一计算设备结构)以来，越来越多的学者将GPU强大的并行能力成功地运用于遥感数据的快速处理中，逐渐形成了GPU-CPU协同处理技术。所谓GPU-CPU协同就是将CPU作为主机端，而GPU作为设备端，CPU主要负责逻辑性强的串行计算以及对GPU端的调度，GPU则主要负责高度并行化的计算，并将计算结果反馈给CPU端，两者各司其职，协同计算。基于GPU-CPU协同的航空影像的正射纠正和卫星影像的正射纠正较传统方法在效率上分别提升了60倍与110倍。然而，影像镶嵌比正射纠正的算法和过程都更加复杂繁琐，如何设计优化影像镶嵌的算法流程，将GPU-CPU协同处理技术应用其中，提高大序列无人机影像镶嵌效率，对于应急测绘具有重大意义。
技术实现思路
针对现有技术的不足，本专利技术的目的是提供一种基于GPU-CPU协同的无人机影像快速镶嵌方法，该方法从匀光后影像出发，先自动生成测区Voronoi图镶嵌线网络，将正射纠正嵌入影像镶嵌过程中，且只对每张影像有效区域进行纠正直接生成DOM全景图，能够解决大序列、高重叠度无人机影像纠正镶嵌效率慢，数据冗余资源开销大的问题。为达到上述目的，本专利技术采用的技术方案如下：一种基于GPU-CPU协同的无人机影像快速镶嵌方法，其关键在于按照以下步骤进行：步骤1：数据预处理，CPU端计算测区所有影像像主点对应像底点的位置，以测区所有像底点自动生成Voronoi图镶嵌线网络；步骤2：根据Voronoi图镶嵌线网络，CPU端计算每张影像的有效区域对应的局部DEM和原始影像局部纹理；步骤3：CPU端计算镶嵌后DOM全景影像图的大小，并在硬盘上创建DOM全景影像存储指针；步骤4：根据步骤2获得的局部DEM和原始影像局部纹理，以及影像对应的外参数，GPU端依次对测区每张影像的有效区域进行正射纠正，并将纠正结果拷出内存，按照步骤3创建的DOM全景影像存储指针写到对应的位置；步骤5：对于正射纠正后的影像，GPU端依次对每条镶嵌线两侧的影像进行线性加权融合处理，并将融合处理后的纹理拷出内存，按照步骤3创建的DOM全景影像存储指针写到对应的位置，对原始镶嵌结果进行更新。进一步的描述是，步骤1中所有影像像底点位置的计算方程式为：其中，(X，Y)为影像像底点的位置，(x,y)为影像的像主点，Xs,Ys,Zs为影像外方位元素中的三个角元素，a1,b1,c1,a2,b2,c2,a3,b3,c3为影像定向结果中的旋转矩阵，f为相机焦距，Z为点(Xs,Ys)在数字高程模型DEM上内插的高程值。进一步的描述是，步骤2中所述局部DEM和原始影像局部纹理的计算步骤为：步骤2-1：根据步骤1得到的Voronoi图镶嵌线网络，得到当前影像的有效区域范围，即有效区域多边形PolygonS；步骤2-2：遍历多边形PolygonS的各个角点从中选出坐标的四个极值Xmin,Xmax,Ymin,Ymax，得到多边形PolygonS的最小外接矩形ABCD，提取矩形ABCD所覆盖的局部DEM数据；步骤2-3：将矩形ABCD四个角点按照公式反算到原始影像像方坐标系中得到四边形abcd,计算四边形abcd的最小外接矩形A'B'C'D'，得到原始影像上矩形A'B'C'D'所覆盖的影像纹理数据；其中，(XA,YA)为矩形ABCD的角点A，(xA,yA)为四边形abcd的角点a，Xs,Ys,Zs为影像外方位元素中的三个角元素，a1,b1,c1,a2,b2,c2,a3,b3,c3为影像定向结果中的旋转矩阵，f为相机焦距，ZA为点(XA,YA)在数字高程模型DEM上内插的高程值。进一步的描述是，步骤3中计算DOM全景影像图大小的具体步骤如下：步骤3-1：将所有原始影像的四个角点投影到地面，得到每张影像纠正后四个方向的极值Ximin，Ximax，Yimin，Yimax，按照公式求得镶嵌后DOM影像在四个方向上的极值Xmin,Xmax,Ymin,Ymax，其中，min()为该一维数组中的最小值，max()为该一维数组中的最大值，i＝1～n，n为影像张数；步骤3-2：按照计算镶嵌后DOM全景图的宽度width和高度height，M为纠正后正射影像的地面分辨率。进一步的描述是，步骤4中对影像有效区域的正射纠正按照如下步骤进行：步骤4-1：获取当前影像有效区域对应的局部DEM、原始影像局部纹理及当前影像对应的外参数；步骤4-2：根据当前影像有效区域多边形PolygonS的最小外接矩形大小和纠正后正射影像的地面分辨率，确定当前任务GPU线程格网中线程块的大小和个数；步骤4-3：GPU多线程并行，利用反解法数字微分纠正对该影像块进行正射纠正，利用线程索引计算该像素对应的地面点的坐标(X,Y)；步骤4-4：判断点(X,Y)是否在当前影像有效区域多边形PolygonS内部，如果在内部则根据点(X,Y)在局部DEM块中双线性内插得到该点的高程Z，再计算该像素在原始影像块上的像点坐标p(x,y)，内插灰度值，否则不进行处理；步骤4-5：线程按索引号进行灰度赋值；步骤4-6：将纠正后影像从显存拷贝到内存并写入硬盘上创建好的DOM全景影像图的对应位置。进一步的描述是，步骤5中对镶嵌线两侧影像线性加权融合处理的步骤为：步骤5-1：计算当前镶嵌线对应的局部DEM以及该镶嵌线两侧影像上局部的原始纹理数据，并将其拷入显存；步骤5-2：设置线程格网中线程块的大小和数量；步骤5-3：所有线程并行运行，利用线程索引计算该当前像素对应的地面点的坐标(X,Y)与高程Z；步骤5-4：线程按索引号计算点(X本文档来自技高网...

【技术保护点】
一种基于GPU‑CPU协同的无人机影像快速镶嵌方法，其特征在于按照以下步骤进行：步骤1：数据预处理，CPU端计算测区所有影像像主点对应像底点的位置，以测区所有像底点自动生成Voronoi图镶嵌线网络；步骤2：根据Voronoi图镶嵌线网络，CPU端计算每张影像的有效区域对应的局部DEM和原始影像局部纹理；步骤3：CPU端计算镶嵌后DOM全景影像图的大小，并在硬盘上创建DOM全景影像图存储指针；步骤4：根据步骤2获得的局部DEM和原始影像局部纹理，以及影像对应的外参数，在GPU端依次对测区每张影像的有效区域进行正射纠正，并将纠正后结果拷出内存，按照步骤3创建的DOM全景影像存储指针写出到对应的位置；步骤5：对于正射纠正后的影像，GPU端依次对每条镶嵌线两侧的影像进行线性加权融合处理，并将融合处理后的纹理拷出内存，按照步骤3创建的DOM全景影像存储指针写到对应的位置，对原始镶嵌结果进行更新。

【技术特征摘要】
1.一种基于GPU-CPU协同的无人机影像快速镶嵌方法，其特征在于按照以下步骤进行：步骤1：数据预处理，CPU端计算测区所有影像像主点对应像底点的位置，以测区所有像底点自动生成Voronoi图镶嵌线网络；步骤2：根据Voronoi图镶嵌线网络，CPU端计算每张影像的有效区域对应的局部DEM和原始影像局部纹理；步骤3：CPU端计算镶嵌后DOM全景影像图的大小，并在硬盘上创建DOM全景影像图存储指针；步骤4：根据步骤2获得的局部DEM和原始影像局部纹理，以及影像对应的外参数，在GPU端依次对测区每张影像的有效区域进行正射纠正，并将纠正后结果拷出内存，按照步骤3创建的DOM全景影像存储指针写出到对应的位置；步骤5：对于正射纠正后的影像，GPU端依次对每条镶嵌线两侧的影像进行线性加权融合处理，并将融合处理后的纹理拷出内存，按照步骤3创建的DOM全景影像存储指针写到对应的位置，对原始镶嵌结果进行更新。2.根据权利要求1所述的一种基于GPU-CPU协同的无人机影像快速镶嵌方法，其特征在于：步骤1中所有影像像底点位置的计算方程式为：其中，(X，Y)为影像像底点的位置，(x,y)为影像的像主点，Xs,Ys,Zs为影像外方位元素中的三个角元素，a1,b1,c1,a2,b2,c2,a3,b3,c3为影像定向结果中的旋转矩阵，f为相机焦距，Z为点(Xs,Ys)在数字高程模型DEM上内插的高程值。3.根据权利要求1所述的一种基于GPU-CPU协同的无人机影像快速镶嵌方法，其特征在于：步骤2中所述局部DEM和原始影像局部纹理的计算步骤为：步骤2-1：根据步骤1得到的Voronoi图镶嵌线网络，得到当前影像的有效区域范围，即有效区域多边形PolygonS；步骤2-2：遍历多边形PolygonS的各个角点从中选出坐标的四个极值Xmin,Xmax,Ymin,Ymax，得到多边形PolygonS的最小外接矩形ABCD，提取矩形ABCD所覆盖的局部DEM数据；步骤2-3：将矩形ABCD四个角点按照公式反算到原始影像像方坐标系中得到四边形abcd,计算四边形abcd的最小外接矩形A'B'C'D'，得到原始影像上矩形A'B'C'D'所覆盖的影像纹理数据；其中，(XA，YA)为矩形ABCD的角点A，(xA,yA)为四边形abcd的角点坐标a，Xs,Ys,Zs为影像外方位元素中的三个角元素，a1,b1,c1,a2,b2,c2,a3,b3,c3为影像定向结果中的旋转矩阵，f为相机焦距，ZA为点(XA，YA)在数字高程模型DEM上内插的...

【专利技术属性】
技术研发人员：李朋龙，张泽烈，徐永书，李静，丁忆，胡艳，罗鼎，陈静，李胜，王岚，
申请(专利权)人：重庆市地理信息中心，
类型：发明
国别省市：重庆,50