一种针对运动无人机群的超分辨成像方法和装置制造方法及图纸

本发明专利技术提供一种针对运动无人机群的超分辨成像方法和装置，通过采集一组原始图像序列进行分块处理再拼接成一张结果图像，由一组低分辨率大视场的图像序列处理得到一张高分辨率大视场的结果图像。可以实现对运动无人机群的跟踪成像，成像结果同时具备大的观察视场和高的分辨率效果，且操作过程简便，对硬件要求低，可以安装在小型无人机上面进行操作。

A super-resolution imaging method and device for moving unmanned aerial vehicles

【技术实现步骤摘要】
一种针对运动无人机群的超分辨成像方法和装置
本专利技术涉及针对动态目标跟踪的超分辨成像领域，特别是涉及一种针对运动无人机群的超分辨成像方法和装置。
技术介绍
在传统成像过程中，分辨率和视场是一对矛盾的属性。在成像中，光学倍率的计算方法是图像传感器CCD相机元素尺寸比视野尺寸。当我们需要拍摄大视野的场景时，光学倍率就相应小；若我们想要大的光学倍率，能覆盖的视野就小。对于需要极大视野的运动无人机群的成像，将会导致光学倍率越小，传统成像方法对无人机群的分辨率低。
技术实现思路
本专利技术提供一种针对运动无人机群的超分辨成像方法和装置，可以实现对运动无人机群的跟踪成像，成像结果同时具备大的观察视场和高的分辨率效果。本专利技术一方面提供一种针对运动无人机群的超分辨成像方法，包括：获取运动无人机群的图像序列集，所述图像序列集的帧率满足相邻帧亚像素位移；采用相同的分块方式，将所述图像序列集中的每一帧图像进行分块，得到多个块的序列，每个所述块中仅包含一架无人机或一架无人机的部分结构；对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块；根据各所述融合块，得到运动无人机群的超分辨成像。可选的，所述获取运动无人机群的图像序列集，包括：采用预设帧率对运动无人机群进行拍摄，获取运动无人机群的初始图像序列集；在初始图像序列集中的相邻帧图像之间的位移大于1个像素时，提高所述预设帧率，采用提高后的预设帧率获取新的初始图像序列集，直至初始图像序列集中的相邻帧图像满足相邻帧亚像素位移。可选的，所述对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块，包括：对每个块的序列进行位移估计，得到每个块的序列中每两个相邻块之间的位移估计结果；根据每个块的序列以及对应的位移估计结果，对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块。可选的，所述根据各所述融合块，得到运动无人机群的超分辨成像，包括：根据各所述融合块对应的块在图像序列集中的图像中的位置，采用图像拼接算法将各所述融合块进行拼接，得到运动无人机群的超分辨成像。本专利技术另一方面还提供一种运动无人机群的超分辨成像装置，用于执行上述运动无人机群的超分辨成像方法，该装置包括：获取模块，用于获取运动无人机群的图像序列集，所述图像序列集的帧率满足相邻帧亚像素位移；分块模块，用于采用相同的分块方式，将所述图像序列集中的每一帧图像进行分块，得到多个块的序列，每个所述块中仅包含一架无人机或一架无人机的部分结构；融合模块，用于对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块；拼接模块，用于根据各所述融合块，得到运动无人机群的超分辨成像。可选的，所述获取模块具体用于，采用预设帧率对运动无人机群进行拍摄，获取运动无人机群的初始图像序列集；在初始图像序列集中的相邻帧图像之间的位移大于1个像素时，提高所述预设帧率，采用提高后的预设帧率获取新的初始图像序列集，直至初始图像序列集中的相邻帧图像满足相邻帧亚像素位移。可选的，所述融合模块具体用于，对每个块的序列进行位移估计，得到每个块的序列中每两个相邻块之间的位移估计结果；根据每个块的序列以及对应的位移估计结果，对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块。可选的，所述拼接模块具体用于，根据各所述融合块对应的块在图像序列集中的图像中的位置，采用图像拼接算法将各所述融合块进行拼接，得到运动无人机群的超分辨成像。本专利技术提供的针对运动无人机群的超分辨成像方法，通过采集一组原始图像序列进行分块处理再拼接成一张结果图像，由一组低分辨率大视场的图像序列处理得到一张高分辨率大视场的结果图像。这种方法可以实现对运动无人机群的跟踪成像，成像结果同时具备大的观察视场和高的分辨率效果，且操作过程简便，对硬件要求低，可以安装在小型无人机上面进行操作。附图说明图1为无人机群图像采集过程的流程图；图2为超分辨处理过程的流程图；图3为图像采集中序列图像之中的一张原始低分辨率图像的示意图；图4为图像采集中序列图像之中的一张原始低分辨率图像的分块图像和其超分辨结果小块图像的对比图的示意图；图5为图像处理中拼接得到的大视场高分辨率的恢复图像的示意图。具体实施方式下面对本专利技术提供的针对运动无人机群的超分辨成像方法进行说明。图1为无人机群图像采集过程的流程图，图2为超分辨处理过程的流程图；参照图1和图2，针对运动无人机群的超分辨成像方法，包括；首先准备好可以在空中改变运动轨迹或者变换队形的无人机群。然后在固定相机中进行观察和图像采集，采用预设帧率，如30帧/秒，对运动无人机群进行拍摄，获取运动无人机群的初始图像序列集，帧率的选择对于不同速度的运动相应有差异。在初始图像序列集中的相邻帧图像之间的位移大于1个像素时，提高所述预设帧率，采用提高后的预设帧率获取新的初始图像序列集，直至初始图像序列集中的相邻帧图像满足相邻帧亚像素位移。图3为图像采集中序列图像之中的一张原始低分辨率图像的示意图，如图3所示，完成图像采集后便得到一组大视场包含整个无人机群的低分辨率图像序列，并且相邻帧之间无人机只具有微小的位移。最后进行图像处理部分。图4为图像采集中序列图像之中的一张原始低分辨率图像的分块图像和其超分辨结果小块图像的对比图的示意图。将得到的图像序列中的每一张图像进行同等分块，同一张图像中分块大小可以不同但应保证在序列图像的每一张中分块方式相同。分块的标准是使得每一小块不能包含两架及两架以上无人机的部分结构，如30﹡30像素的小块，如图4左侧所示，若满足分块标准，则进入图像处理流程；若不满足分块标准，则调整分块大小重新进行分块，直至每一小块不包含两架及两架以上无人机的部分结构。对于提取出每一小块的所有序列图像，先利用梯度位移估计算法对其相邻帧之间的位移进行估计，再利用序列中相邻帧的亚像素位移对该序列进行像素超分辨图像处理，由一个图像序列得到恢复的高分辨率小块，也称融合块，如图4右侧所示。图5为图像处理中拼接得到的大视场高分辨率的恢复图像的示意图。运用图像拼接算法将所有的恢复得到的小块高分辨率图像拼接起来，得到完整的整幅高分辨率图像，如图5所示。本专利技术提出了一种可以用于运动无人机群超分辨成像的方法，这种方法能够同时实现大视场和高分辨率的运动目标物体成像，并且便于操作、成像速度高。根据本专利技术，在地面或者空中用固定相机观察并拍摄空中运动的无人机群，调焦使得视场可以覆盖整个无人机群，可以观察到无人机群在视场中变换队形和运动轨迹。通过连续快速拍摄一序列图像来记录无人机群在一本文档来自技高网...

【技术保护点】
1.一种针对运动无人机群的超分辨成像方法，其特征在于，包括：/n获取运动无人机群的图像序列集，所述图像序列集的帧率满足相邻帧亚像素位移；/n采用相同的分块方式，将所述图像序列集中的每一帧图像进行分块，得到多个块的序列，每个所述块中仅包含一架无人机或一架无人机的部分结构；/n对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块；/n根据各所述融合块，得到运动无人机群的超分辨成像。/n

【技术特征摘要】
1.一种针对运动无人机群的超分辨成像方法，其特征在于，包括：
获取运动无人机群的图像序列集，所述图像序列集的帧率满足相邻帧亚像素位移；
采用相同的分块方式，将所述图像序列集中的每一帧图像进行分块，得到多个块的序列，每个所述块中仅包含一架无人机或一架无人机的部分结构；
对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块；
根据各所述融合块，得到运动无人机群的超分辨成像。


2.根据权利要求1所述的方法，其特征在于，所述获取运动无人机群的图像序列集，包括：
采用预设帧率对运动无人机群进行拍摄，获取运动无人机群的初始图像序列集；
在初始图像序列集中的相邻帧图像之间的位移大于1个像素时，提高所述预设帧率，采用提高后的预设帧率获取新的初始图像序列集，直至初始图像序列集中的相邻帧图像满足相邻帧亚像素位移。


3.根据权利要求1所述的方法，其特征在于，所述对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块，包括：
对每个块的序列进行位移估计，得到每个块的序列中每两个相邻块之间的位移估计结果；
根据每个块的序列以及对应的位移估计结果，对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块。


4.根据权利要求1所述的方法，其特征在于，所述根据各所述融合块，得到运动无人机群的超分辨成像，包括：
根据各所述融合块对应的块在图像序列集中的图像中的位置，采用图像拼接算法将各所述融合...

【专利技术属性】
技术研发人员：姚垚，贾利勇，任远春，
申请(专利权)人：中国航空工业集团公司西安飞机设计研究所，
类型：发明
国别省市：陕西;61