一种视频卫星成像在轨实时稳像方法及系统技术方案

本发明专利技术提供了一种视频卫星成像在轨实时稳像方法及系统，包括设定第一帧为参考帧影像，序列帧为待匹配影像；基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；根据参考帧和运动补偿后的序列帧生成卫星视频流。本发明专利技术能够将卫星视频影像进行稳像，消除卫星视频影像间的抖动，生成流畅的卫星视频影像，该技术方案降低了内存需求，提高了运行效率，可靠性好，能够满足在轨稳像需求。

【技术实现步骤摘要】
一种视频卫星成像在轨实时稳像方法及系统
本专利技术属于航天遥感影像处理领域，涉及到一种低内存、高效率、高可靠性的特征匹配运动估计和基于GPU运动补偿的视频卫星成像在轨实时稳像方法及系统。
技术介绍
视频卫星是一种新型对地观测卫星，与传统的对地观测卫星相比，其最大的特点是可以对某一区域进行“凝视”观测，以“视频录像”的方式获得比传统卫星更多的动态信息，特别适于观测动态目标，分析其瞬时特性。由于卫星传感器平台的运动，导致的序列视频影像之间存在抖动，影响运动目标监测、识别等应用，需要对其进行稳像，消除视频卫星影像间的随机抖动，保证视频的流畅性。在轨影像快速处理，能够减少爆炸式增长的遥感数据给数据下传链路与地面处理系统的巨大压力，节省从卫星数据生成到地面有效信息获取时间，减少信息获取时效性。由于在轨处理平台存在体积、功耗限制，在轨处理的计算能力有限，同时视频卫星影像宽幅较大，对计算内存的需求较大，影像间存在一定的视角差异、辐射差异，对快速稳像中运动估计造成困难。需要找到一种计算资源需求量小、速度较快、效率较高，同时具有较高可靠性的稳像方法。
技术实现思路
本专利技术解决了在轨视频卫星稳像处理中对可靠性和速度的需求，满足了在轨视频快速、可靠的稳像处理需求。本专利技术技术方案提供一种视频卫星成像在轨实时稳像方法，包括以下步骤：步骤1，数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；步骤2，基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，得到序列帧与参考帧之间的同名匹配点，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据影像间的粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；步骤3，运动补偿，包括根据步骤2匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；步骤4，视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。而且，步骤2采用以下子步骤实现，步骤2.1，将参考帧影像进行分块，并建立影像间的粗几何关系；步骤2.2，对参考帧影像中每个影像块，分别进行以下处理，步骤2.2.1，块内进行瓦片细分，执行以下处理，步骤2.2.1.1，依次取该影像块内一个瓦片，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配，包括对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；步骤2.2.1.2，判断正确的匹配点数是否大于四个点，若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2,；若否则返回步骤2.2.2.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；步骤2.2.2，进行最小二乘匹配精化，得到匹配结果。而且，所述影像间的粗几何关系，提取方式为，在第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推。而且，步骤2中，块间采用基于openMP的多线程运算而且，步骤3中，采用基于GPU的快速运动几何校正。本专利技术还提供一种视频卫星成像在轨实时稳像系统，包括以下模块：第一模块，用于数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；第二模块，用于基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，得到序列帧与参考帧之间的同名匹配点，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据影像间的粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；第三模块，用于运动补偿，包括根据第二模块匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；第四模块，用于视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。而且，第二模块执行以下流程，步骤2.1，将参考帧影像进行分块，并建立影像间的粗几何关系；步骤2.2，对参考帧影像中每个影像块，分别进行以下处理，步骤2.2.1，块内进行瓦片细分，执行以下处理，步骤2.2.1.1，依次取该影像块内一个瓦片，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配，包括对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；步骤2.2.1.2，判断正确的匹配点数是否大于四个点，若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2,；若否则返回步骤2.2.2.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；步骤2.2.2，进行最小二乘匹配精化，得到匹配结果。而且，所述影像间的粗几何关系，提取方式为，在第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推。而且，第二模块中，块间采用基于openMP的多线程运算而且，第三模块中，采用基于GPU的快速运动几何校正。本专利技术提供的稳像技术方案，考虑到帧间影像连贯性的特点，提出了基于临近区域匹配的算法，能够对影像进行分块处理，降低内存需求，采用多线程匹配的方法，提高了匹配的效率，采用GPU快速几何校正，提高了运动补偿的效率，整个方案不仅考虑到了运行的内存需求和处理时间效率，同时考虑了结果的可靠性。附图说明图1为本专利技术实施例的示意图。图2为本专利技术实施例的影像分块及同名匹配块建立的示意图。图3为本专利技术实施例的基于临近区域匹配搜索的示意图。图4为本专利技术实施例的基于临近区域ORB特征匹配的运动估计的示意图。图5为本专利技术实施例的运动补偿示意图。具体实施方式本专利技术技术方案可采用计算机软件方式支持自动运行流程。以下结合附图和实施例详细说明本专利技术技术方案。本专利技术提出的方法主要包括以下设计：(1)数据准备：将首帧卫星影像视为参考影像，将序列卫星视频影像视为待配准影像。(2)运动估计：将待配准影像与参考影像进行多线程基于临近区域ORB特征匹配运动估计算法，得到同名点，直至所有序列帧处理完毕。(3)运动补偿：采用固定帧运动补偿算法，采用GPU快速投影校正。参见图1，本专利技术实施例提供一种快速、低内存、可靠的视频卫星成像在轨实时稳像方法，包括以下步骤：步骤1，数据准备，将首帧卫星影像视为参考影像，将后续的序列卫星视频影像中各帧分别视为待配准影像进行处理。实施例中，设定第一帧为参考帧影像，序列帧为待匹配影像。步骤2，序列帧运动估计，将待配准影像与参考影像进行多线程基于临近区域ORB特征匹配运动估计算法，得到同名点，直至所有序列帧处理完毕。本专利技术提出采用基于临近区域搜索的ORB(OrientationBrief)匹配算法。进一步地，影像匹配中需对参考帧进行分块处理。进一步地，根据帧间影像间的连贯性，本文档来自技高网...

【技术保护点】
一种视频卫星成像在轨实时稳像方法，其特征在于，包括以下步骤：步骤1，数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；步骤2，基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，得到序列帧与参考帧之间的同名匹配点，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据影像间的粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；步骤3，运动补偿，包括根据步骤2匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；步骤4，视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。

【技术特征摘要】
1.一种视频卫星成像在轨实时稳像方法，其特征在于，包括以下步骤：步骤1，数据准备，包括设定第一帧为参考帧影像，序列帧为待匹配影像；步骤2，基于临近区域ORB特征匹配的运动估计，对参考帧进行分块匹配处理，得到序列帧与参考帧之间的同名匹配点，包括依据序列影像间的连贯性，建立参考帧与序列帧之间的粗几何关系，依据影像间的粗几何关系建立同名匹配瓦片，采用基于临近区域搜索的ORB匹配方式进行匹配；步骤3，运动补偿，包括根据步骤2匹配所得同名点计算序列帧与参考帧之间的运动补偿参数，对序列帧影像进行运动补偿，投影到参考帧的坐标系中；步骤4，视频影像生成，包括根据参考帧和运动补偿后的序列帧生成卫星视频流。2.根据权利要求1所述一种视频卫星成像在轨实时稳像方法，其特征在于：步骤2采用以下子步骤实现，步骤2.1，将参考帧影像进行分块，并建立影像间的粗几何关系；步骤2.2，对参考帧影像中每个影像块，分别进行以下处理，步骤2.2.1，块内进行瓦片细分，执行以下处理，步骤2.2.1.1，依次取该影像块内一个瓦片，依据影像间的粗几何关系，在待匹配影像上建立同名匹配瓦片，对瓦片内部采用基于临近区域ORB特征匹配的方式进行匹配，包括对于参考帧影像上瓦片中的各特征点，分别在待匹配影像上同名匹配瓦片内以同样坐标为中心点半径为R的区域内搜索匹配点，匹配完成后进行误匹配点剔除；步骤2.2.1.2，判断正确的匹配点数是否大于四个点，若是则该瓦片得到匹配点，则该块成功匹配，进入步骤2.2.2,；若否则返回步骤2.2.2.1，采用从左到右从上到下的方式，在参考帧影像中该影像块内取下一个瓦片，在待匹配影像上建立同名匹配瓦片进行匹配，直到该块成功匹配；步骤2.2.2，进行最小二乘匹配精化，得到匹配结果。3.根据权利要求1或2所述一种视频卫星成像在轨实时稳像方法，其特征在于：所述影像间的粗几何关系，提取方式为，在第二帧与参考帧进行配准后，得到第二帧与参考帧的精几何关系，第三帧与参考帧进行配准时，第三帧与参考帧之间的粗几何关系根据第二帧与参考帧之间的精几何关系得到，依次类推。4.根据权利要求1或2所述一种视频卫星成像在轨实时稳像方法，其特征在于：步骤2中，块间采用基于openMP的多线程运算。5.根据权利要求1或2所述一种视频卫星成像在轨实时稳像方法，其特征在于：步骤3中，采用基于GPU的快速运动几何校正。6.一种视频卫...

【专利技术属性】
技术研发人员：王密，何鲁晓，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42