一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法技术

本发明专利技术公开了一种基于姿态信息约束的MAP‑MRF超分辨率图像重建方法，包括以下步骤：S1,建模与计算；S2，提取图像特征点；S3，建立图像序列的MAP‑MRF模型；S4，重建超分辨率：利用迭代重加权最小二乘方法进行模糊核估计，利用置信传播算法求解MRF最优解，完成超分辨率重建。本发明专利技术方法与传统超分辨率图像重建方法相比，增加了姿态信息约束，在图像之外提供了非冗余时空信息；采用MAP‑MRF模型更符合实际图像序列成像模型，可有效避免先验模型失配导致的误差，重建出的高分辨率图像更清晰，细节信息更突出，能有效的抑制噪声放大和改良观测矩阵奇异性问题。

A METHOD OF MAP-MRF SUPERRESOLUTION IMAGE RECONSTRUCTION BASED ON ATTITUDE INFORMATION CONSTRAINT

【技术实现步骤摘要】
一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法
本专利技术涉及超分辨率图像重建
，尤其涉及一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法。
技术介绍
数字光电成像系统在成像制导、工业检测、仿生机器人、航天遥感以及医疗检查等领域有着广泛的应用，获得对感兴趣目标的高分辨率图像是成像系统所追求的主要目标之一。由于CCD、CMOS等离散采样成像器件在成像过程中不可避免的存在欠采样效应，会造成获取的图像分辨率降低。图像超分辨率重建采用软件方法重建出由于欠采样导致的混叠于低频信号中的高频信号，从而获取高于系统分辨率的图像。超分辨率重建需要对多帧序列图像进行处理获取更多的信息，也称为多画幅超分辨率重建技术。最初的超分辨率重建方法包括非均匀内插算法、频谱外推法、逆滤波、维纳滤波、能量连续降减法、长椭球波函数等。然而，这些方法基于数学意义上的纯频谱分析，并不能有效的抑制噪声放大和改良观测矩阵奇异性问题。
技术实现思路
基于
技术介绍
存在的技术问题，本专利技术提出了一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法。本专利技术提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法，包括以下步骤：S1，建模与计算：准备图像重建所需数据，包括低分辨率图像序列和对应的卫星平台姿态信息，基于姿态信息求解姿态变化模型和序列图像的像移模型，计算图像之间的运动矢量；S2，提取图像特征点：采用SIFT算法提取图像特征点，结合图像移限定判别阈值，去除误配点，基于特征点进行图像配准；S3，建立图像序列的MAP-MRF模型：建立图像序列的MAP-MRF模型，将超分辨率图像重建转化为求解最大后验概率问题；S4，重建超分辨率：利用迭代重加权最小二乘方法进行模糊核估计，利用置信传播算法求解MRF最优解，完成超分辨率重建；优选地，图像重建所需数据要求如下：低分辨率图像大小相等，序列数量不少于20帧，每帧图像都有对应的卫星平台姿态信息，包括俯仰角、侧滚角和偏航角。优选地，对姿态随时间变化，提出采用多频率正弦信号组合模型进行拟合，以x方向为例：其中，f(Px)表示x轴姿态信息拟合成的光滑曲线，A为颤振扰动幅值，pi为第i阶颤振频率，表示初相位，可当作[0，2π]范围内均匀分布的随机变量，Δ为随时间的随机分布变量。优选地，在提取图像特征点进行图像配准时，以图像像移为约束去除误配点，提高配准精度。优选地，利用置信传播算法求解MRF最优解，求解过程结合图像运动矢量与模糊核。本专利技术的有益效果为：本方法与传统超分辨率图像重建方法相比，增加了姿态信息约束，在图像之外提供了非冗余时空信息；采用MAP-MRF模型更符合实际图像序列成像模型，可有效避免先验模型失配导致的误差，重建出的高分辨率图像更清晰，细节信息更突出，能有效的抑制噪声放大和改良观测矩阵奇异性问题。附图说明图1为本专利技术提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的图像超分辨率算法思路流程图；图2为本专利技术提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的卫星姿态角示意图；图3为本专利技术提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的侧滚像移示意图；图4为本专利技术提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的SIFT特征点检测提取流程图；图5为本专利技术提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的序列图像超分辨率重建详细步骤流程图。具体实施方式下面将结合公式和附图对本专利技术作进一步的详细介绍。本专利技术提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法，如图5所示，为本专利技术提供的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法，包括以下步骤：S1，对侧滚、俯仰和偏航三个方向的姿态信息变化规律进行建模：由于三轴姿态变化均在某一常数附近波动，而且是有界的，姿态数据符合平稳时间序列特征。将多帧图像的俯仰信息表示为不同频率的正弦(或余弦)波信号的叠加：其中，f(Px)表示x轴姿态信息拟合成的光滑曲线，A为颤振扰动幅值；pi为第i阶颤振频率；表示初相位，可当作[0，2π]范围内均匀分布的随机变量，Δ为随时间的随机分布变量。沿y轴和z轴方向的姿态信息也按照上式建模。然后根据实际采样姿态信息求解振幅、频率和相位参数。首先对姿态信息进行傅里叶变化，找出幅值频谱的最大峰值，通过对应的振幅、频率、相位信息得到一级信号，然后将原始信息减去一级分量，将残余信号进行FFT变化，重复上述步骤，找出次级信号。迭代上述过程直至残余信号幅值小于设定阈值(小于一级信号幅值的1％)，此时剩余量对组合信号影响小，可视为小随机扰动。初步假定原始信号由6个不同的正弦信号组合而成。在有较大频谱混叠的情况下，无法进行有效分离，因此可采用频率域方法先大致确定谐振分量的频率信息，包括分量个数和各自的初始频率位置。然后在时间域上采用最小二乘方法，获取更精确的分量参数。采用最小二乘方法求解下式，获得拟合结果基于求解出的姿态模型，计算图像序列像移。俯仰角和偏航角对像移影响较大，主要考虑这两个方向姿态的影响，以图2中对坐标系的定义，假设卫星轨道高度为H，图像空间分辨率为S，相机像元尺寸为p，相机物方焦距为f。在某一时刻ti侧滚角和俯仰角分别为α(ti)和β(ti)。像面上侧滚角变化造成像移量Δx为：式中：i≠k表示两个不同成像时刻，Δxi，k表示i和k两个不同时刻的像移量，同理可得俯仰角变化造成的像移量Δy为：根据像移计算图像序列的运动矢量和融合权重系数。将k时刻附近多帧图像的像移(Δx，Δy)用向量表示。不同图像直接的运动矢量可以由相邻图像之间运动矢量和通过向量相加得到相邻图像帧间运动矢量沿图像序列运动矢量的投影可以用于表征像素之间的时空近邻程度，用于数据融合时提取权重系数：矢量之间的夹角可以用于表征三维邻域系统中像素点之间空间邻近程度，包括方位角和高度角：S2，提取图像特征点，结合图像移限定判别阈值，去除误配点：具体步骤为：先利用SIFT算法提取特征点，流程见图4。结合图像序列的位移计算邻域内可能出现的DN值范围，对满足式(8)的匹配点对成为主要的候选匹配特征点对记为集合U，不满足式(8)的匹配点对组成次要的候选匹配点对记为集合U补：τminDNmax＜DN(i，j)＜τmaxDNmax式中：DN(i，j)表示图像f(x，y)上(i，j)点的DN值，DNmax表示图像f(x，y)DN值的最大值，τmax和τmin取值范围均为[0，1]分别表示筛选点对的最大阈值比率和最小阈值比率，该值可根据实际情况选择，例如取0.7和0.3，旨在让候选匹配特征点对区分为分布在普通地物区域和U分布在高DN值的云上和低DN值的海浪和草地上U补。然后比较特征向量的距离，并使用最近邻距离算法(NN)进行匹配。设定一个阈值th，如果距离比值小于阈值th，那么认为特征点匹配。数学表达如下式所示：式中：Li和Mj分别表示两幅图像的特征向量，则计算两点特征向量的距离公式为：则距离比值：再基于特征点进行图像配准：假设由步骤4提取出了N对特征点对，基于这N对特征点对求取一个最优的仿射变换矩阵T，变换矩阵有6个未知参数，因此确定变换矩阵T最少需要n(n＝3)对匹配点，且任意3个点本文档来自技高网...

【技术保护点】
1.一种基于姿态信息约束的MAP‑MRF超分辨率图像重建方法，其特征在于，包括以下步骤：S1，建模与计算：准备图像重建所需数据，包括低分辨率图像序列和对应的卫星平台姿态信息，基于姿态信息求解姿态变化模型和序列图像的像移模型，计算图像之间的运动矢量；S2，提取图像特征点：采用SIFT算法提取图像特征点，结合图像移限定判别阈值，去除误配点，基于特征点进行图像配准；S3，建立图像序列的MAP‑MRF模型：建立图像序列的MAP‑MRF模型，将超分辨率图像重建转化为求解最大后验概率问题；S4，重建超分辨率：利用迭代重加权最小二乘方法进行模糊核估计，利用置信传播算法求解MRF最优解，完成超分辨率重建。

【技术特征摘要】
1.一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法，其特征在于，包括以下步骤：S1，建模与计算：准备图像重建所需数据，包括低分辨率图像序列和对应的卫星平台姿态信息，基于姿态信息求解姿态变化模型和序列图像的像移模型，计算图像之间的运动矢量；S2，提取图像特征点：采用SIFT算法提取图像特征点，结合图像移限定判别阈值，去除误配点，基于特征点进行图像配准；S3，建立图像序列的MAP-MRF模型：建立图像序列的MAP-MRF模型，将超分辨率图像重建转化为求解最大后验概率问题；S4，重建超分辨率：利用迭代重加权最小二乘方法进行模糊核估计，利用置信传播算法求解MRF最优解，完成超分辨率重建。2.根据权利要求1所述的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法，其特征在于，图像重建所需数据要求如下：低分辨率图像大小相等，序列数量...

【专利技术属性】
技术研发人员：高昆，朱振宇，张廷华，韩璐，豆泽阳，周颖婕，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11