超分辨率图像重建方法和计算机设备技术

本发明专利技术涉及图像处理技术领域，特别是涉及超分辨率图像重建方法和计算机设备，其中，该方法包括：图像分割步骤，获取多帧待处理图像并对其进行配准后分割出目标图像块；显著图获取步骤，将目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化目标图像块，得到多张显著图；图像插值重建步骤，基于显著图对目标图像块进行插值重建；图像融合步骤，获取插值重建后多张目标图像块，采用小波变换对图像进行分解及融合并通过预设的低频融合规则、高频融合规则优化图像，得到融合后的超分辨率图像。通过本发明专利技术解决了在夜晚条件下红外相机分辨率低、识别精确不高的问题，实现兼顾运行速度与重建精度的超分辨率图像重建。度与重建精度的超分辨率图像重建。度与重建精度的超分辨率图像重建。

【技术实现步骤摘要】
超分辨率图像重建方法和计算机设备


[0001]本专利技术涉及图像处理
，特别是涉及超分辨率图像重建方法和计算机设备。

技术介绍

[0002]智能车牌识别系统，是智能交通系统的重要组成部分，在车辆管理、道路监控、卡口应用中发挥着重要的作用。其中，车牌识别技术要求能够将运动中的汽车牌照从复杂背景中提取并识别出来，通过车牌提取、图像预处理、特征提取、车牌字符识别等技术，识别车辆牌号、颜色等信息。红外相机因其可将光污染降低到最大限度，人眼对红外光的刺激感几乎为零的优势，在智能交通系统中应用广泛。但由于红外相机自身硬件及所应用场景的原因，拍摄图像的分辨率、对比度严重不足，车牌中字体不能被准确提取，导致车牌识别率偏低的现象。
[0003]为了提高图像质量，现有方法中，通过对单张或多张图像进行线性或非线性插值算法完成超分辨率重建，其中单张图像提供的信息较为有限，导致重建出的图像准确性不高；也有基于多图像的线性插值方案，但重建得到的图像在数字边缘处出现模糊与伪影现象无法被准确识别。因此，基于多图像的非线性插值方法，对图像整体效果较好，但是边缘轮廓等细节信息丢失严重。另外，也有使用基于深度学习的超分辨率重建方法对图像进行处理得方案，可以获得更高质量图像，但是计算复杂、耗费时间长不适用于实时处理，因此，应用到智能交通系统成本较高。

技术实现思路

[0004]本专利技术实施例提供了一种超分辨率图像重建方法和计算机设备，兼顾运行速度与重建精度，同时利用多帧图像信息融合消除因运动模糊、遮挡带来的信息缺失，来实现图像的超分辨率重建。
[0005]第一方面，本专利技术实施例提供了一种超分辨率图像重建方法，包括：图像分割步骤，获取多帧待处理图像，对多帧待处理图像进行配准后分割出所述待处理图像中的目标图像块；显著图获取步骤，将所述目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化所述目标图像块，得到多张显著图；图像插值重建步骤，将所述显著图作为引导图，基于所述显著图的引导信息对所述目标图像块进行插值重建，所述目标图像块的平坦区域采用双线性插值法进行插值重建，边缘区域采用改进NEDI算法进行插值重建，其中，所述改进NEDI算法的权重系数为通过迭代优化求取得到；该过程可以表示为：；
其中，BI为双线性插值，inf
‑
NEDI为改进后的NEDI，是显著图中坐标上的灰度值，为梯度变化阈值。其中，双线性插值算法是通过插值像素周边四个像素加权求得，NEDI算法的基本原理是先计算低分辨率图像各像素的局部协方差系数，之后利用低分辨率图像与高分辨率图像的协方差对偶性来计算得到高分辨率图像要插值的点。
[0006]图像融合步骤，获取插值重建后多张所述目标图像块，采用小波变换对图像进行分解及融合，并通过预设的低频融合规则、高频融合规则优化图像的平坦区域、边缘区域，得到融合后的超分辨率图像。
[0007]在其中一些实施例中，考虑到在摄像机成像系统中，由于存在镜头畸变，获得的图像坐标存在一定的误差，所述图像分割步骤中，包括获取多张待处理图像后，根据畸变补偿公式进行纠正，畸变补偿公式表示为如下公式：；其中，是图像的实际坐标，u为补偿之后的坐标，、分别是图像的一阶、二阶径向畸变补偿系数，q为像素点与像面主点之间的距离，以减少畸变对图像配准的影响。
[0008]在其中一些实施例中，所述图像分割步骤进一步包括：目标区域获取步骤，在所述多帧待处理图像中确定基准图像及多张待配准图像，分割提取所述基准图像中目标区域ROI（Region Of Interesting），也即基准图像中目标物体所在的区域；候选匹配特征点集获取步骤，利用SIFT匹配算法（Scale
‑
Invariant Feature Transform）从不同尺度对目标区域ROI进行特征点初匹配，得到个候选匹配特征点以构成候选匹配特征点集，用于表示图像i与图像j之间的候选匹配特征点集；其中，。
[0009]目标图像块分割步骤，基于候选匹配特征点集构建特征点筛选器，将多个所述待配准图像的特征点坐标值利用图像转换模型计算得到多个单应性矩阵H，从而基于所述特征点筛选器和所述单应性矩阵H在所述待处理图像中分割出目标图像块。
[0010]基于如上步骤，通过SIFT匹配算法及单应性矩阵对图像进行有效配准，以建立基准图像与待配准图像之间的映射关系，可保证多帧图像的空间一致性。
[0011]在其中一些实施例中，所述目标图像块分割步骤中，所述特征点筛选器通过如下计算模型计算得到：；其中，L为待处理图像分割的子区域数量，k为迭代次数，为计算第k次
迭代循环第m个子区域中特征点的数量，为第k次迭代中最大的子特征区域，为对进行重新SIFT特征点匹配，用于表示对的特征点按精度进行排序并选择个特征点的过程，为向下取整，为除中匹配的特征点之外的特征点，为设定的特征点数量阈值，。
[0012]基于如上表达的特征点筛选器可以确保各图像对应特征点均匀分布，同时减少特征点聚集，提高图像转换的精度。
[0013]在其中一些实施例中，所述图像转换模型表示为如下计算模型：其中，其中，、、为特征点坐标值，单应性矩阵H表示为：其中，、、、、、、、、为单应性矩阵的矩阵参数。
[0014]基于上述步骤，本专利技术实施例针对红外成像质量问题，基于多图像边缘对比度引导进行超分辨率重建，通过将多张图像配准融合以补全模糊区域，并获得精度较高的边缘信息。
[0015]在其中一些实施例中，所述显著图获取步骤中，所述显著图基于如下各向异性扩散计算模型计算得到：；其中，用于表示各向异性扩散滤波函数，为输入计算模型的图像块，为各向异性的程度，当时为各项同性，随着增大，各项异性程度增强，r为滤波半径，C为各方向上的扩散矩阵，为滤波系数。
[0016]基于如上计算模型，利用各向异性扩散在特征细节丰富区域减速扩散，在细节较少区域加速扩散，以保证在沿着边缘方向扩散的多，跨边缘扩散的少。
[0017]在其中一些实施例中，所述改进NEDI算法中，对每一个像素点(2i+1,2j+1)通过最陡梯度法迭代获得最优的插值系数。
[0018]在其中一些实施例中，所述图像融合步骤中利用Mallat快速算法对图像进行分解融合，Mallat快速算法的分解算法通过如下计算模型执行：
；其中，为图像低频信息，为图像高频垂直方向的信息，为图像高频水平方向的信息，为图像高频对角方向的信息，、分别为镜像共轭滤波器H和G作用在图像的列上，、分别为镜像共轭滤波器H和G作用在图像的列上；Mallat快速算法的重构算法通过如下计算模型执行：。
[0019]在其中一些实施例中，所述低频融合规则中，融合的图像低频信息表示为：；其中，C
n
为不同图像的低频分量，PLS
n
为归一化权重参数，n为图像序号，PLS
n
是基于相位一致性PC(x,y)、局部对比度SLCM(x,y)、局部拉普拉斯能量SML(x,y)计算得到的。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超分辨率图像重建方法，其特征在于，包括：图像分割步骤，获取多帧待处理图像，对多帧待处理图像进行配准后分割出所述待处理图像中的目标图像块；显著图获取步骤，将所述目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化所述目标图像块，得到多张显著图；图像插值重建步骤，基于所述显著图对所述目标图像块进行插值重建，所述目标图像块的平坦区域采用双线性插值法进行插值重建，边缘区域采用改进NEDI算法进行插值重建，其中，所述改进NEDI算法的权重系数为通过迭代优化求取得到；图像融合步骤，获取插值重建后多张所述目标图像块，采用小波变换对图像进行分解及融合，并通过预设的低频融合规则、高频融合规则优化图像的平坦区域、边缘区域，得到融合后的超分辨率图像。2.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述图像分割步骤进一步包括：目标区域获取步骤，在所述多帧待处理图像中确定基准图像及多张待配准图像，分割提取所述基准图像中目标区域ROI；候选匹配特征点集获取步骤，利用SIFT匹配算法对目标区域ROI进行特征点初匹配，得到个候选匹配特征点以构成候选匹配特征点集；目标图像块分割步骤，基于候选匹配特征点集构建特征点筛选器，将多个所述待配准图像的特征点坐标值利用图像转换模型计算得到多个单应性矩阵H，从而基于所述特征点筛选器和所述单应性矩阵H在所述待处理图像中分割出目标图像块。3.根据权利要求2所述的超分辨率图像重建方法，其特征在于，所述目标图像块分割步骤中，所述特征点筛选器通过如下计算模型计算得到：其中，L为待处理图像分割的子区域数量，k为迭代次数，为计算第k次迭代循环第m个子区域中特征点的数量，为第k次迭代中最大的子特征区域，为对进行重新SIFT特征点匹配，用于表示对的特征点按精度进行排序并选择个特征点的过程，为向下取整，为除中匹配的特征点之外的特征点，为设定的特征点数量阈值，。
4.根据权利要求3所述的超分辨率图像重建方法，其特征在于，所述图像转换模型表示为如下计算模型：；其中，其中，、...

【专利技术属性】
技术研发人员：王晓敏，王闯，孙振东，陈辉，郑舟，孔旭，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：