The embodiment of the invention discloses an image super-resolution reconstruction method, device and system, which comprises: obtaining a multi-frame image to be processed, selecting a frame image from a multi-frame image as a reference frame image, obtaining and obtaining the corresponding image transformation parameters of the remaining frames according to the device jitter information and device parameters. According to the image transformation parameters, the other frames are calibrated according to the reference frame image, and the target images corresponding to the other frames are obtained. The reference frame images and the target images are reconstructed to obtain the super-resolution images corresponding to the multi-frame images. In this scheme, only according to the image transformation parameters, the reference frame image is taken as the benchmark to calibrate the image. The calculation process is simple and the amount of calculation is very small, which reduces the time required for image calibration.
【技术实现步骤摘要】
一种图像超分辨率重构方法、装置及系统
本专利技术涉及图像处理
，特别是涉及一种图像超分辨率重构方法、装置及系统。
技术介绍
超分辨率图像含有的像素密度高，能够提供丰富的细节信息，可以对客观场景提供准确细致的描述。随着经济、科技的不断进步，超分辨率图像的需求非常广泛，例如在视频安全监控、航拍侦查等领域都有重要作用。但是，由于相机成像系统及传感器元件尺寸的限制，以及成像环境及物体运动等因素的影响，获取的数字图像不可避免地存在一定的降质或退化，常常不能满足侦察、监控等方面的需求，想要获得真正的超分辨率图像是相当困难的。理论上，提高图像分辨率最直接的方法是提高传感器密度，增加成像系统的数量。这种方法虽然效果好，但是在硬件方面存在技术瓶颈，而且成本昂贵，难以得到普及应用。因此，采用信号处理技术提高图像分辨率成为目前最为重要的获得超分辨率图像的方法。其中，图像超分辨率重构技术应用非常广泛，它是将一帧低分辨率图像或多帧低分辨率图像进行处理，重构得到一帧超分辨率图像的一种图像处理技术。现有的通过多帧低分辨率图像获得超分辨率图像的超分辨率重构方法一般包括两个过程，即图像配准和图像重构。其中，图像配准过程中需要提取多帧低分辨率图像中的特征点，通过进行相似性度量找到匹配的特征点对，然后通过匹配的特征点对估计多帧低分辨率图像之间亚像素级别的相对位移，进而得到图像空间坐标变换参数，最后由图像空间坐标变换参数对多帧低分辨率图像进行图像校准。图像重构过程中，将图像配准后的多帧低分辨率图像重构为一帧超分辨率图像。可见，上述图像配准过程复杂繁琐，计算量很大，图像配准过程所需时间较长。...
【技术保护点】
1.一种图像超分辨率重构方法，其特征在于，所述方法包括：获得待处理的多帧图像，并从所述多帧图像中选择一帧图像作为参考帧图像；获取并根据设备抖动信息及设备参数，得到其余各帧图像分别对应的图像变换参数，其中，所述图像变换参数为：以所述参考帧图像为基准，校准图像像素点之间的位置关系时所需的校准参数；根据所述图像变换参数，以所述参考帧图像为基准，对所述其余各帧图像进行校准处理，得到其余各帧图像分别对应的目标图像；将所述参考帧图像及各帧目标图像进行图像重构，得到所述多帧图像对应的超分辨率图像。
【技术特征摘要】
1.一种图像超分辨率重构方法，其特征在于，所述方法包括：获得待处理的多帧图像，并从所述多帧图像中选择一帧图像作为参考帧图像；获取并根据设备抖动信息及设备参数，得到其余各帧图像分别对应的图像变换参数，其中，所述图像变换参数为：以所述参考帧图像为基准，校准图像像素点之间的位置关系时所需的校准参数；根据所述图像变换参数，以所述参考帧图像为基准，对所述其余各帧图像进行校准处理，得到其余各帧图像分别对应的目标图像；将所述参考帧图像及各帧目标图像进行图像重构，得到所述多帧图像对应的超分辨率图像。2.如权利要求1所述的方法，其特征在于，所述设备抖动信息包括：俯仰角变化量、倾斜角变化量及旋转角变化量，所述设备参数包括：焦距、图像分辨率、成像面高度及成像面宽度；所述图像变换参数包括：竖直变换参数、水平变换参数及旋转变换参数；所述获取并根据所述设备抖动信息及所述设备参数，得到其余各帧图像分别对应的图像变换参数的步骤，包括：获取采集所述多帧图像时的俯仰角、旋转角及倾斜角；根据采集所述参考帧图像时的俯仰角及采集所述其余各帧图像时的俯仰角，计算采集所述其余各帧图像时的俯仰角变化量，并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度，计算所述其余各帧图像的竖直变换参数；根据采集所述参考帧图像时的旋转角及采集所述其余各帧图像时的旋转角，计算采集所述其余各帧图像时的旋转角变化量，并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度，计算所述其余各帧图像的水平变换参数；根据采集所述参考帧图像时的倾斜角及采集所述其余各帧图像时的倾斜角，计算采集所述其余各帧图像时的倾斜角变化量，并根据所述倾斜角变化量，计算所述其余各帧图像的旋转变换参数。3.如权利要求2所述的方法，其特征在于，所述根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度，计算所述其余各帧图像的竖直变换参数步骤，包括：利用公式：计算所述其余各帧图像的竖直变换参数；所述根据所述旋转角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度，计算所述其余各帧图像的竖直变换参数的步骤，包括：利用公式：计算所述其余各帧图像的水平变换参数；所述根据所述倾斜角变化量，计算所述其余各帧图像的旋转变换参数的步骤，包括：利用公式：αi＝∠Ci-∠C0计算所述其余各帧图像的旋转变换参数；其中，dveri为其余各帧图像中的图像i的竖直变换参数，dhori为图像i的水平变换参数，αi为图像i的旋转变换参数，r为所述焦距，∠Ai-∠A0为采集图像i时的俯仰角变化量，∠A0为采集所述参考帧图像时的俯仰角，∠Ai为采集图像i时的俯仰角，i∈[1，N]，N为所述其余各帧图像的数量，Him为所述图像分辨率的垂直像素数，Wim为所述图像分辨率的水平像素数，Hsensor为所述成像面高度，Wsensor为所述成像面宽度，∠Bi-∠B0为采集图像i时的旋转角变化量，∠B0为采集所述参考帧图像时的旋转角，∠Bi为采集其余图像i时的旋转角，∠Ci-∠C0为采集图像i时的倾斜角变化量，∠C0为采集所述参考帧图像时的倾斜角，∠Ci为采集其余图像i时的倾斜角。4.如权利要求1所述的方法，其特征在于，所述设备抖动信息包括：俯仰角变化量、倾斜角变化量及旋转角变化量；所述设备参数包括：焦距、图像分辨率、成像面高度及成像面宽度；所述图像变换参数包括：竖直变换参数、水平变换参数及旋转变换参数；所述获取并根据所述设备抖动信息及所述设备参数，得到其余各帧图像分别对应的图像变换参数的步骤之前，所述方法还包括：根据采集所述多帧图像的时间信息，计算所述参考帧图像与其余各帧图像的采集时间差；所述获取并根据所述设备抖动信息及所述设备参数，得到其余各帧图像分别对应的图像变换参数的步骤，包括：获取采集所述多帧图像时的俯仰角角速度、旋转角角速度及倾斜角角速度；根据采集所述参考帧图像时的俯仰角角速度、采集所述其余各帧图像时的俯仰角角速度及所述采集时间差，计算采集所述其余各帧图像时的俯仰角变化量，并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度，计算所述其余各帧图像的竖直变换参数；根据采集所述参考帧图像时的旋转角角速度、采集所述其余各帧图像时的旋转角角速度及所述采集时间差，计算采集所述其余各帧图像时的旋转角变化量，并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度，计算所述其余各帧图像的水平变换参数；根据采集所述参考帧图像时的倾斜角角速度、采集所述其余各帧图像时的倾斜角角速度及所述采集时间差，计算采集所述其余各帧图像时的倾斜角变化量，并根据所述倾斜角变化量，计算所述其余各帧图像的旋转变换参数。5.如权利要求4所述的方法，其特征在于，所述根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度，计算所述其余各帧图像的竖直变换参数的步骤，包括：利用公式：计算所述其余各帧图像的竖直变换参数；所述根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度，计算所述其余各帧图像的水平变换参数的步骤，包括：利用公式：计算所述其余各帧图像的水平变换参数；所述根据所述倾斜角变化量，计算所述其余各帧图像的旋转变换参数的步骤，包括：利用公式：计算所述其余各帧图像的旋转变换参数；其中，dveri为其余各帧图像中的图像i的竖直变换参数，dhori为图像i的水平变换参数，αi为图像i的旋转变换参数，r为所述焦距，为采集图像i时的俯仰角变化量，ω0pitch为采集所述参考帧图像时的俯仰角角速度，ωipitch为采集图像i时的俯仰角角速度，i∈[1，N]，N为所述其余各帧图像的数量，ti为图像i与所述参考帧图像的采集时间差，Him为所述图像分辨率的垂直像素数，Wim为所述图像分辨率的水平像素数，Hsensor为所述成像面高度，Wsensor为所述成像面宽度，为采集图像i时的旋转角变化量，ω0yaw为采集所述参考帧图像时的旋转角角速度，ωiyaw为采集其余图像i时的旋转角角速度，为采集图像i时的倾斜角变化量，ω0roll为采集所述参考帧图像时的倾斜角角速度，ωiroll为采集其余图像i时的倾斜角角速度。6.如权利要求1所述的方法，其特征在于，所述根据所述图像变换参数，以所述参考帧图像为基准，对所述其余各帧图像进行校准处理，得到其余各帧图像分别对应的目标图像的步骤，包括：利用所述图像变换参数，对所述其余各帧图像的像素点坐标进行对齐变换处理，得到其余各帧图像分别对应的目标图像的像素点坐标。7.如权利要求6所述的方法，其特征在于，所述利用所述图像变换参数，对其余各帧图像的像素点坐标进行对齐变换处理，得到其余各帧图像分别对应的目标图像的像素点坐标步骤，包括：利用公式：计算所述其余各帧图像分别对应的目标图像的像素点坐标；其中，(xi，yi)为图像i所对应的目标图像的像素点坐标，(wi，zi)为图像i的像素点坐标。8.如权利要求1所述的方法，其特征在于，所述将所述参考帧图像及各目标图像进行图像重构，得到所述多帧图像对应的超分辨率图像的步骤，包括：将所述参考帧图像及各目标图像进行放大处理；通过预先训练得到的目标卷积神经网络对放大处理后的图像进行图像重构，得到所述多帧图像对应的超分辨率图像，其中，所述目标卷积神经网络为预先训练的用于重构放大处理后的图像的卷积神经网络。9.如权利要求8所述的方法，其特征在于，所述目标卷积神经网络的训练方式，包括：构建包括多个滤波器的初始卷积神经网络；获得多组图像，每组图像包括多帧初始图像，并从所述多帧初始图像中选择一帧作为本组图像的真值图像样本；以所对应的真值图像样本为基准，对每组图像中的所述多帧初始图像进行校准处理，并对校准处理后的多帧初始图像进行下采样处理，得到下采样处理后的多帧初始图像；对所述下采样处理后的多帧初始图像进行放大处理，得到多帧目标图像样本，其中，所述多帧目标图像样本及所述真值图像样本为用于训练卷积神经网络的图像训练样本；将所述图像训练样本输入所述初始卷积神经网络进行训练；当所述多帧目标图像样本对应的输出结果与相应的真值图像样本的平均差异值小于预设值时，完成训练，得到所述目标卷积神经网络。10.如权利要求1-9任一项所述的方法，其特征在于，所述多帧图像为Bayer格式的图像。11.一种图像超分辨率重构装置，其特征在于，所述装置包括：图像获取模块，用于获得待处理的多帧图像，并从所述多帧图像中选择一帧图像作为参考帧图像；图像变换参数计算模块，用于获取并根据设备抖动信息及设备参数，得到其余各帧图像分别对应的图像变换参数，其中，所述图像变换参数为：以所述参考帧图像为基准，校准图像像素点之间的位置关系时所需的校准参数；图像校准模块，用于根据所述图像变换参数，以所述参考帧图像为基准，对其余各帧图像进行校准处理，得到其余各帧图像分别对应的目标图像；图像重构模块，用于将所述参考帧图像及各帧目标图像进行图像重构，得到所述多帧图像对应的超分辨率图像。12.如权利要求11所述的装置，其特征在于，所述设备抖动信息包括：俯仰角变化量、倾斜角变化量及旋转角变化量，所述设备参数包括：焦距、图像分辨率、成像面高度及成像面宽度；所述图像变换参数包括：竖直变换参数、水平变换参数及旋转变换参数；所述图像变换参数计算模块包括：第一获取单元，用于获取采集所述多帧图像时的俯仰角、旋转角及倾斜角；第一竖直变换参数计算单元，用于根据采集所述参考帧图像时的俯仰角及采集所述其余各帧图像时的俯仰角，计算采集所述其余各帧图像时的俯仰角变化量，并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度，计算所述其余各帧图像的竖直变换参数；第一水平变换参数计算单元，用于根据采集所述参考帧图像时的旋转角及采集所述其余各帧图像时的旋转角，计算采集所述其余各帧图像时的旋转角变化量，并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度，计算所述其余各帧图像的水平变换参数；第一旋转变换参数计算单元，用于根据采集所述参考帧图像时的倾斜角及采集所述其余各帧图像时的倾斜角，计算采集所述其余各帧图像时的倾斜角变化量，并根据所述倾斜角变化量，计算所述其余各帧图像的旋转变换参数。13.如权利要求12所述的装置，其特征在于，所述第一竖直变换参数计算单元包括：第一竖直变换参数计算子单元，用于利用公式：计算所述其余各帧图像的竖直变换参数；所述第一水平变换参数计算单元包括：第一竖直变换参数计算子单元，用于利用公式：计算所述其余各帧图像的水平变换参数；所述第一旋转变换参数计算单元包括：第一旋转变换参数计算子单元，用于利用公式：αi＝∠Ci-∠C0计算所述其余各帧图像的旋转变换参数；其中，dveri为其余各帧图像中的图像i的竖直变换参数，dhori为图像i的水平变换参数，αi为图像i的旋转变换参数，r为所述焦距，∠Ai-∠A0为采集图像i时的俯仰角变化量，∠A0为采集所述参考帧图像时的俯仰角，∠Ai为采集图像i时的俯仰角，i∈[1，N]，N为所述其余各帧图像的数量，Him为所述图像分辨率的垂直像素数，Wim为所述图像分辨率的水平像素数，Hsensor为所述成像面高度，Wsensor为所述成像面宽度，∠Bi-∠B0为采集图像i时的旋转角变化量，∠B0为采集所述参考帧图像时的旋转角，∠Bi为采集其余图像i时的旋转角，∠Ci-∠C0为采集图像i时的倾斜角变化量，∠C0为采集所述参考帧图像时的倾斜角，∠Ci为采集其余图像i时的倾斜角。14.如权利要求11所述的装置，其特征在于，所述设备抖动信息包括：俯仰角变化量、倾斜角变化量及旋转角变化量；所述设备参数包括：焦距、图像分辨率、成像面高度及成像面宽度；所述图像变换参数包括：竖直变换参数、水平变换参数及旋转变换参数；所述装置还包括：时间差计算模块，用于在所述获取并根据所述设备抖动...
【专利技术属性】
技术研发人员：蔡晓望，肖飞，范蒙，俞海，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。