当前位置: 首页 > 专利查询>深圳大学专利>正文

一种视频超分辨率重构方法、装置、终端设备及存储介质制造方法及图纸

技术编号:31894657 阅读:14 留言:0更新日期:2022-01-15 12:24
本发明专利技术涉及视频处理领域,具体是涉及一种视频超分辨率重构方法、装置、终端设备及存储介质。对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理,得到所述原图像组所对应的帧间对齐去噪图像组;对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理,得到所述原图像组所对应的特征图像;对所述特征图像应用超分辨率重构算法做图像重构处理,得到所述原图像组所对应的目标图像。本发明专利技术的去噪算法具有很强的鲁棒性,算法鲁棒性越强的算法得到的图像质量越好,只有鲁棒性强的算法得到的图像才能适应于对噪声很敏感的超分辨率重构算法,从而使得超分辨率重构算法输出高质量的高分辨率图像,进而得到高质量的视频图像。质量的视频图像。质量的视频图像。

【技术实现步骤摘要】
一种视频超分辨率重构方法、装置、终端设备及存储介质


[0001]本专利技术涉及视频处理领域,具体是涉及一种视频超分辨率重构方法、装置、终端设备及存储介质。

技术介绍

[0002]随着硬件设备的不断改进,视频的质量越来越高,人们对视频质量的要求也越来越高。利用超分辨率重构获得更加清晰的视频是提高视频质量一个很有效的手段。超分辨率重构可以应用于医学领域,也可以应用于监控安全方面等众多领域,非常具有研究意义。
[0003]现有的视频处理技术是针对每一帧图像进行单独的处理,即使图像中含有噪声,也难以对噪声进行很好的处理,导致最终输出的视频中图像的噪声被放大,进而降低图像的质量。
[0004]综上所述,现有技术因对噪声不具有鲁棒性而降低图像的质量。
[0005]因此,现有技术还有待改进和提高。

技术实现思路

[0006]为解决上述技术问题,本专利技术提供了一种视频超分辨率重构方法、装置、终端设备及存储介质,解决了现有技术因对噪声不具有鲁棒性而降低图像的质量的问题。
[0007]为实现上述目的,本专利技术采用了以下技术方案:
[0008]第一方面,本专利技术提供一种视频超分辨率重构方法,其中,包括:
[0009]对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理,得到所述原图像组所对应的帧间对齐去噪图像组;
[0010]对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理,得到所述原图像组所对应的特征图像;
[0011]对所述特征图像应用超分辨率重构算法做图像重构处理,得到所述原图像组所对应的目标图像。
[0012]在一种实现方式中,所述对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理,得到所述原图像组所对应的帧间对齐去噪图像组,包括:
[0013]获取原视频中的由连续帧图像组成的原图像组;
[0014]将所述原图像组中的其中一帧图像作为参考帧图像;
[0015]依据所述参考帧图像所对应的参考像素值以及所述参考像素值所对应的参考位置,修改相邻帧图像中与所述参考位置所对应位置处的像素值,得到所述相邻帧图像所对应的去噪对齐后图像,所述相邻帧图像为位于所述参考帧图像前后的图像;
[0016]将所述原图像组中的其它帧图像作为下一个所述参考帧图像,直至得到由所述原图像组中的所有帧图像所对应的去噪对齐后图像构成的去噪对齐后图像组。
[0017]在一种实现方式中,所述依据所述参考帧图像所对应的参考像素值以及所述参考像素值所对应的参考位置,修改相邻帧图像中与所述参考位置所对应位置处的像素值,得
到所述相邻帧图像所对应的去噪对齐后图像,所述相邻帧图像为位于所述参考帧图像前后的图像,包括:
[0018]依据所述参考帧图像中的所述参考像素值,得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值;
[0019]将所述相邻帧图像中与所述参考位置所对应位置处的像素值修改为所述匹配像素值,得到所述相邻帧图像所对应的去噪对齐后图像。
[0020]在一种实现方式中,所述依据所述参考帧图像中的所述参考像素值,得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值,包括:
[0021]将所述参考帧图像和所述相邻帧图像以相同的方式进行分块;
[0022]依据所述参考帧图像中的参考块所对应的参考像素值,得到所述相邻帧图像中与所述参考像素值所匹配的匹配块,所述匹配块的像素值与所述参考像素值所对应;
[0023]依据所述匹配块的像素值,得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值。
[0024]在一种实现方式中,所述将所述相邻帧图像中与所述参考位置所对应位置处的像素值修改为所述匹配像素值,得到所述相邻帧图像所对应的去噪对齐后图像,包括:
[0025]将所述相邻帧图像中与所述参考块所对应的块的像素值修改为所述匹配块的像素值。
[0026]在一种实现方式中,所述对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理,得到所述原图像组所对应的特征图像,包括:
[0027]对所述帧间对齐去噪图像组中各帧去噪对齐后图像进行卷积计算,得到各帧所述去噪对齐后图像所对应的第一卷积图像;
[0028]将各个所述第一卷积图像进行组合,得到各个第一卷积图像组;
[0029]对各个所述第一卷积图像组再分别进行卷积计算,得到各个所述第一卷积图像组所对应的第二卷积图像;
[0030]依据所述第一卷积图像和所述第二卷积图像,得到所述原图像组所对应的特征图像。
[0031]在一种实现方式中,所述依据所述第一卷积图像和所述第二卷积图像,得到所述原图像组所对应的特征图像,包括:
[0032]将各个所述第一卷积图像和各个所述第二卷积图像进行组合,得到第二卷积图像组;
[0033]对各个所述第二卷积图像组再分别进行卷积计算,得到各个所述第二卷积图像组所对应的第三卷积图像;
[0034]依据所述第三卷积图像,得到所述原图像组所对应的特征图像。
[0035]第二方面,本专利技术实施例还提供一种视频超分辨率重构方法的装置,其中,所述装置包括如下组成部分:
[0036]图像对齐去噪模块,用于对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理,得到所述原图像组所对应的帧间对齐去噪图像组;
[0037]特征融合模块,用于对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理,得到所述原图像组所对应的特征图像;
[0038]图像重构模块,用于对所述特征图像应用超分辨率重构算法做图像重构处理,得到所述原图像组所对应的目标图像。
[0039]第三方面,本专利技术实施例还提供一种终端设备,其中,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的视频超分辨率重构程序,所述处理器执行所述视频超分辨率重构程序时,实现上述所述的视频超分辨率重构方法的步骤。
[0040]第四方面,本专利技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有视频超分辨率重构程序,所述视频超分辨率重构程序被处理器执行时,实现上述所述的视频超分辨率重构方法的步骤。
[0041]有益效果:超分辨率重构算法对噪声很敏感,一旦图像中含有噪声,则其输出的图像质量很差,严重影响图像的质量。本专利技术在去噪算法中采用图像组而非单个图像,通过图像组中的各个图像的相互作用,达到去除图像中的噪声,本专利技术的去噪算法具有很强的鲁棒性,算法鲁棒性越强得到的图像质量越好,只有鲁棒性强的算法得到的图像才能适应于对噪声很敏感的超分辨率重构算法,从而使得超分辨率重构算法输出高质量的高分辨率图像,进而得到高质量的视频图像。
[0042]另外,经过本专利技术的方法得到的去噪图像,由于该算法具有很强的鲁棒性,使得特征融合算法对图像组中的各个去噪图像进行特征融合而得到的特征图像才能更好的反映视频图像的特征,进而使得后续的超分辨本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种视频超分辨率重构方法,其特征在于,包括:对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理,得到所述原图像组所对应的帧间对齐去噪图像组;对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理,得到所述原图像组所对应的特征图像;对所述特征图像应用超分辨率重构算法做图像重构处理,得到所述原图像组所对应的目标图像。2.如权利要求1所述的视频超分辨率重构方法,其特征在于,所述对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理,得到所述原图像组所对应的帧间对齐去噪图像组,包括:获取原视频中的由连续帧图像组成的原图像组;将所述原图像组中的其中一帧图像作为参考帧图像;依据所述参考帧图像所对应的参考像素值以及所述参考像素值所对应的参考位置,修改相邻帧图像中与所述参考位置所对应位置处的像素值,得到所述相邻帧图像所对应的去噪对齐后图像,所述相邻帧图像为位于所述参考帧图像前后的图像;将所述原图像组中的其它帧图像作为下一个所述参考帧图像,直至得到由所述原图像组中的所有帧图像所对应的去噪对齐后图像构成的去噪对齐后图像组。3.如权利要求2所述的视频超分辨率重构方法,其特征在于,所述依据所述参考帧图像所对应的参考像素值以及所述参考像素值所对应的参考位置,修改相邻帧图像中与所述参考位置所对应位置处的像素值,得到所述相邻帧图像所对应的去噪对齐后图像,所述相邻帧图像为位于所述参考帧图像前后的图像,包括:依据所述参考帧图像中的所述参考像素值,得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值;将所述相邻帧图像中与所述参考位置所对应位置处的像素值修改为所述匹配像素值,得到所述相邻帧图像所对应的去噪对齐后图像。4.如权利要求3所述的视频超分辨率重构方法,其特征在于,所述依据所述参考帧图像中的所述参考像素值,得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值,包括:将所述参考帧图像和所述相邻帧图像以相同的方式进行分块;依据所述参考帧图像中的参考块所对应的参考像素值,得到所述相邻帧图像中与所述参考像素值所匹配的匹配块,所述匹配块的像素值与所述参考像素值所对应;依据所述匹配块的像素值,得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值。5.如权利要求4所述的视频超分辨率重构方法,其特征在于,所述将所述相邻帧图...

【专利技术属性】
技术研发人员:刘婵梓周飞卢梓涛周清峰
申请(专利权)人:深圳大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1