本公开涉及图像处理技术领域，具体涉及一种视频分辨率提升方法及装置、计算机可读存储介质及电子设备，方法包括：获取多帧图像作为输入数据，并利用第一三维卷积层对输入数据进行特征提取得到初始数据；对初始数据进行预设倍数的下采样得到第一特征数据；利用第二三维卷积层对第一特征数据进行卷积运算将第一特征数据合并为一帧得到第一参考数据；对第一参考数据进行预设倍数的上采样得到第一输出数据。本公开实施例的技术方案有效解决了视频帧间抖动的问题；提升计算效率，有效的提升输出结果的图像细节。结果的图像细节。结果的图像细节。
【技术实现步骤摘要】
视频分辨率提升方法及装置、存储介质及电子设备
[0001]本公开涉及图像处理
，具体而言，涉及一种视频分辨率提升方法及装置、计算机可读存储介质及电子设备。
技术介绍
[0002]随着计算机和图像处理技术的发展，视频图像的超分辨率技术为增强和放大低分辨率的视频提供了很好的解决方案。它可将低分辨率的视频进行更好的放大，从而可以在高分辨率的显示设备上进行显示。
[0003]视频图像超分辨率是一项非常有前景的技术，相比于传统的图像插值方法，超分辨率方法能够提供更加优异的图像视频放大效果。它可在图像放大的过程中保持图像的边缘和细节，从而得到更接近原始高分辨率图像的结果。但是相关技术中的视频超分辨率方法往往存在没有对输入图像进行较好的特征分析，导致输出图像缺少输入图像的部分细节；且大多均只允许一帧一帧的输入，会造成视频帧间抖动，且运算时间较高。
[0004]因此，有必要设计一种新的视频分辨率提升方法及装置、计算机可读存储介质及电子设备。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0006]本公开的目的在于提供一种视频分辨率提升方法及装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服相关技术中的视频超分辨率方法往往存在没有对输入图像进行较好的特征分析，导致输出图像缺少输入图像的部分细节；且大多均只允许一帧一帧的输入，会造成视频帧间抖动，且运算时间较高的技术问题。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0008]根据本公开的第一方面，提供了一种视频分辨率提升方法，包括：
[0009]获取多帧图像作为输入数据，并利用第一三维卷积层对所述输入数据进行特征提取得到初始数据；
[0010]对所述初始数据进行预设倍数的下采样得到第一特征数据；
[0011]利用第二三维卷积层对所述第一特征数据进行卷积运算将所述第一特征数据合并为一帧得到第一参考数据；
[0012]对所述第一参考数据进行所述预设倍数的上采样得到第一输出数据。
[0013]在本公开的一种示例性实施例中，对所述初始数据进行预设倍数的下采样得到第一特征数据，包括：
[0014]对所述初始数据进行预设倍数的下采样，并对下采样后的初始数据利用所述第一三维卷积层进行特征提取得到第一特征数据。
[0015]在本公开的一种示例性实施例中，所述方法还包括：
[0016]对所述初始数据利用第二三维卷积层进行卷积运算将所述初始数据合并为一帧得到第二输出数据；
[0017]将所述第二输出数据和所述第一输出数据进行叠加，并利用第一三维卷积层进行卷积运算得到目标数据；
[0018]对所述目标数据进行多倍上采样得到超分辨率图像。
[0019]在本公开的一种示例性实施例中，对所述第一参考数据进行所述预设倍数的上采样得到第一输出数据，包括：
[0020]对所述第一参考数据利用第一三维卷积层进行特征提取得到第二特征数据；
[0021]对所述第二特征数据进行所述预设倍数的上采样得到第一输出数据。
[0022]在本公开的一种示例性实施例中，所述方法还包括：
[0023]对所述第一特征数据进行第N次的超分操作；
[0024]其中，所述超分操作包括下采样操作、第一次特征提取操作、合并操作、第二次特征提取操作以及上采样操作；
[0025]其中，下采样操作包括对所述第一特征数据进行所述预设倍数的下采样；
[0026]第一次特征提取操作包括对下采样后的所述第一特征数据利用第一三维卷积层进行第一次特征提取操作得到第三特征数据；
[0027]合并操作包括将所述第三特征数据利用第二三维卷积层进行卷积运算将所述第三特征数据合并为一帧得到第二参考数据；
[0028]第二次特征提取操作包括利用第一三维卷积层对所述第二参考数据以及第N+1次的输出结果的叠加数据进行第二次特征提取操作得到第四特征数据；
[0029]上采样操作包括对所述第四特征数据进行所述预设倍数的上采样得到第三输出数据；
[0030]利用所述第三输出数据更新所述第一参考数据；
[0031]其中，第N+1次的下采样操作的输入为第N次所述超分操作的所述第一次特征提取操作的输出，N为从1开始递增的正整数。
[0032]在本公开的一种示例性实施例中，利用所述第三输出数据更新所述第一参考数据，包括：
[0033]利用第N+1次上采样操作输出更新第N次上采样操作输出的所述第三输出数据；
[0034]将所述第三输出数据与所述第一参考数据叠加得到新的第一参考数据。
[0035]在本公开的一种示例性实施例中，所述输入数据的特征参数包括通道数，并发数量，所述图像的高和宽以及时间；
[0036]其中所述并发数量为同时输入所述输入数据的数量。
[0037]在本公开的一种示例性实施例中，所述预设倍数为偶数。
[0038]根据本公开的一个方面，提供一种视频分辨率提升装置，包括：
[0039]数据输入子电路，被配置为用于获取多帧图像作为输入数据，并利用第一三维卷积层对所述输入数据进行特征提取得到初始数据；
[0040]第一采样子电路，被配置为对所述初始数据进行预设倍数的下采样得到第一特征数据；
[0041]数据合并模块子电路，被配置为利用第二三维卷积层对所述第一特征数据进行卷积运算将所述第一特征数据合并为一帧得到第一参考数据；
[0042]第二采样子电路，被配置为对所述第一参考数据进行所述预设倍数的上采样得到第一输出数据。
[0043]根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任意一项所述的视频分辨率提升方法。
[0044]根据本公开的一个方面，提供一种电子设备，包括：
[0045]处理器；以及
[0046]存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任意一项所述的视频分辨率提升方法。
[0047]本公开实施例提供的技术方案可以包括以下有益效果：
[0048]本公开的一种实施例所提供的视频分辨率提升方法中，通过对获取到的输入数据利用第一三维卷积层对输入数据进行特征提取得到初始数据，并对初始数据进行预设倍数的下采样得到第一特征数据；利用第二三维卷积层对第一特征数据进行卷积运算将第一特征数据合并为一帧得到第一参考数据；对第一参考数据进行预设倍数的上采样得到第一输出数据。相较于现有技术，一方面，一次允许输入多帧数据，有效解决了视频帧间抖动的问题；另一方面，进行了预设倍数的上下采样，完成像素乱置，能够有效的提升计算效率，加速运算；再一方面，通过第一三本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频分辨率提升方法，其特征在于，包括：获取多帧图像作为输入数据，并利用第一三维卷积层对所述输入数据进行特征提取得到初始数据；对所述初始数据进行预设倍数的下采样得到第一特征数据；利用第二三维卷积层对所述第一特征数据进行卷积运算将所述第一特征数据合并为一帧得到第一参考数据；对所述第一参考数据进行所述预设倍数的上采样得到第一输出数据。2.根据权利要求1所述的方法，其特征在于，对所述初始数据进行预设倍数的下采样得到第一特征数据，包括：对所述初始数据进行预设倍数的下采样，并对下采样后的初始数据利用所述第一三维卷积层进行特征提取得到第一特征数据。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述初始数据利用第二三维卷积层进行卷积运算将所述初始数据合并为一帧得到第二输出数据；将所述第二输出数据和所述第一输出数据进行叠加，并利用第一三维卷积层进行卷积运算得到目标数据；对所述目标数据进行多倍上采样得到超分辨率图像。4.根据权利要求1所述的方法，其特征在于，对所述第一参考数据进行所述预设倍数的上采样得到第一输出数据，包括：对所述第一参考数据利用第一三维卷积层进行特征提取得到第二特征数据；对所述第二特征数据进行所述预设倍数的上采样得到第一输出数据。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述第一特征数据进行第N次的超分操作；其中，所述超分操作包括下采样操作、第一次特征提取操作、合并操作、第二次特征提取操作以及上采样操作；其中，下采样操作包括对所述第一特征数据进行所述预设倍数的下采样；第一次特征提取操作包括对下采样后的所述第一特征数据利用第一三维卷积层进行第一次特征提取操作得到第三特征数据；合并操作包括将所述第三特征数据利用第二三维卷积层进行卷积运算将所述第三特征数据合并为一帧得到第二参考数据；第二次特征提取操作包括利用第一三维卷积层对...
【专利技术属性】
技术研发人员：张丽杰，朱丹，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。