本公开提供一种视频处理方法和视频处理装置。所述视频处理方法包括以下步骤：获取低分辨率视频的当前时刻的当前帧和与当前帧相邻的邻近帧；基于当前帧和邻近帧来获得针对当前帧的差分图像；根据差分图像来确定针对当前帧的时间注意力信息，其中，所述时间注意力信息表示所述当前帧相对于所述邻近帧所关注的图像特征信息；根据时间注意力信息和邻近帧来获得当前帧的超分辨率特征；并且基于超分辨率特征来生成当前帧的高分辨率图像。特征来生成当前帧的高分辨率图像。特征来生成当前帧的高分辨率图像。
【技术实现步骤摘要】
视频处理方法和视频处理装置
[0001]本公开涉及视频处理领域，尤其涉及一种用于超分辨率的视频处理方法和视频处理装置。
技术介绍
[0002]实际需求中的视频数据主要分为单帧图像和视频序列。根据输入数据的不同，超分辨率(SR)可细分为单帧图像超分辨率(SISR)和视频超分辨率(VSR)两个方向。不同任务下的SR算法设计的侧重点也有所不同。SISR算法主要是基于单帧图像做超分辨率的方法，其目的是利用图像自身的自相似性信息和结构性信息来生成低分辨率图像到高分辨率图像所缺失的细节；而VSR算法是SISR算法在时间上的拓展方法，其需要同时考虑帧内的自相似性和帧间的时空互补信息来填充缺失细节。相较于SISR算法，VSR算法可利用时间上的互补信息来降低遮挡、光照、视差等外界因素对超分辨率效果的影响。因此，VSR技术被广泛地应用在画质增强的场景中，例如，将低分辨率视频重建为高分辨率视频，以为用户提供更佳视觉体验。
[0003]目前，当增强视频画质时，可使用神经网络(诸如循环卷积网络)来实现对视频帧的增强。例如，在使用循环卷积网络的情况下，循环卷积网络会复用历史的特征信息或者历史的输出结果来增强视频帧的信息。然而，当前特征与历史特征之间存在相关的信息和无关的信息，如果复用无关的信息，则会产生误差累积，导致增强后的视频画质劣化。
技术实现思路
[0004]本公开提供一种用于超分辨率的视频处理方法和视频处理装置，以至少解决上述提及的问题。
[0005]根据本公开实施例的第一方面，提供一种视频处理方法，所述视频处理方法可包括：获取低分辨率视频的当前时刻的当前帧和与所述当前帧相邻的邻近帧；基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像；根据所述差分图像来确定针对所述当前帧的时间注意力信息，其中，所述时间注意力信息表示所述当前帧相对于所述邻近帧所关注的图像特征信息；根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征；并且基于所述超分辨率特征来生成所述当前帧的高分辨率图像。
[0006]可选地，基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像，可包括：基于所述当前帧和所述当前帧的前一时刻的邻近帧来计算所述差分图像。
[0007]可选地，根据所述差分图像来确定针对所述当前帧的时间注意力信息，可包括：根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息。
[0008]可选地，根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息，可包括：基于所述差分图像来获得所述当前帧与所述前一时刻的邻近帧之间的非差别图像，其中，所述非差别图像指示所述当前帧与所述
前一时刻的邻近帧之间具有的相同特征区域；根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息。
[0009]可选地，根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息，可包括：对所述非差别图像进行下采样处理以得到下采样图像；对所述下采样图像中的像素进行加权处理以得到加权图像；对所述加权图像进行上采样处理以得到上采样图像；对所述上采样图像和所述前一时刻的邻近帧的超分辨率特征进行点乘运算来得到针对所述当前帧的时间注意力信息。
[0010]可选地，根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征，可包括：对所述时间注意力信息、所述当前帧、所述当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对所述当前帧的特征图；对所述特征图进行特征提取来获得所述当前帧的超分辨率特征。
[0011]可选地，对所述时间注意力信息、所述当前帧、所述当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对所述当前帧的特征图，可包括：按照表示像素的通道将所述当前帧、所述前一时刻的邻近帧、所述后一时刻的邻近帧和时间注意力信息的相同位置处的像素的通道进行拼接，以得到由多通道表示的所述特征图。
[0012]可选地，基于所述超分辨率特征来生成所述当前帧的超分辨率图像，可包括：基于所述超分辨率特征使用神经网络来生成所述当前帧的高分辨率图像。
[0013]根据本公开实施例的第二方面，提供一种视频处理装置，所述视频处理装置可包括：获取模块，被配置为获取低分辨率视频的当前时刻的当前帧和与所述当前帧相邻的邻近帧；特征提取模块，被配置为：基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像；根据所述差分图像来确定针对所述当前帧的时间注意力信息，其中，所述时间注意力信息表示所述当前帧相对于所述邻近帧所关注的图像特征信息；根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征；以及生成模块，被配置为基于所述超分辨率特征来生成所述当前帧的高分辨率图像。
[0014]可选地，特征提取模块可被配置为：基于所述当前帧和所述当前帧的前一时刻的邻近帧来计算所述差分图像。
[0015]可选地，特征提取模块可被配置为：根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息。
[0016]可选地，特征提取模块可被配置为：基于所述差分图像来获得所述当前帧与所述前一时刻的邻近帧之间的非差别图像，其中，所述非差别图像指示所述当前帧与所述前一时刻的邻近帧之间具有的相同特征区域；根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息。
[0017]可选地，特征提取模块可被配置为：对所述非差别图像进行下采样处理以得到下采样图像；对所述下采样图像中的像素进行加权处理以得到加权图像；对所述加权图像进行上采样处理以得到上采样图像；对所述上采样图像和所述前一时刻的邻近帧的超分辨率特征进行点乘运算来得到针对所述当前帧的时间注意力信息。
[0018]可选地，特征提取模块可被配置为：对所述时间注意力信息、所述当前帧、所述当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对所述当前帧的特征图；对所述特征图进行特征提取来获得所述当前帧的超分辨率特征。
[0019]可选地，特征提取模块可被配置为：按照表示像素的通道将所述当前帧、所述前一时刻的邻近帧、所述后一时刻的邻近帧和时间注意力信息的相同位置处的像素的通道进行拼接，以得到由多通道表示的所述特征图。
[0020]可选地，特征提取模块可被配置为：基于所述超分辨率特征使用神经网络来生成所述当前帧的高分辨率图像。
[0021]根据本公开实施例的第三方面，提供一种电子设备，所述电子设备可包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频处理方法。
[0022]根据本公开实施例的第四方面，提供一种存储指令的计算机可读存储介质，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频处理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频处理方法，其特征在于，所述视频处理方法包括：获取低分辨率视频的当前时刻的当前帧和与所述当前帧相邻的邻近帧；基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像；根据所述差分图像来确定针对所述当前帧的时间注意力信息，其中，所述时间注意力信息表示所述当前帧相对于所述邻近帧所关注的图像特征信息；根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征；并且基于所述超分辨率特征来生成所述当前帧的高分辨率图像。2.根据权利要求1所述的视频处理方法，其特征在于，基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像，包括：基于所述当前帧和所述当前帧的前一时刻的邻近帧来计算所述差分图像。3.根据权利要求1所述的视频处理方法，其特征在于，根据所述差分图像来确定针对所述当前帧的时间注意力信息，包括：根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息。4.根据权利要求3所述的视频处理方法，其特征在于，根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息，包括：基于所述差分图像来获得所述当前帧与所述前一时刻的邻近帧之间的非差别图像，其中，所述非差别图像指示所述当前帧与所述前一时刻的邻近帧之间具有的相同特征区域；根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息。5.根据权利要求4所述的视频处理方法，其特征在于，根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息，包括：对所述非差别图像进行下采样处理以得到下采样图像；对所述下采样图像中的像素进行加权处理以得到加权图像；对所述加权图像进行上采样处理以得到上采样图像；对所述上采样图像和所述前一时刻的邻近帧的超分辨率特征进行点乘运算...
【专利技术属性】
技术研发人员：磯部駿，陶鑫，章佳杰，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。