本公开关于一种视频处理方法和视频处理装置，该方法包括：针对视频中的每一时刻的图像帧，基于当前时刻的图像帧、当前时刻之前的m个时刻的隐层特征以及当前时刻之前的n个时刻的超分特征，得到当前时刻的输入特征；将当前时刻的输入特征输入至视频超分辨模型，得到视频超分辨模型的输出层输出的当前时刻的超分特征、视频超分辨模型的隐层输出的当前时刻的隐层特征，其中，当前时刻的隐层特征被用于得到当前时刻之后的m个时刻的输入特征；基于当前时刻的超分特征和当前时刻的图像帧，得到当前时刻的超分辨图像；其中，m为大于或等于1的整数，n为大于或等于1的整数，且m与n不同时为1。1。1。
【技术实现步骤摘要】
视频处理方法和视频处理装置
[0001]本公开涉及计算机
，更具体地说，涉及一种视频处理方法和视频处理装置。
技术介绍
[0002]低分辨的视频传输是一种节约成本、降低带宽的手段，视频超分辨算法可以配合这种传输策略，将这些低分辨视频恢复到高分辨视频再下发给用户，因此提升视频超分辨算法的性能是非常必要的。
[0003]相关技术中，视频超分辨算法可包括基于显性运动补偿的算法。基于显性运动补偿的算法往往采用光流作为视频帧之间的运动表示，但是光流的估计往往是不准确的且耗时较长。
技术实现思路
[0004]本公开提供一种视频处理方法和视频处理装置，以至少解决上述相关技术中存在的问题。
[0005]根据本公开实施例的第一方面，提供一种视频处理方法，包括：针对视频中的每一时刻的图像帧，基于当前时刻的图像帧、当前时刻之前的m个时刻的隐层特征以及当前时刻之前的n个时刻的超分特征，得到当前时刻的输入特征；将当前时刻的输入特征输入至视频超分辨模型，得到所述视频超分辨模型的输出层输出的当前时刻的超分特征、所述视频超分辨模型的隐层输出的当前时刻的隐层特征，其中，当前时刻的隐层特征被用于得到当前时刻之后的m个时刻的输入特征；基于当前时刻的超分特征和当前时刻的图像帧，得到当前时刻的超分辨图像；其中，m为大于或等于1的整数，n为大于或等于1的整数，且m与n不同时为1。
[0006]可选地，所述基于当前时刻的图像帧、当前时刻之前的m个时刻的隐层特征以及当前时刻之前的n个时刻的超分特征，得到当前时刻的输入特征，包括：针对当前时刻之前的m个时刻中的每个时刻的隐层特征，过滤出该时刻的隐层特征与当前时刻的图像帧相关的信息，作为该时刻的隐层特征的过滤结果；和/或，针对当前时刻之前的n个时刻中的每个时刻的超分特征，过滤出该时刻的超分特征与当前时刻的图像帧相关的信息，作为该时刻的超分特征的过滤结果；基于当前时刻的图像帧、当前时刻之前的m个时刻的隐层特征或其过滤结果、当前时刻之前的n个时刻的超分特征或其过滤结果，得到当前时刻的输入特征。
[0007]可选地，所述针对当前时刻之前的m个时刻中的每个时刻的隐层特征，过滤出该时刻的隐层特征与当前时刻的图像帧相关的信息，作为该时刻的隐层特征的过滤结果，包括：对当前时刻的图像帧和当前时刻之前的m个时刻的隐层特征进行卷积处理，获得a个卷积处理后的隐层特征，其中，a与m相等，所述a个卷积处理后的隐层特征与当前时刻之前的m个时刻一一对应；利用激活函数对所述a个卷积处理后的隐层特征中与当前时刻的图像帧的相关性满足第一预设条件的部分进行激活，获得a个激活后的隐层特征；对所述a个激活后的
隐层特征与当前时刻之前的m个时刻的隐层特征进行点乘，获得当前时刻之前的m个时刻的隐层特征的过滤结果。
[0008]可选地，所述针对当前时刻之前的n个时刻中的每个时刻的超分特征，过滤出该时刻的超分特征与当前时刻的图像帧相关的信息，作为该时刻的超分特征的过滤结果，包括：对当前时刻的图像帧和当前时刻之前的n个时刻的超分特征进行卷积处理，获得b个卷积处理后的超分特征，其中，b与n相等，所述b个卷积处理后的超分特征与当前时刻之前的n个时刻一一对应；利用激活函数对所述b个卷积处理后的超分特征中与当前时刻的图像帧的相关性满足第二预设条件的部分进行激活，获得b个激活后的超分特征；对所述b个激活后的超分特征与当前时刻之前的n个时刻的超分特征进行点乘，获得当前时刻之前的n个时刻的超分特征的过滤结果。
[0009]可选地，当前时刻之前的m个时刻的隐层特征从用于存储隐层特征的历史隐层特征队列获取；其中，所述视频处理方法还包括：根据当前时刻的隐层特征更新所述历史隐层特征队列。
[0010]可选地，所述根据当前时刻的隐层特征更新所述历史隐层特征队列，包括：删除所述历史隐层特征队列中最先被存入的历史隐层特征，并将当前时刻的隐层特征存入所述历史隐层特征队列；其中，所述历史隐层特征队列为用于存储m个隐层特征的先入先出队列。
[0011]可选地，当前时刻之前的n个时刻的超分特征从用于存储超分特征的历史超分特征队列获取；其中，所述视频处理方法还包括：根据当前时刻的超分特征更新所述历史超分特征队列。
[0012]可选地，所述根据当前时刻的超分特征更新所述历史超分特征队列，包括：删除所述历史超分特征队列中最先被写入的历史超分特征，并将当前时刻的超分特征写入所述历史超分特征队列；其中，所述历史超分特征队列为用于存储n个超分特征的先入先出队列。
[0013]可选地，所述视频超分辨模型包括：第一卷积神经网络、至少一个残差模块、第二卷积神经网络；其中，所述将当前时刻的输入特征输入至视频超分辨模型，得到所述视频超分辨模型的输出层输出的当前时刻的超分特征、所述视频超分辨模型的隐层输出的当前时刻的隐层特征，包括：将当前时刻的输入特征输入所述第一卷积神经网络，获得卷积结果；将所述卷积结果输入所述至少一个残差模块，获得当前时刻的隐层特征；将当前时刻的隐层特征输入所述第二卷积神经网络，获得当前时刻的超分特征。
[0014]根据本公开实施例的第二方面，提供一种视频处理装置，包括：第一获取模块，被配置为针对视频中的每一时刻的图像帧，基于当前时刻的图像帧、当前时刻之前的m个时刻的隐层特征以及当前时刻之前的n个时刻的超分特征，得到当前时刻的输入特征；输入模块，被配置为将当前时刻的输入特征输入至视频超分辨模型，得到所述视频超分辨模型的输出层输出的当前时刻的超分特征、所述视频超分辨模型的隐层输出的当前时刻的隐层特征，其中，当前时刻的隐层特征被用于得到当前时刻之后的m个时刻的输入特征；第二获取模块，被配置为基于当前时刻的超分特征和当前时刻的图像帧，得到当前时刻的超分辨图像；其中，m为大于或等于1的整数，n为大于或等于1的整数，且m与n不同时为1。
[0015]可选地，所述第一获取模块被配置为：针对当前时刻之前的m个时刻中的每个时刻的隐层特征，过滤出该时刻的隐层特征与当前时刻的图像帧相关的信息，作为该时刻的隐层特征的过滤结果；和/或，针对当前时刻之前的n个时刻中的每个时刻的超分特征，过滤出
该时刻的超分特征与当前时刻的图像帧相关的信息，作为该时刻的超分特征的过滤结果；基于当前时刻的图像帧、当前时刻之前的m个时刻的隐层特征或其过滤结果、当前时刻之前的n个时刻的超分特征或其过滤结果，得到当前时刻的输入特征。
[0016]可选地，所述第一获取模块被配置为：对当前时刻的图像帧和当前时刻之前的m个时刻的隐层特征进行卷积处理，获得a个卷积处理后的隐层特征，其中，a与m相等，所述a个卷积处理后的隐层特征与当前时刻之前的m个时刻一一对应；利用激活函数对所述a个卷积处理后的隐层特征中与当前时刻的图像帧的相关性满足第一预设条件的部分进行激活，获得a个激活后的隐层特征；对所述a个激活后的隐层特征与当前时刻之前的m个时刻的隐层特征进行点乘，获得当前时刻之前的m个时刻的隐层特征的过滤结果。
[0017]可选地，所述第一获取模块被配置为：对当本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：针对视频中的每一时刻的图像帧，基于当前时刻的图像帧、当前时刻之前的m个时刻的隐层特征以及当前时刻之前的n个时刻的超分特征，得到当前时刻的输入特征；将当前时刻的输入特征输入至视频超分辨模型，得到所述视频超分辨模型的输出层输出的当前时刻的超分特征、所述视频超分辨模型的隐层输出的当前时刻的隐层特征，其中，当前时刻的隐层特征被用于得到当前时刻之后的m个时刻的输入特征；基于当前时刻的超分特征和当前时刻的图像帧，得到当前时刻的超分辨图像；其中，m为大于或等于1的整数，n为大于或等于1的整数，且m与n不同时为1。2.如权利要求1所述的方法，其特征在于，所述基于当前时刻的图像帧、当前时刻之前的m个时刻的隐层特征以及当前时刻之前的n个时刻的超分特征，得到当前时刻的输入特征，包括：针对当前时刻之前的m个时刻中的每个时刻的隐层特征，过滤出该时刻的隐层特征与当前时刻的图像帧相关的信息，作为该时刻的隐层特征的过滤结果；和/或，针对当前时刻之前的n个时刻中的每个时刻的超分特征，过滤出该时刻的超分特征与当前时刻的图像帧相关的信息，作为该时刻的超分特征的过滤结果；基于当前时刻的图像帧、当前时刻之前的m个时刻的隐层特征或其过滤结果、当前时刻之前的n个时刻的超分特征或其过滤结果，得到当前时刻的输入特征。3.如权利要求2所述的方法，其特征在于，所述针对当前时刻之前的m个时刻中的每个时刻的隐层特征，过滤出该时刻的隐层特征与当前时刻的图像帧相关的信息，作为该时刻的隐层特征的过滤结果，包括：对当前时刻的图像帧和当前时刻之前的m个时刻的隐层特征进行卷积处理，获得a个卷积处理后的隐层特征，其中，a与m相等，所述a个卷积处理后的隐层特征与当前时刻之前的m个时刻一一对应；利用激活函数对所述a个卷积处理后的隐层特征中与当前时刻的图像帧的相关性满足第一预设条件的部分进行激活，获得a个激活后的隐层特征；对所述a个激活后的隐层特征与当前时刻之前的m个时刻的隐层特征进行点乘，获得当前时刻之前的m个时刻的隐层特征的过滤结果。4.如权利要求2所述的方法，其特征在于，所述针对当前时刻之前的n个时刻中的每个时刻的超分特征，过滤出该时刻的超分特征与当前时刻的图像帧相关的信息，作为该时刻的超分特征的过滤结果，包括：对当前时刻的图像帧和当前时刻之前的n个时刻...
【专利技术属性】
技术研发人员：磯部駿，陶鑫，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。