视频处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:36429265 阅读:9 留言:0更新日期:2023-01-20 22:40
本公开实施例提供了一种视频处理方法、装置、电子设备及存储介质。其中,该方法包括:获取至少三个待处理交错帧;其中,待处理交错帧是基于相邻两个待处理视频帧确定的;将至少三个待处理交错帧输入至预先训练得到的图像融合模型中,得到与至少三个待处理交错帧所对应的至少两个目标视频帧;其中,图像融合模型中包括特征处理子模型以及运动感知子模型;基于至少两个目标视频帧,确定目标视频。本公开实施例的技术方案,可以有效提升视频画面的恢复效果,尤其对于运动场景的视频画面,也可以达到较为显著的恢复效果,同时,解决了画面拉丝以及细节丢失等问题,提高了视频画面的画面质量和清晰度,提升了用户的使用体验。提升了用户的使用体验。提升了用户的使用体验。

【技术实现步骤摘要】
视频处理方法、装置、电子设备及存储介质


[0001]本公开实施例涉及视频处理
,尤其涉及一种视频处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着网络技术的不断发展,在对图像进行扫描显示时,为了提高图像显示效果,越来越多的用户采用逐行扫描的方式对图像进行扫描显示。
[0003]然而,对于之前基于隔行扫描方式所生成的早期视频,由于两幅图像显示的时间间隔较大,会存在图像画面闪烁较大、出现齿纹、假象等图像质量问题,这样产生的视频叫做交错视频。在将交错视频显示在现有的显示界面上时,需要通过去交错处理后,才能显示完整视频。
[0004]目前,通常采用对交错视频进行反交错处理,以去除交错视频中的拉丝效应,但是,这种方式的去交错效果并不好,尤其在运动物体场景中,拉丝区域都比较模糊,容易出现细节丢失、画面拉丝等问题。

技术实现思路

[0005]本公开提供一种视频处理方法、装置、电子设备及存储介质,以实现对视频画面进行有效恢复的效果,尤其是对于运动场景的视频画面,可以达到较为显著的恢复效果。
[0006]第一方面,本公开实施例提供了一种视频处理方法,该方法包括:
[0007]获取至少三个待处理交错帧;其中,所述待处理交错帧是基于相邻两个待处理视频帧确定的;
[0008]将所述至少三个待处理交错帧输入至预先训练得到的图像融合模型中,得到与所述至少三个待处理交错帧所对应的至少两个目标视频帧;其中,所述图像融合模型中包括特征处理子模型以及运动感知子模型;
[0009]基于所述至少两个目标视频帧,确定目标视频。
[0010]第二方面,本公开实施例还提供了一种视频处理装置,该装置包括:
[0011]待处理交错帧获取模块,用于获取至少三个待处理交错帧;其中,所述待处理交错帧是基于相邻两个待处理视频帧确定的;
[0012]目标视频帧确定模块,用于将所述至少三个待处理交错帧输入至预先训练得到的图像融合模型中,得到与所述至少三个待处理交错帧所对应的至少两个目标视频帧;其中,所述图像融合模型中包括特征处理子模型以及运动感知子模型;
[0013]目标视频确定模块,用于基于所述至少两个目标视频帧,确定目标视频。
[0014]第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
[0015]一个或多个处理器;
[0016]存储装置,用于存储一个或多个程序,
[0017]当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理
器实现如本公开实施例任一所述的视频处理方法。
[0018]第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的视频处理方法。
[0019]本公开实施例的技术方案,在获取至少三个待处理交错帧后,可以将至少三个待处理交错帧输入至预先训练得到的图像融合模型中,得到与至少三个待处理交错帧所对应的至少两个目标视频帧,最后,基于至少两个目标视频帧,确定目标视频,当交错视频在现有的显示设备上进行显示时,可以有效提升视频画面的恢复效果,尤其对于运动场景的视频画面,也可以达到较为显著的恢复效果,同时,解决了画面拉丝以及细节丢失等问题,提高了视频画面的画面质量和清晰度,提升了用户的使用体验。
附图说明
[0020]结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
[0021]图1是本公开实施例所提供的一种视频处理方法流程示意图;
[0022]图2是本公开实施例所提供的图像融合模型的示意图;
[0023]图3是本公开实施例所提供的运动感知模型的示意图;
[0024]图4是本公开实施例所提供的一种视频处理方法流程示意图;
[0025]图5是本公开实施例所提供的一种待处理视频帧的示意图;
[0026]图6是本公开实施例所提供的一种视频处理装置结构示意图;
[0027]图7是本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
[0028]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
[0029]应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0030]本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0031]需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0032]需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
[0033]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
[0034]可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0035]例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
[0036]作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
[0037]可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其它满足相关法律法规的方式也可应用于本公开的实现方式中。
[0038]可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法,其特征在于,包括:获取至少三个待处理交错帧;其中,所述待处理交错帧是基于相邻两个待处理视频帧确定的;将所述至少三个待处理交错帧输入至预先训练得到的图像融合模型中,得到与所述至少三个待处理交错帧所对应的至少两个目标视频帧;其中,所述图像融合模型中包括特征处理子模型以及运动感知子模型;基于所述至少两个目标视频帧,确定目标视频。2.根据权利要求1所述的方法,其特征在于,在所述获取至少三个待处理交错帧之前,还包括:获取与原始视频相对应的多个待处理视频帧;对相邻两个待处理视频帧融合处理,得到所述待处理交错帧;其中,两个所述待处理视频帧中包括一个奇数视频帧和一个偶数视频帧,奇数视频帧和偶数视频帧是基于待处理视频帧在所述原始视频中的顺序确定的。3.根据权利要求2所述的方法,其特征在于,所述对相邻两个待处理视频帧融合处理,得到待处理交错帧,包括:提取所述奇数视频帧中的奇数行数据以及所述偶数视频帧中的偶数行数据;通过对所述奇数行数据以及所述偶数行数据融合处理,得到所述待处理交错帧。4.根据权利要求1所述的方法,其特征在于,所述图像融合模型中包括特征处理子模型、运动感知子模型以及2D卷积层。5.根据权利要求4所述的方法,其特征在于,还包括:所述特征处理子模型中包括第一特征提取分支和第二特征提取分支;所述第一特征提取分支的输出为所述运动感知子模型中第一运动感知子模型的输入,所述第二特征提取分支的输出为所述运动感知子模型中第二运动感知子模型的输入;所述第一运动感知子模型的输出和所述第二运动感知子模型的输出为所述2D卷积层的输入,以使所述2D卷积层输出目标视频帧。6.根据权利要求5所述的方法,其特征在于,所述第一特征提取分支包括结构特征提取网络和结构特征融合网络,所述第二特征提取分支包括细节特征提取网络和细节特征融合网络。7.根据权利要求6所述的方法,其特征在于,所述将所述至少三个待处理交错帧输入至预先训练得到的图像融合模型中,得到与所述至少三个待处理交错帧所对应的至少两个目标视频帧,包括:基于所述结构特征提取网络对所述至少三个待处理交错帧进行等比例特征提取,得到与所述待处理交错帧所对应的结构特征;以及,基于所述细节特征提取网络对所述至少三个待处理交错帧进行奇偶场特征提取,得到与所述待处理交错帧所对应的细节特征;基于所述结构特征融合网络对所述结构特征进行处理,得到相邻两个待处理交错帧之间的第一帧间特征图;以及,基于所述细节特征融合网络对所述细节特...

【专利技术属性】
技术研发人员:张珂新赖水长赵世杰
申请(专利权)人:抖音视界有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1