【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种视频增强方法、装置、电子设备、存储介质及程序产品。
技术介绍
1、随着计算机技术的快速发展，人们对视频信息的使用越来越广泛，对拍摄设备拍摄得到的视频的质量要求也逐渐提高。然而，由于环境光照不足以及拍摄设备性能的限制，拍摄得到的视频中往往存在较多的噪声，视频的质量较低。因此，亟需一种方法减少视频中的噪声，实现对视频的增强，提高视频的质量。
技术实现思路
1、本申请实施例的目的在于提供一种视频增强方法、装置、电子设备、存储介质及程序产品，以实现对视频的增强，提高视频的质量。具体技术方案如下：
2、本申请实施例的第一方面，提供了一种视频增强方法，所述方法包括：
3、按照视频帧的时序，从待增强视频中获取当前的待增强视频帧和当前的待增强视频帧的前一个待增强视频帧；
4、基于当前的待增强视频帧与该前一个待增强视频帧之间的光流信息，对当前的目标映射视频帧进行映射，得到当前的目标融合视频帧；其中，在当前的待增强视频帧为所述待增强视频中的第二个视频帧时，当前的目标映射视频帧为所述待增强视频中的第一个视频帧；
5、对当前的待增强视频帧和当前的目标融合视频帧进行图像融合，得到新的目标映射视频帧；
6、基于该新的目标映射视频帧，得到当前的待增强视频帧的增强结果；并返回执行步骤：按照视频帧的时序，从待增强视频中获取当前的待增强视频帧和当前的待增强视频帧的前一个待增强视频帧。
7、可选的，所述对当前的待增
8、将当前的待增强视频帧和当前的目标融合视频帧输入至融合网络，得到当前的待增强视频帧和当前的目标融合视频帧各自对应的融合权重；其中，所述融合网络为：基于包含噪声的样本视频，以及所述样本视频对应的期望视频进行训练得到的；所述期望视频为所述样本视频中除所述噪声以外的部分；
9、根据得到的融合权重，对当前的待增强视频帧和当前的目标融合视频帧进行图像融合，得到新的目标映射视频帧。
10、可选的，所述融合网络通过以下步骤训练得到：
11、按照视频帧的时序，从样本视频中获取当前的样本视频帧、当前的样本视频帧的前一个样本视频帧，以及所述期望视频中与当前的样本视频帧时序一致的期望视频帧；
12、基于当前的样本视频帧与该前一个样本视频帧之间的光流信息，对当前的样本映射视频帧进行映射，得到当前的样本融合视频帧；
13、将当前的样本视频帧和当前的样本融合视频帧，输入初始结构的融合网络，得到当前的样本视频帧和当前的样本融合视频帧各自对应的融合权重；
14、根据得到的融合权重对当前的样本视频帧和当前的样本融合视频帧进行图像融合，得到新的样本映射视频帧；并返回执行步骤：按照视频帧的时序，从样本视频中获取当前的样本视频帧、当前的样本视频帧的前一个样本视频帧，以及所述期望视频中与当前的样本视频帧时序一致的期望视频帧；
15、基于每一样本视频帧融合得到的样本映射视频帧，与该样本视频帧对应的期望视频帧之间的差异，对初始结构的融合网络的参数进行调整，直至达到预设收敛条件。
16、可选的，所述融合网络包含下采样层、上采样层、卷积层以及激活函数层；
17、所述将当前的样本视频帧和当前的样本融合视频帧，输入初始结构的融合网络，得到当前的样本视频帧和当前的样本融合视频帧各自对应的融合权重，包括：
18、对当前的样本视频帧和当前的样本融合视频帧进行拼接，得到拼接结果；
19、将所述拼接结果输入至所述下采样层，得到下采样图像特征；
20、将所述下采样图像特征输入至所述上采样层，得到上采样图像特征；其中，所述上采样图像特征的维度与所述拼接结果的维度一致；
21、将所述上采样图像特征输入至所述卷积层，得到卷积结果；其中，所述卷积层包含2个卷积核；
22、将所述卷积结果输入至所述激活函数层，得到当前的样本视频帧和当前的样本融合视频帧各自对应的融合权重。
23、可选的，所述基于该新的目标映射视频帧，得到当前的待增强视频帧的增强结果，包括：
24、将该新的目标映射视频帧输入至预先训练的图像去噪网络，得到当前的待增强视频帧的增强结果；其中，所述图像去噪网络为：基于所述样本视频以及所述期望视频进行训练得到的。
25、可选的，所述融合网络和所述图像去噪网络为采用端到端的方式进行训练得到的；
26、所述融合网络和所述图像去噪网络的训练步骤还包括：
27、在得到新的样本映射视频帧之后，将该新的样本映射视频帧输入至初始结构的图像去噪网络，得到当前的样本视频帧的增强结果；
28、所述基于每一样本视频帧融合得到的样本映射视频帧，与该样本视频帧对应的期望视频帧之间的差异，对初始结构的融合网络的参数进行调整，直至达到预设收敛条件，包括：
29、基于每一样本视频帧融合得到的样本映射视频帧，与该样本视频帧对应的期望视频帧之间的差异，以及，该样本视频帧的增强结果与该样本视频帧对应的期望视频帧之间的差异，对初始结构的融合网络和图像去噪网络的参数进行调整，直至达到预设收敛条件。
30、本申请实施例的第二方面，还提供了一种视频增强装置，所述装置包括：
31、视频帧获取模块，用于按照视频帧的时序，从待增强视频中获取当前的待增强视频帧和当前的待增强视频帧的前一个待增强视频帧；
32、视频帧映射模块，用于基于当前的待增强视频帧与该前一个待增强视频帧之间的光流信息，对当前的目标映射视频帧进行映射，得到当前的目标融合视频帧；其中，在当前的待增强视频帧为所述待增强视频中的第二个视频帧时，当前的目标映射视频帧为所述待增强视频中的第一个视频帧；
33、视频帧融合模块，用于对当前的待增强视频帧和当前的目标融合视频帧进行图像融合，得到新的目标映射视频帧；
34、增强结果确定模块，用于基于该新的目标映射视频帧，得到当前的待增强视频帧的增强结果；并返回执行步骤：按照视频帧的时序，从待增强视频中获取当前的待增强视频帧和当前的待增强视频帧的前一个待增强视频帧。
35、可选的，所述视频帧融合模块，包括：
36、融合权重确定子模块，用于将当前的待增强视频帧和当前的目标融合视频帧输入至融合网络，得到当前的待增强视频帧和当前的目标融合视频帧各自对应的融合权重；其中，所述融合网络为：基于包含噪声的样本视频，以及所述样本视频对应的期望视频进行训练得到的；所述期望视频为所述样本视频中除所述噪声以外的部分；
37、图像融合子模块，用于根据得到的融合权重，对当前的待增强视频帧和当前的目标融合视频帧进行图像融合，得到新的目标映射视频帧。
38、可选的，所述融合网络通过以下步骤训练得到：
39、按照视频帧的时序，从样本视本文档来自技高网...
【技术保护点】
1.一种视频增强方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对当前的待增强视频帧和当前的目标融合视频帧进行图像融合，得到新的目标映射视频帧，包括：
3.根据权利要求2所述的方法，其特征在于，所述融合网络通过以下步骤训练得到：
4.根据权利要求3所述的方法，其特征在于，所述融合网络包含下采样层、上采样层、卷积层以及激活函数层；
5.根据权利要求3所述的方法，其特征在于，所述基于该新的目标映射视频帧，得到当前的待增强视频帧的增强结果，包括：
6.根据权利要求5所述的方法，其特征在于，所述融合网络和所述图像去噪网络为采用端到端的方式进行训练得到的；
7.一种视频增强装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，所述视频帧融合模块，包括：
9.根据权利要求8所述的装置，其特征在于，所述融合网络通过以下步骤训练得到：
10.根据权利要求9所述的装置，其特征在于，所述融合网络包含下采样层、上采样层、卷积层以及激活函数层；
11.根据权利要求9所述的装置，其特征在于，所述增强结果确定模块，具体用于将该新的目标映射视频帧输入至预先训练的图像去噪网络，得到当前的待增强视频帧的增强结果；其中，所述图像去噪网络为：基于所述样本视频以及所述期望视频进行训练得到的。
12.根据权利要求11所述的装置，其特征在于，所述融合网络和所述图像去噪网络为采用端到端的方式进行训练得到的；
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
14.一种可读存储介质，其特征在于，所述可读存储介质内存储有软件程序，所述软件程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
15.一种程序产品，其特征在于，当所述程序产品在电子设备上运行时，使得所述电子设备执行权利要求1-6任一所述的方法步骤。
...【技术特征摘要】
1.一种视频增强方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对当前的待增强视频帧和当前的目标融合视频帧进行图像融合，得到新的目标映射视频帧，包括：
3.根据权利要求2所述的方法，其特征在于，所述融合网络通过以下步骤训练得到：
4.根据权利要求3所述的方法，其特征在于，所述融合网络包含下采样层、上采样层、卷积层以及激活函数层；
5.根据权利要求3所述的方法，其特征在于，所述基于该新的目标映射视频帧，得到当前的待增强视频帧的增强结果，包括：
6.根据权利要求5所述的方法，其特征在于，所述融合网络和所述图像去噪网络为采用端到端的方式进行训练得到的；
7.一种视频增强装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，所述视频帧融合模块，包括：
9.根据权利要求8所述的装置，其特征在于，所述融合网络通过以下步骤训练得到：
10....
【专利技术属性】
技术研发人员：汝佩哲，杨再初，王林，朱才志，
申请(专利权)人：英特灵达信息技术深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。