【技术实现步骤摘要】
本申请涉及但不限于视频转码或者图像增强，尤其涉及一种视频码率处理方法、图像增强方法、电子设备及存储介质。
技术介绍
1、目前，对于视频码率的节省，通常是在利用深度学习的方法对编码器内部工作流程进行设计以匹配视频的转码，从而达到节省视频码率的目的。然而，通过编码器适配视频转码以节省视频码率的方式，需要对于不同编码器进行训练，需要较大的算力且开发难度非常大、以及降低视频码率的效果也不好。
技术实现思路
1、有鉴于此，本申请实施例提供一种视频码率处理方法、图像增强方法、电子设备及存储介质，以将图像增强和视频转码相结合，无需考虑编辑器适配问题，可以降低算力、开发难度的同时大大节省视频码率。
2、本申请的技术方案是这样实现的：
3、第一方面，本申请实施例提供一种视频码率处理方法，包括：
4、基于第一视频的第一转码参数，确定第一视频是否需要进行增强；
5、在确定第一视频需要进行增强的情况下，将第一视频中至少一个第一图像输入到训练后的增强网络中，得到增强后的至少一个第二图像；
6、基于第一转码参数，确定第二转码参数；其中，第二转码参数中固定码率因子(constant rate factor，crf)高于第一转码参数中crf；
7、基于第二转码参数对由至少一个第二图像组合成的视频帧进行转码，以获得转码后的第二视频；
8、基于第二视频确定目标视频。
9、在上述方案中，训练后的增强网络包括训练后的增强子网络
10、将第一视频中至少一个第一图像输入到训练后的增强子网络中，得到增强参数；其中，增强参数包括：锐化参数、去噪参数和/或去块效应参数；
11、基于增强参数通过训练后的增强主网络对输入的至少一个第一图像进行处理，得到增强后的至少一个第二图像。
12、在上述方案中，基于第二视频确定目标视频，包括：确定第一视频中至少一个第一图像与第二视频中对应的至少一个第二图像的峰值信噪比(peak signal-to-noiseratio，psnr)；
13、在psnr大于或等于预定psnr的情况下，确定第二视频为目标视频。
14、在上述方案中，基于第二视频确定目标视频，还包括：在psnr小于预定psnr的情况下，基于第一转码参数对第一视频进行转码得到转码后的第三视频；确定第三视频为目标视频。
15、在上述方案中，方法还包括：在基于第一转码参数，确定第二转码参数之前，确认成功获得至少一个第二图像。
16、在上述方案中，方法还包括：在确认未成功获取到至少一个第二图像的情况下，基于第一转码参数对第一视频进行转码，以获得转码后的第三视频；确定第三视频为目标视频。
17、在上述方案中，基于增强参数通过训练后的增强主网络对输入的至少一个第一图像进行处理，得到增强后的至少一个第二图像，包括：
18、在增强参数属于预定参数区间的情况下，对增强参数进行修改，以获得修改后的增强参数，其中，修改后的增强参数不属于预定参数区间；将修改后的增强参数及至少一个第一图像输入到训练后的增强主网络中，得到增强后的至少一个第二图像；
19、在增强参数不属于预定参数区间的情况下，将增强参数及至少一个第一图像输入到训练后的增强主网络中，得到增强后的至少一个第二图像。
20、第二方面，本申请实施例提供一种图像增强方法，应用于训练后的增强网络，训练后的增强网络包括训练后的增强子网络和训练后的增强主网络；图像增强方法包括：
21、将第一图像输入到训练后的增强子网络中，以得到增强参数；其中，增强参数包括：锐化参数、去噪参数和/或去块效应参数；
22、基于增强参数通过训练后的增强主网络对输入的第一图像进行处理，得到增强后的第二图像。
23、第三方面，本申请实施例提供一种模型训练方法，包括：
24、基于样本视频获得第三图像以及与第三图像对应的样本增强参数；
25、基于第三图像以及样本增强参数，确定第一样本集；
26、将第一样本集输入到增强子网络进行训练，直至满足第一收敛条件，得到训练后的增强子网络；
27、基于样本视频的获得第三图像、第四图像、以及与第三图像对应的样本增强参数；其中，第三图像的清晰度低于第四图像的清晰度；
28、基于第三图像、第四图像及样本增强参数，确定第二样本集；
29、将第二样本集输入到增强主网络中进行训练，直至满足第二收敛条件，得到训练后的增强主网络；
30、将训练后的增强子网络和训练后的增强主网络组成训练后的增强网络。
31、在上述方案中，方法还包括：将增强主网络中卷积模块组由第一数量修改为第二数量，其中，第二数量小于第一数量；
32、将第二样本集输入到增强主网络中进行训练，直至满足第二收敛条件，得到训练后的增强主网络，包括：将第二样本集输入到包括第二数量的增强主网络中进行训练，直至满足第二收敛条件，得到训练后的增强主网络。
33、第四方面，本申请实施例提供一种视频码率处理装置，包括：
34、确定模块，用于基于第一视频的第一转码参数，确定第一视频是否需要进行增强；
35、处理模块，用于在确定第一视频需要进行增强的情况下，将第一视频中至少一个第一图像输入到训练后的增强网络中，得到增强后的至少一个第二图像；
36、确定模块，还用于基于第一转码参数，确定第二转码参数；其中，第二转码参数中固定码率因子crf高于第一转码参数中crf；
37、转码模块，用于基于第二转码参数对由至少一个第二图像组合成的视频帧进行转码，以获得转码后的第二视频；
38、确定模块，还用于基于第二视频确定目标视频。
39、第五方面，本申请实施例提供一种图像增强装置，包括：
40、处理模块，用于将第一图像输入到训练后的增强子网络中，得到增强参数；其中，增强参数包括：锐化参数、去噪参数和/或去块效应参数；
41、处理模块，还用于基于增强参数通过训练后的增强主网络对输入的第一图像进行处理，得到增强后的第二图像。
42、第六方面，本申请实施例提供一种模型训练装置，包括：
43、获取模块，用于基于样本视频获得第三图像以及与第三图像对应的样本增强参数；
44、获取模块，还用于基于第三图像以及样本增强参数，确定第一样本集；
45、处理模块，用于将第一样本集输入到增强子网络进行训练，直至满足第一收敛条件，得到训练后的增强子网络；
46、获取模块，还用于基于样本视频获得第三图像、第四图像、以及与第三图像对应的样本增强参数；其中，第三图像的清晰度低于第四图像的清晰度；
47、本文档来自技高网...
【技术保护点】
1.一种视频码率处理方法，其特征在于，方法包括：
2.根据权利要求1所述的方法，其特征在于，所述训练后的增强网络包括训练后的增强子网络和训练后的增强主网络；所述将所述第一视频中至少一个第一图像输入到训练后的增强网络中，得到增强后的至少一个第二图像，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第二视频确定目标视频，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第二视频确定目标视频，还包括：
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求2所述的方法，其特征在于，所述基于所述增强参数通过所述训练后的增强主网络对输入的所述至少一个第一图像进行处理，得到增强后的所述至少一个第二图像，包括：
8.一种图像增强方法，其特征在于，应用于训练后的增强网络，所述训练后的增强网络包括训练后的增强子网络和训练后的增强主网络，所述方法包括：
9.一种模型训练方法，其特征在于，包括
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：将所述增强主网络中卷积模块组由第一数量修改为第二数量，其中，所述第二数量小于所述第一数量；
11.一种视频码率处理装置，其特征在于，包括：
12.一种图像增强装置，其特征在于，包括：
13.一种电子设备，其特征在于，所述电子设备包括：
14.一种计算机可存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至7、或者权利要求8、或者9至10任项所述的方法。
...【技术特征摘要】
1.一种视频码率处理方法，其特征在于，方法包括：
2.根据权利要求1所述的方法，其特征在于，所述训练后的增强网络包括训练后的增强子网络和训练后的增强主网络；所述将所述第一视频中至少一个第一图像输入到训练后的增强网络中，得到增强后的至少一个第二图像，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第二视频确定目标视频，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第二视频确定目标视频，还包括：
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求2所述的方法，其特征在于，所述基于所述增强参数通过所述训练后的增强主网络对输入的所述至少一个第一图像进行处理，...
【专利技术属性】
技术研发人员：呼萌，
申请(专利权)人：微梦创科网络科技中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。