【技术实现步骤摘要】
本公开涉及数据处理领域，尤其涉及一种视频去噪方法、装置、设备及存储介质。
技术介绍
1、在低照度下，由于环境照度低，曝光时间受限，进入到图像传感器的光子数量少，高噪声水平严重影响成像质量。提高曝光时间会导致运动物体成像模糊，且不利于获得流畅视频效果。
2、常见手段是利用深度视频去噪网络将连续5帧图像和噪声估计图作为网络的输入，通过级联的2个共享参数的深度学习网络对当前帧图像进行降噪处理，通过神经网络学习的方式处理帧间的运动，不做显示的运动估计。该方案在低照度下降噪效果较差，特别是大面积的运动区域处的细节恢复不佳，且视频降噪力度不可设置。
技术实现思路
1、本公开提供了一种视频方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
2、根据本公开的第一方面，提供了一种视频去噪方法，所述方法包括：
3、获取待处理视频数据，以帧为单位将所述视频数据拆解为第一格式的图像，形成第一图像集；
4、将所述第一图像集中的图像进行格式转换，得到第二格式的图像，转换后的第二格式的图像形成第二图像集；
5、将所述第二图像集中的第一帧图像作为初始融合图像，所述第二图像集中从第二帧图像开始，逐帧与前一帧图像进行叠加，得到相应的融合图像；
6、基于所述融合图像的图像信息建立噪声图像，将所述融合图像和所述噪声图像输入第一降噪模型，训练生成降噪图像；
7、将所述降噪图像转换为第一格式的降噪图像，按帧顺序将所述第一格式
8、在一可实施方式中，所述逐帧与前一帧图像进行叠加，得到相应的融合图像，包括：
9、将所述第二数据集中从第二帧图像开始，逐帧与前一帧的融合图像对应位置的像素值相减，并对结果取绝对值，得到所述从第二帧图像开始相应的第一结果，基于所述第一结果设置第一参数，将所述第一参数与所述第一结果各个位置的像素值相乘，得到所述从第二帧图像开始对应第一输出对象，并设置第一范围作为所述第一输出对象各个位置像素值的输出范围；
10、利用循环神经网络，基于带噪图像和对应的清晰图像建立并训练第一融合模型，基于训练结果调整所述第一融合模型的融合参数，获取所述视频数据的噪声偏差参数，将所述噪声偏差参数和所述第一输出对象作为所述第一融合模型的输入，通过调整所述融合参数，并将所述第一范围设置为所述融合模型输出的图像每个位置的像素范围，生成所述从第二帧图像开始相应的融合权重图像；
11、将所述从第二帧图像开始的逐帧图像和所述相应的融合权重图像对应位置的像素值相乘，得到相应的第二结果，利用第一数值减去所述相应的融合权重图像中各个位置的像素值，得到相应的第三结果，将所述前一帧的融合图像与所述相应的第三结果对应位置的像素值相乘，得到相应的第四结果，将所述相应的第二结果和相应的第四结果对应位置的像素值相加，得到所述相应的融合图像。
12、在一可实施方式中，所述方法还包括：
13、基于所述融合权重图像的像素设置像素阈值，将所述从第二帧图像开始的逐帧图像相应的融合权重图像中的各个位置的像素值与所述像素阈值进行比较，若比较结果为所述像素值大于所述像素阈值，则将该像素值修改为1，其余比较结果则保留原像素值，基于所述比较结果和所述融合权重图像的格式生成相应的第一二值图像；
14、基于所述第一二值图像设置膨胀核参数，基于所述膨胀核参数，将所述从第二帧图像开始的逐帧图像相应的第一二值图像进行图像膨胀，得到相应的第二二值图像；
15、将所述从第二帧图像开始的逐帧图像和所述相应的第二二值图像对应位置的像素值相乘，得到相应的第五结果，利用第一数值减去所述相应的第二二值图像中各个位置的像素值，得到相应的第六结果，将所述前一帧的融合图像与所述相应的第六结果对应位置的像素值相乘，得到相应的第七结果，将所述相应的第五结果和所述相应的第七结果对应位置的像素值相加，得到所述相应的校正图像。
16、在一可实施方式中，所述基于所述融合图像的图像信息建立噪声图像，将所述融合图像和所述噪声图像输入第一降噪模型，训练生成降噪图像，包括：
17、基于所述融合图像或所述校正图像的清晰度设置降噪力度控制参数；
18、将所述融合图像或所述校正图像作为第一处理函数的输入，并基于所述融合图像或校正图像的属性信息设置所述第一处理函数输出的图像的长和宽，得到相应的第一处理图像；
19、将所述融合图像或所述校正图像与所述相应的第一处理图像对应位置的像素值相减，并对相减后的像素值取绝对值，基于所述绝对值和降噪力度控制参数，建立所述相应的噪声图像；
20、将所述第二图像集中每一帧图像对应的噪声图像，所述融合图像或所述校正图像输入第一降噪模型，训练生成逐帧图像相应的降噪图像。
21、在一可实施方式中，所述将所述第一图像集中的图像进行格式转换，得到第二格式的图像，转换后的第二格式的图像形成第二图像集，还包括：
22、获取所述视频数据的亮度增益值，基于所述第一格式图像的黑电平值和所述第一格式图像的最大可取值，对所述格式转换后的图像的像素值进行调整，并将所述亮度增益值与所述调整后的图像的像素值相乘，得到第二图像集。
23、根据本公开的第二方面，提供了一种视频去噪装置，所述装置包括：
24、第一数据处理模块，用于获取待处理视频数据，以帧为单位将所述视频数据拆解为第一格式的图像，形成第一图像集；将所述第一图像集中的图像进行格式转换，得到第二格式的图像，转换后的第二格式的图像形成第二图像集；
25、融合模块，用于，将所述第二图像集中的第一帧图像作为初始融合图像，所述第二图像集中从第二帧图像开始，逐帧与前一帧图像进行叠加，得到相应的融合图像；
26、降噪模块，用于，基于所述融合图像的图像信息建立噪声图像，将所述融合图像和所述噪声图像输入第一降噪模型，训练生成降噪图像；
27、第二数据处理模块，用于将所述降噪图像转换为第一格式的降噪图像，按帧顺序将所述第一格式的降噪图像进行合并，得到去噪视频数据。
28、在一可实施方式中，所述融合模块还用于，将所述第二数据集中从第二帧图像开始，逐帧与前一帧的融合图像对应位置的像素值相减，并对结果取绝对值，得到所述从第二帧图像开始相应的第一结果，基于所述第一结果设置第一参数，将所述第一参数与所述第一结果各个位置的像素值相乘，得到所述从第二帧图像开始对应第一输出对象，并设置第一范围作为所述第一输出对象各个位置像素值的输出范围；利用循环神经网络，基于带噪图像和对应的清晰图像建立并训练第一融合模型，基于训练结果调整所述第一融合模型的融合参数，获取所述视频数据的噪声偏差参数，将所述噪声偏差参数和所述第一输出对象作为所述第一融合模型的输入，通过调整所述融合参数，并将所述第一范围设置为所述融合模型输出的图像每个位置的像素范围，生成所述从第二帧图像开始相本文档来自技高网...
【技术保护点】
1.一种视频去噪方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述逐帧与前一帧图像进行叠加，得到相应的融合图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述融合图像的图像信息建立噪声图像，将所述融合图像和所述噪声图像输入第一降噪模型，训练生成降噪图像，包括：
5.根据权利要求1所述的方法，其特征在于，所述将所述第一图像集中的图像进行格式转换，得到第二格式的图像，转换后的第二格式的图像形成第二图像集，还包括：
6.一种视频去噪装置，其特征在于，所述装置包括：
7.根据权利要求6所述的装置，其特征在于，
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
9.一种电子设备，其特征在于，包括：
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1-5中任一项所述的方法。
【技术特征摘要】
1.一种视频去噪方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述逐帧与前一帧图像进行叠加，得到相应的融合图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述融合图像的图像信息建立噪声图像，将所述融合图像和所述噪声图像输入第一降噪模型，训练生成降噪图像，包括：
5.根据权利要求1所述的方法，其特征在于，所述将所述第一图像集...
【专利技术属性】
技术研发人员：罗文君，顾渝骢，
申请(专利权)人：智芯科合肥芯片设计有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。