视频去噪方法、装置、电子设备和可读存储介质制造方法及图纸

本申请公开了一种视频去噪方法、装置、电子设备和可读存储介质，属于视频处理技术领域。该方法包括：获取第一视频帧的第一位姿信息和第二视频帧的第二位姿信息，第一视频帧为待去噪视频帧，第二视频帧为参考视频帧；根据第一位姿信息和第二位姿信息，对第一视频帧与第二视频帧进行运动估计，得到第一运动估计信息，第一运动估计信息包括第一视频帧中像素与第二视频帧中像素的运动变化量；根据第一运动估计信息，对第一视频帧进行去噪处理。对第一视频帧进行去噪处理。对第一视频帧进行去噪处理。

【技术实现步骤摘要】
视频去噪方法、装置、电子设备和可读存储介质


[0001]本申请属于视频处理
，具体涉及一种视频去噪方法、装置、电子设备和可读存储介质。

技术介绍

[0002]噪声是影响电子设备(例如数字成像设备)拍摄或显示的视频画面质量的重要因素之一。现有的去噪方法主要可以分为图像去噪和视频(图像序列)去噪两大类。其中，视频去噪能够取得更好去噪效果。
[0003]目前，视频去噪的方式主要有基于三维滤波的视频去噪方法、基于块匹配的视频去噪方法、基于运动估计补偿的去噪方法以及基于深度学习的视频去噪方法。然而，上述方法中对视频去噪处理的效果较差。

技术实现思路

[0004]本申请实施例的目的是提供一种视频去噪方法、装置、电子设备和可读存储介质，能够提升电子设备处理视频噪声的效果。
[0005]第一方面，本申请实施例提供了一种视频去噪方法，该方法包括：获取第一视频帧的第一位姿信息和第二视频帧的第二位姿信息，第一视频帧为待去噪视频帧，第二视频帧为参考视频帧；根据第一位姿信息和第二位姿信息，对第一视频帧与第二视频帧进行运动估计，得到第一运动估计信息，第一运动估计信息包括第一视频帧中像素与第二视频帧中像素的运动变化量；根据第一运动估计信息，对第一视频帧进行去噪处理。
[0006]第二方面，本申请实施例提供了一种视频去噪装置，该装置包括：获取模块和处理模块。获取模块，用于获取第一视频帧的第一位姿信息和第二视频帧的第二位姿信息，第一视频帧为待去噪视频帧，第二视频帧为参考视频帧；处理模块，用于根据获取模块获取的第一位姿信息和第二位姿信息，对第一视频帧与第二视频帧进行运动估计，得到第一运动估计信息，第一运动估计信息包括第一视频帧中像素与第二视频帧中像素的运动变化量；并根据第一运动估计信息，对第一视频帧进行去噪处理。
[0007]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0008]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0009]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0010]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0011]在本申请实施例中，电子设备获取第一视频帧的第一位姿信息和第二视频帧的第二位姿信息，第一视频帧为待去噪视频帧，第二视频帧为参考视频帧；根据第一位姿信息和第二位姿信息，对第一视频帧与第二视频帧进行运动估计，得到第一运动估计信息，第一运动估计信息包括第一视频帧中像素与第二视频帧中像素的运动变化量；根据第一运动估计信息，对第一视频帧进行去噪处理。由于电子设备可以基于待去噪视频帧和参考视频帧的位姿信息，对待去噪视频帧和参考视频帧进行运动估计，得到第一视频帧中像素与第二视频帧中像素的运动变化量，即运动估计信息，然后电子设备可以根据视频帧中像素的运动变化量，对第一视频帧进行去噪处理。因此，电子设备可以充分利用来自位姿信息的运动估计信息，使得电子设备在对视频帧进行去噪时可以得到更高质量的处理结果，并减少了电子设备在对视频帧进行去噪时产生的的计算量，节省了电子设备的功耗，如此，电子设备可以得到更加优良的视频去噪效果。
附图说明
[0012]图1是本申请实施例提供的一种视频去噪方法的示意图之一；
[0013]图2是本申请实施例提供的一种视频去噪方法的实例示意图之一；
[0014]图3是本申请实施例提供的一种视频去噪方法的实例示意图之二；
[0015]图4是本申请实施例提供的一种视频去噪方法的示意图之三；
[0016]图5是本申请实施例提供的一种视频去噪方法的示意图之四；
[0017]图6是本申请实施例提供的一种视频去噪方法装置的结构示意图；
[0018]图7是本申请实施例提供的一种电子设备的硬件结构示意图之一；
[0019]图8是本申请实施例提供的一种电子设备的硬件结构示意图之二。
具体实施方式
[0020]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0021]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0022]下面对本专利技术实施例中涉及的一些术语/名词进行解释说明。
[0023]二维：2Dimension，2D
[0024]三维：3Dimension，3D
[0025]六自由度：6Degree of Freedom，6DoF
[0026]扩展现实：extented Reality，XR
[0027]尺度不变特征变换：Scale
‑
invariant feature transform，SIFT
[0028]加速分割测试特征：Features from Accelerated Segment Test，FAST
[0029]加速鲁棒特征：Speeded
‑
Up Robust Features，SURF
[0030]惯性测量单元：Inertial Measurement Unit，IMU
[0031]卷积神经网络：Convolutional Neural Network，CNN
[0032]U型网络：U
‑
shape Net，UNet
[0033]目前，电子设备(例如数字成像设备)可以用于拍摄图片或视频，或是以图像或图像序列信息的形式供后续的智能任务使用，如目标的检测识别与跟踪，因此，对于电子设备来说，好的成像质量，其重要性是不言而喻的。然而，噪声是影响数字成像设备画面质量的重要因素之一，在夜间、黎明、黄昏，以及桥底、隧道、峡谷、洞穴等低照度环境下，成像都受到噪声的挑战。
[0034]现有的去噪方法主要可以分为：图像去噪和视频(图像序列)去噪两大类。其中，图像去噪是视频去噪的基础。相较于图像去噪，视频去噪则多了时域连续信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频去噪方法，其特征在于，包括：获取第一视频帧的第一位姿信息和第二视频帧的第二位姿信息，所述第一视频帧为待去噪视频帧，所述第二视频帧为参考视频帧；根据所述第一位姿信息和第二位姿信息，对所述第一视频帧与所述第二视频帧进行运动估计，得到第一运动估计信息，所述第一运动估计信息包括所述第一视频帧中像素与第二视频帧中像素的运动变化量；根据所述第一运动估计信息，对所述第一视频帧进行去噪处理。2.根据权利要求1所述的方法，其特征在于，所述第一视频帧包括至少一个第一像素，所述第二视频帧包括至少一个第二像素；所述根据所述第一位姿信息和第二位姿信息，对所述第一视频帧与所述第二视频帧进行运动估计，得到第一运动估计信息，包括：根据所述第一位姿信息、所述第二位姿信息和目标内参，计算与第一目标像素匹配的第二目标像素，所述第一目标像素为所述至少一个第一像素中的像素，所述第二目标像素为所述至少一个第二像素中的像素，所述目标内参为采集所述第一视频帧和所述第二视频帧的相机内参；计算所述第一目标像素和所述第二目标像素的目标像素位移量，得到第一运动估计信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一运动估计信息，对所述第一视频帧进行去噪处理，包括：根据所述第一运动估计信息，计算与第三像素匹配的第四像素，所述第三像素为所述第一视频帧中的像素，所述第四像素为所述第二视频帧中的像素；基于块匹配策略在所述第一视频帧中搜索与所述第三像素匹配的至少一个第五像素；根据所述第四像素和所述至少一个第五像素，对所述第一视频帧中的所述第三像素进行时空滤波去噪处理。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一运动估计信息，对所述第一视频帧进行去噪处理，包括：基于卷积神经网络，对所述第一运动估计信息进行编码处理，得到编码运动估计信息；将所述第一视频帧和所述第二视频帧进行堆叠处理，得到视频帧矩阵；基于卷积神经网络，对所述视频帧矩阵进行编码处理，得到编码图像信息；将所述编码运动估计信息和所述编码图像信息进行融合处理，得到目标编码信息，对所述目标编码信息进行解码处理，得到第四视频帧，所述第四视频帧为所述第一视频帧去噪处理后得到的视频帧。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取至少一个第三视频帧的至少一个第三位姿信息，每一所述第三视...

【专利技术属性】
技术研发人员：谭鑫，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：