视频图像处理方法及装置制造方法及图纸

本申请公开了一种视频图像处理方法及装置。该方法包括：获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N

【技术实现步骤摘要】
视频图像处理方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种视频图像处理方法及装置。

技术介绍

[0002]随着手持相机和机载相机应用的日益普及，越来越多的人们通过相机拍摄视频，并可基于拍摄的视频进行处理，如无人机和自动驾驶汽车可基于拍摄的视频实现追踪、避障等功能。
[0003]由于相机晃动、失焦、拍摄对象高速运动等原因，拍摄的视频易产生模糊，如机器人行动时，由于相机抖动或拍摄对象的运动产生的模糊，这往往将导致拍摄失败或者无法基于视频进行进下一步处理。传统方法通过光流或神经网络可去除视频图像中的模糊，但去模糊效果均较差。

技术实现思路

[0004]本申请提供一种视频图像处理方法，以去除视频图像中的模糊。
[0005]第一方面，提供了一种视频图像处理方法，包括：获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N
‑
1帧图像以及第N
‑
1帧去模糊后的图像，所述N为正整数；基于所述第N帧图像、所述第N
‑
1帧图像以及所述第N
‑
1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。
[0006]通过第一方面提供的技术方案，可得到视频图像中第N帧图像的去模糊卷积核，再通过第N帧图像的去模糊卷积核对第N帧图像进行卷积处理，可有效地去除第N帧图像中的模糊，得到第N帧去模糊后的图像。
[0007]在一种可能实现的方式中，所述基于所述第N帧图像、所述第N
‑
1帧图像以及所述第N
‑
1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核，包括：对待处理图像的像素点进行卷积处理，得到去模糊卷积核，其中，所述待处理图像由所述第N帧图像、所述第N
‑
1帧图像以及所述第N
‑
1帧去模糊后的图像在通道维度上进行叠加得到。
[0008]在该种可能实现的方式中，基于第N
‑
1帧图像的像素点以及第N
‑
1帧去模糊后的图像的像素点之间的去模糊信息，得到像素点的去模糊卷积核，并用该去模糊卷积核对第N帧图像中对应的像素点进行去卷积处理，以去除第N帧图像中像素点的模糊；通过为第N帧图像中的每个像素点分别生成一个去模糊卷积核，可去除对第N帧图像(非均匀模糊图像)中的模糊，去模糊后的图像清晰、自然。
[0009]在另一种可能实现的方式中，所述对待处理图像的像素点进行卷积处理，得到去模糊卷积核，包括：对所述待处理图像进行卷积处理，以提取所述第N
‑
1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核，其中，所述运动信息包括速度和方向；对所述对齐卷积核进行编码处理，得到所述去模糊卷积核。
[0010]在该种可能实现的方式中，基于第N
‑
1帧图像的像素点以及第N帧图像的像素点之
间的运动信息，得到像素点的对齐卷积核，后续可通过该对齐核进行对齐处理。再通过对对齐核进行卷积处理，提取出第N
‑
1帧图像的像素点与第N
‑
1帧去模糊后的图像的像素点之间的去模糊信息，得到去模糊核，可使去模糊核既包含第N
‑
1帧图像的像素点与第N
‑
1帧去模糊后的图像的像素点之间的去模糊信息，又包含了第N
‑
1帧图像的像素点与第N帧图像的像素点之间的运动信息，有利于提升去除第N帧图像的模糊的效果。
[0011]在又一种可能实现的方式中，所述通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像，包括：通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像；对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像。
[0012]在该种可能实现的方式中，通过去模糊卷积核对第N帧图像的特征图像进行去模糊处理，可减小去模糊过程的数据处理量，提高处理速度快。
[0013]在又一种可能实现的方式中，所述通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像，包括：调整所述去模糊卷积核的维度，使所述去模糊卷积核的通道数与所述第N帧图像的特征图像的通道数相同；通过调整维度后的所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到所述第一特征图像。
[0014]在该种可能实现的方式中，通过调整去模糊卷积核的维度，使去模糊卷积核的维度与第N帧图像的特征图像的维度相同，进而实现通过调整维度去模糊卷积核对第N帧图像的特征图像进行卷积处理。
[0015]在又一种可能实现的方式中，所述对所述待处理图像进行卷积处理，以提取所述第N
‑
1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核之后，还包括：通过所述对齐卷积核对所述第N
‑
1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像。
[0016]在该种可能实现的方式中，通过对齐卷积核对第N
‑
1帧图像的特征图像的像素点进行卷积处理，实现将第N
‑
1帧图像的特征图像向第N帧时刻对齐。
[0017]在又一种可能实现的方式中，所述通过所述对齐卷积核对所述第N
‑
1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像，包括：调整所述对齐卷积核的维度，使所述对齐卷积核的通道数与所述第N
‑
1帧图像的特征图像的通道数相同；通过调整维度后的所述对齐卷积核对所述第N
‑
1帧去模糊后的图像的特征图像的像素点进行卷积处理，得到所述第二特征图像。
[0018]在该种可能实现的方式中，通过调整去对齐卷积核的维度，使去对齐卷积核的维度与第N
‑
1帧图像的特征图像的维度相同，进而实现通过调整维度对齐卷积核对第N
‑
1帧图像的特征图像进行卷积处理。
[0019]在又一种可能实现的方式中，所述对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像，包括：对所述第一特征图像和所述第二特征图像进行融合处理，得到第三特征图像；对所述第三特征图像进行解码处理，得到所述第N帧去模糊后的图像。
[0020]在该种可能实现的方式中，通过将第一特征图像和第二特征图像进行融合，提升对第N帧图像的去模糊的效果，再对融合后的第三特征图像进行解码处理得到第N帧去模糊后的图像。
[0021]在又一种可能实现的方式中，所述对所述待处理图像进行卷积处理，以提取所述第N
‑
1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核，包括：对所述第N帧图像、所述第N
‑
1帧图像以及所述第N
‑
1帧去模糊后的图像在通道维度上进行叠本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频图像处理方法，其特征在于，包括：获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N
‑
1帧图像以及第N
‑
1帧去模糊后的图像，所述N为正整数；对所述第N帧图像、所述第N
‑
1帧图像以及所述第N
‑
1帧去模糊后的图像在通道维度上进行叠加处理，得到所述待处理图像；对所述待处理图像进行编码处理，得到第四特征图像；对所述第四特征图像进行卷积处理，得到第五特征图像；通过卷积处理将所述第五特征图像的通道数调整至第一预设值，得到所述对齐卷积核；对所述对齐卷积核进行编码处理，得到所述去模糊卷积核；通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。2.根据权利要求1所述的方法，其特征在于，所述通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像，包括：通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像；对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像。3.根据权利要求2所述的方法，其特征在于，所述通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像，包括：调整所述去模糊卷积核的维度，使所述去模糊卷积核的通道数与所述第N帧图像的特征图像的通道数相同；通过调整维度后的所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到所述第一特征图像。4.根据权利要求1所述的方法，其特征在于，所述通过卷积处理将所述第五特征图像的通道数调整至第一预设值，得到所述对齐卷积核之后，还包括：通过所述对齐卷积核对所述第N
‑
1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像。5.根据权利要求4所述的方法，其特征在于，所述通过所述对齐卷积核对所述第N
‑
1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像，包括：调整所述对齐卷积核的维度，使所述对齐卷积核的通道数与所述第N
‑
1帧图像的特征图像的通道数相同；通过调整维度后的所述对齐卷积核对所述第N
‑
1帧去模糊后的图像的特征图像的像素点进行卷积处理，得到所述第二特征图像。6.根据权利要求5所述的方法，其特征在于，所述对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像，包括：对所述第一特征图像和所述第二特征图像进行融合处理，得到第三特征图像；对所述第三特征图像进行解码处理，得到所述第N帧去模糊后的图像。7.根据权利要求1所述的方法，其特征在于，所述对齐卷积核进行编码处理，得到所述去模糊卷积核，包括：
通过卷积处理将所述对齐卷积核的通道数调整至第二预设值，得到第六特征图像；对所述第四特征图像和所述第六特征图像进行融合处理，得到第七特征图像；对所述第七特征图像进行卷积处理，以提取所述第N

【专利技术属性】
技术研发人员：周尚辰，张佳维，任思捷，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：