视频图像处理方法及装置制造方法及图纸

本申请公开了一种视频图像处理方法及装置。该方法包括：获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N‑1帧图像以及第N‑1帧去模糊后的图像，所述N为正整数；基于所述第N帧图像、所述第N‑1帧图像以及所述第N‑1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。还公开了相应的装置。实施该方法能够高效地去除视频图像中的模糊，得到更为清晰的图像。

Video Image Processing Method and Device

【技术实现步骤摘要】
视频图像处理方法及装置
本申请涉及图像处理
，尤其涉及一种视频图像处理方法及装置。
技术介绍
随着手持相机和机载相机应用的日益普及，越来越多的人们通过相机拍摄视频，并可基于拍摄的视频进行处理，如无人机和自动驾驶汽车可基于拍摄的视频实现追踪、避障等功能。由于相机晃动、失焦、拍摄对象高速运动等原因，拍摄的视频易产生模糊，如机器人行动时，由于相机抖动或拍摄对象的运动产生的模糊，这往往将导致拍摄失败或者无法基于视频进行进下一步处理。传统方法通过光流或神经网络可去除视频图像中的模糊，但去模糊效果均较差。
技术实现思路
本申请提供一种视频图像处理方法，以去除视频图像中的模糊。第一方面，提供了一种视频图像处理方法，包括：获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像，所述N为正整数；基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。通过第一方面提供的技术方案，可得到视频图像中第N帧图像的去模糊卷积核，再通过第N帧图像的去模糊卷积核对第N帧图像进行卷积处理，可有效地去除第N帧图像中的模糊，得到第N帧去模糊后的图像。在一种可能实现的方式中，所述基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核，包括：对待处理图像的像素点进行卷积处理，得到去模糊卷积核，其中，所述待处理图像由所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像在通道维度上进行叠加得到。在该种可能实现的方式中，基于第N-1帧图像的像素点以及第N-1帧去模糊后的图像的像素点之间的去模糊信息，得到像素点的去模糊卷积核，并用该去模糊卷积核对第N帧图像中对应的像素点进行去卷积处理，以去除第N帧图像中像素点的模糊；通过为第N帧图像中的每个像素点分别生成一个去模糊卷积核，可去除对第N帧图像(非均匀模糊图像)中的模糊，去模糊后的图像清晰、自然。在另一种可能实现的方式中，所述对待处理图像的像素点进行卷积处理，得到去模糊卷积核，包括：对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核，其中，所述运动信息包括速度和方向；对所述对齐卷积核进行编码处理，得到所述去模糊卷积核。在该种可能实现的方式中，基于第N-1帧图像的像素点以及第N帧图像的像素点之间的运动信息，得到像素点的对齐卷积核，后续可通过该对齐核进行对齐处理。再通过对对齐核进行卷积处理，提取出第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，得到去模糊核，可使去模糊核既包含第N-1帧图像的像素点与第N-1帧去模糊后的图像的像素点之间的去模糊信息，又包含了第N-1帧图像的像素点与第N帧图像的像素点之间的运动信息，有利于提升去除第N帧图像的模糊的效果。在又一种可能实现的方式中，所述通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像，包括：通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像；对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像。在该种可能实现的方式中，通过去模糊卷积核对第N帧图像的特征图像进行去模糊处理，可减小去模糊过程的数据处理量，提高处理速度快。在又一种可能实现的方式中，所述通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像，包括：调整所述去模糊卷积核的维度，使所述去模糊卷积核的通道数与所述第N帧图像的特征图像的通道数相同；通过调整维度后的所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到所述第一特征图像。在该种可能实现的方式中，通过调整去模糊卷积核的维度，使去模糊卷积核的维度与第N帧图像的特征图像的维度相同，进而实现通过调整维度去模糊卷积核对第N帧图像的特征图像进行卷积处理。在又一种可能实现的方式中，所述对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核之后，还包括：通过所述对齐卷积核对所述第N-1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像。在该种可能实现的方式中，通过对齐卷积核对第N-1帧图像的特征图像的像素点进行卷积处理，实现将第N-1帧图像的特征图像向第N帧时刻对齐。在又一种可能实现的方式中，所述通过所述对齐卷积核对所述第N-1帧图像的特征图像的像素点进行卷积处理，得到第二特征图像，包括：调整所述对齐卷积核的维度，使所述对齐卷积核的通道数与所述第N-1帧图像的特征图像的通道数相同；通过调整维度后的所述对齐卷积核对所述第N-1帧去模糊后的图像的特征图像的像素点进行卷积处理，得到所述第二特征图像。在该种可能实现的方式中，通过调整去对齐卷积核的维度，使去对齐卷积核的维度与第N-1帧图像的特征图像的维度相同，进而实现通过调整维度对齐卷积核对第N-1帧图像的特征图像进行卷积处理。在又一种可能实现的方式中，所述对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像，包括：对所述第一特征图像和所述第二特征图像进行融合处理，得到第三特征图像；对所述第三特征图像进行解码处理，得到所述第N帧去模糊后的图像。在该种可能实现的方式中，通过将第一特征图像和第二特征图像进行融合，提升对第N帧图像的去模糊的效果，再对融合后的第三特征图像进行解码处理得到第N帧去模糊后的图像。在又一种可能实现的方式中，所述对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核，包括：对所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像在通道维度上进行叠加处理，得到所述待处理图像；对所述待处理图像进行编码处理，得到第四特征图像；对所述第四特征图像进行卷积处理，得到第五特征图像；通过卷积处理将所述第五特征图像的通道数调整至第一预设值，得到所述对齐卷积核。在该种可能实现的方式中，通过对待处理图像进行卷积处理，提取第N-1帧图像的像素点相对于第N帧图像的像素点的运动信息，为方便后续处理再通过卷积处理将第五特征图像的通道数调整至第一预设值。在又一种可能实现的方式中，所述对齐卷积核进行编码处理，得到所述去模糊卷积核，包括：通过卷积处理将所述对齐卷积核的通道数调整至第二预设值，得到第六特征图像；对所述第四特征图像和所述第六特征图像进行融合处理，得到第七特征图像；对所述第七特征图像进行卷积处理，以提取所述第N-1帧去模糊后的图像的像素点相对于所述第N-1帧图像的像素点的去模糊信息，得到所述去模糊卷积核。在该种可能实现的方式中，通过对对齐卷积核进行卷积处理得到去模糊卷积核，可使去模糊卷积核不仅包含第N-1帧图像的像素点相对于第N帧图像的像素点的运动信息，还包含第N-1帧去模糊后的图像的像素点相对于第N-1帧图像的像素点的去模糊信息，提高后续通过去模糊卷积核去除第N帧图像的模糊的效果。在又一种可能实现的方式中，所述对所述第七特征图像本文档来自技高网...

【技术保护点】
1.一种视频图像处理方法，其特征在于，包括：获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N‑1帧图像以及第N‑1帧去模糊后的图像，所述N为正整数；基于所述第N帧图像、所述第N‑1帧图像以及所述第N‑1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。

【技术特征摘要】
1.一种视频图像处理方法，其特征在于，包括：获取多帧连续视频图像，其中，所述多帧连续视频图像包括第N帧图像、第N-1帧图像以及第N-1帧去模糊后的图像，所述N为正整数；基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核；通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像，得到所述第N帧图像的去模糊卷积核，包括：对待处理图像的像素点进行卷积处理，得到去模糊卷积核，其中，所述待处理图像由所述第N帧图像、所述第N-1帧图像以及所述第N-1帧去模糊后的图像在通道维度上进行叠加得到。3.根据权利要求2所述的方法，其特征在于，所述对待处理图像的像素点进行卷积处理，得到去模糊卷积核，包括：对所述待处理图像进行卷积处理，以提取所述第N-1帧图像的像素点相对于所述第N帧图像的像素点的运动信息，得到对齐卷积核，其中，所述运动信息包括速度和方向；对所述对齐卷积核进行编码处理，得到所述去模糊卷积核。4.根据权利要求2或3所述的方法，其特征在于，所述通过所述去模糊卷积核对所述第N帧图像进行去模糊处理，得到第N帧去模糊后的图像，包括：通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图像；对所述第一特征图像进行解码处理，得到所述第N帧去模糊后的图像。5.根据权利要求4所述的方法，其特征在于，所述通过所述去模糊卷积核对所述第N帧图像的特征图像的像素点进行卷积处理，得到第一特征图...

【专利技术属性】
技术研发人员：周尚辰，张佳维，任思捷，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44