一种视频图像超分辨率重建方法及装置制造方法及图纸

本发明专利技术是关于一种视频图像超分辨率重建方法及装置，包括：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；从连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；将图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。该方法利用单帧超分辨率重建和多帧超分辨率重建相结合，大幅度提高双动态视频图像中目标物体的图像质量。

Method and apparatus for super resolution reconstruction of video image

The present invention relates to a video image super-resolution reconstruction method and device, including: a continuous multi frame low resolution image acquisition camera motion in the same scene; continuous multi frame low resolution image of target object from the continuous multi frame low resolution image; measure the continuous multi frame low resolution image of target object image quality the low resolution image, the target object to obtain the optimal image quality; the low resolution image object optimal image quality for single Zhengchao resolution reconstruction, high resolution processing for frame interpolation, low resolution image of target object to high resolution processing frame outside, get a high resolution reference frame; the high resolution to be a high resolution processing frame and the reference frame for the multi frame super-resolution reconstruction, object image super resolution. The method using single Zhengchao resolution and multi frame super-resolution reconstruction combined, greatly improve the image quality of dual dynamic video image object.

【技术实现步骤摘要】

本专利技术涉及视频图像处理方法
，尤其涉及一种视频图像超分辨率重建方法及装置。
技术介绍
随着我国平安城市建设的开展以及智慧城市建设的启动，遍布城市各个角落以及各种执法车辆上的摄像头捕捉的各种视频信息，在保障城市安全、提高城市管理效能等方面发挥了重要作用。由于目标物体的运动以及摄像头分辨率低的原因，摄像头获得的视频图像存在着模糊以及分辨率较低的退化现象，当从视频图像中获取目标物体的相关信息时，首先需要对这些视频图像进行超分辨率重建，获得超分辨率的图像，进而获得目标物体的相关信息。目前的视频图像超分辨率重建方法是：获取同一场景连续多帧的低分辨率图像，根据所述视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，选择一个像元内连续多帧的亚像素图像；根据多帧亚像素图像的图像序列帧，选择目标物体，并进行块状目标的运动估计；根据运动估计结果，采用非均匀内插的重建算法，重建一幅超分辨图像。由于摄像头的状态不同，获得的视频分为单动态视频和双动态视频两种，所述单动态视频是指摄像头固定不动，被拍摄物运动的视频图像，所述双动态视频是指摄像头和被拍摄物都运动的视频图像。上述视频图像超分辨率重建方法在处理单动态视频图像时，能够获得较清晰的图像，但是在处理双动态视频图像时，由于拍摄双动态视频图像的摄像头和被拍摄物体都在运动，致使视频图像退化现象更严重，导致在利用上述重建方法获得的超分辨图像中的目标物体的分辨率低。
技术实现思路
为克服相关技术中存在的问题，本专利技术提供一种视频图像超分辨率重建方法及装置。根据本专利技术实施例的第一方面，提供一种视频图像超分辨率重建方法，包括：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。优选地，所述衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像，包括：计算所述连续多帧低分辨率目标物体图像的平均梯度；对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。优选地，所述将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，包括：获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。优选地，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，包括：采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。优选地，所述对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，包括：将所述高分辨率待处理帧划分成若干图像块；利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。根据本专利技术实施例的第二方面，提供一种视频图像超分辨率重建装置，包括：低分辨率场景图像获取模块，用于获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；目标物体图像获取模块，用于从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；图像质量衡量模块，用于衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；高分辨率目标图像获取模块，用于将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；超分辨率目标图像获取模块，用于对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。优选地，所述图像质量衡量模块包括：计算单元，用于计算所述连续多帧低分辨率目标物体图像的平均梯度；对比单元，用于对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；最优低分辨率目标图像确定单元，用于将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。优选地，所述高分辨率目标图像获取模块包括：训练样本获取单元，用于获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；稀疏关联关系确定单元，用于将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；第一图像块划分单元，用于将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；特征向量计算单元，用于计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；稀疏字典编码单元，用于将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。优选地，所述高分辨率目标图像获取模块还包括：插值单元，用于采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。优选地，所述超分辨率目标图像获取模块包括：第二图像块划分单元，用于将所述高分辨率待处理帧划分成若干图像块；运动估计单元，用于利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；最佳匹配块获取单元，用于计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；高分辨率待处理帧修正单元，用于利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。本专利技术的实施例提供的技术方案可以包括以下有益效果：本专利技术实施例提供的一种视本文档来自技高网...

【技术保护点】
一种视频图像超分辨率重建方法，其特征在于，包括：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。

【技术特征摘要】
1.一种视频图像超分辨率重建方法，其特征在于，包括：获取运动摄像头在同一场景拍摄的连续多帧低分辨率图像；从所述连续多帧低分辨率图像中获得连续多帧低分辨率目标物体图像；衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像；将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，得到高分辨率待处理帧，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，得到多张高分辨率参考帧；对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，得到超分辨率目标物体图像。2.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述衡量所述连续多帧低分辨率目标物体图像的图像质量，获取图像质量最优的低分辨率目标物体图像，包括：计算所述连续多帧低分辨率目标物体图像的平均梯度；对比所述连续多帧低分辨率目标物体图像的平均梯度，得到平均梯度最大的低分辨率目标物体图像；将所述平均梯度最大的低分辨率目标物体图像作为图像质量最优的低分辨率目标物体图像。3.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述将所述图像质量最优的低分辨率目标物体图像进行单帧超分辨率重建，包括：获取训练样本，其中，所述训练样本包括训练样本库中若干相匹配的高分辨率图像块和低分辨率图像块的特征向量组成的特征向量对，所述特征向量为相对应图像块的若干区域梯度组成的梯度向量；将所述训练样本在预设的稀疏字典编码超分辨率模型进行稀疏编码，建立所述高分辨率图像块和低分辨率图像块的稀疏关联关系；将所述图像质量最优的低分辨率目标物体图像划分为若干图像块；计算所述图像质量最优的低分辨率目标物体图像的所有图像块的特征向量；将所述图像质量最优的低分辨率目标物体图像的图像块的特征向量分别输入所述稀疏字典编码超分辨率模型，根据所述稀疏关联关系，得到所述高分辨率待处理帧。4.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述高分辨率待处理帧以外的其他低分辨率目标物体图像进行插值，包括：采用8阶对称插值滤波器对所述其他分辨率目标物体图像进行半像素插值，采用7阶非对称插值滤波器对所述其他分辨率目标物体图像进行四分之一像素插值。5.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述对所述高分辨率待处理帧和多张高分辨率参考帧进行多帧超分辨率重建，包括：将所述高分辨率待处理帧划分成若干图像块；利用运动估计方法对所述高分辨率待处理帧和多张高分辨率参考帧进行图像配准，得到所述多张高分辨率参考帧中与所述高分辨率待处理帧的图像块对应的匹配块；计算所述匹配块的平均梯度，获取最佳匹配块，其中，所述最佳匹配块包括平均梯度大于预设图像块梯度阈值与运动系数乘积的所有匹配块；利用所述最佳匹配块分别对所述高分辨率待处理帧对应的图像块进行修正，得到所述超分辨率目标物体图像。6.一种视频图像超分辨率重建装置，其特征在于，包括：低分辨率场景图像获取模块，用于获取运动摄像头在同一场景拍摄的连续多帧低分...

【专利技术属性】
技术研发人员：史方，王标，樊强，
申请(专利权)人：同观科技深圳有限公司，
类型：发明
国别省市：广东;44