一种基于时域插值的高速高分辨率视频生成方法和装置制造方法及图纸

本申请涉及一种基于时域插值的高速高分辨率视频生成方法和装置。所述方法包括，获取对预设区域进行拍摄的高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致。对亮度调节高速视频和高分辨率视频进行配准，并获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据，高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。本申请以高速视频的时域信息为参考，对高分辨率的低速视频图像进行时域插值处理，将高速相机获得的同一场景图像转换为高空间分辨率图像，能够不受成像硬件限制，得到拍摄场景真实信息的高速高分辨率视频。分辨率视频。分辨率视频。

【技术实现步骤摘要】
一种基于时域插值的高速高分辨率视频生成方法和装置


[0001]本申请涉及视频图像处理
，特别是涉及一种基于时域插值的高速高分辨率视频生成方法和装置。

技术介绍

[0002]在使用高速相机对场景进行拍摄成像时，因为传输速率和相机硬件的限制，高速相机的空间分辨率一般不能太高，而高分辨率相机的时间分辨率较低，因此难以直接通过硬件装置拍摄获取高时空分辨率的视频图像。常用的图像超分和图像序列插帧算法，由于没有真实场景的高分辨率信息作为参考，因此得到的高时空分辨率视频与真实场景之间存在较大差异。本申请通过软件处理算法，以高速相机拍摄视频的时域信息为参考，对分辨率相机拍摄的视频图像进行时域差异处理，得到同一场景高分辨率的视频，生成的高速高分辨视频与真实场景具有较高的相似性，提供一种高时空分辨率视频的获取方法。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够得到拍摄场景真实信息的高速高分辨率的一种基于时域插值的高速高分辨率视频生成方法和装置。
[0004]一种基于时域插值的高速高分辨率视频生成方法，所述方法包括：
[0005]获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
[0006]对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
[0007]获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
[0008]其中一个实施例中，获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据的步骤之后，还包括：
[0009]去除高速高分辨率视频数据的差值图像中的异常像素点。
[0010]其中一个实施例中，将高速视频数据的亮度分布调节为与高分辨率视频数据一致的方式包括：
[0011]使用直方图规定化技术将高速视频图像的亮度分布调节为与高分辨率视频数据一致。
[0012]其中一个实施例中，对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间的方式包括：
[0013]使用SURF(Speeded Up Robust Features)特征点检测和描述算子技术，分别提取高分辨率视频数据和亮度调节高速视频数据的响应特征，得到提取到的特征点的初始匹配数据。
[0014]使用随机抽样一致性(RANSAC，RANdom SAmple Consensus)算法对初始匹配数据进行提纯，得到对应的单应变换矩阵，根据单应变换矩阵对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间。
[0015]其中一个实施例中，获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据的步骤包括：
[0016]获取高分辨率视频中的相邻的第一图像帧数据和第二图像帧数据，以及分别获取第一图像帧数据和第二图像帧数据在亮度调节高速视频中对应的第一对应图像帧数据和第二对应图像帧数据。
[0017]计算第一对应图像帧数据和第二对应图像帧数据在预设位置的参考时域梯度值。
[0018]根据第一图像帧数据和第二图像帧数据在预设位置的像素值进行时域插值，使时域插值后在预设位置的时域梯度值和参考时域梯度值的差小于预设值。
[0019]其中一个实施例中，去除高速高分辨率视频数据的差值图像中的异常像素点的方式包括：
[0020]通过线性映射的方式将高速高分辨率视频数据中的像素值映射到预设的取值空间。
[0021]一种基于时域插值的高速高分辨率视频生成装置，所述装置包括：
[0022]亮度调节模块，用于获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
[0023]视频配准模块，用于对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
[0024]时域插值模块，用于获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
[0025]其中一个实施例中，所述装置还包括异常像素点去除模块，用于去除高速高分辨率视频数据的差值图像中的异常像素点。
[0026]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0027]获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
[0028]对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
[0029]获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
[0030]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0031]获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，得到亮度调节高速视频数据。
[0032]对亮度调节高速视频和高分辨率视频进行配准，将高分辨率视频数据投影到亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据。
[0033]获取亮度调节高速视频的时域梯度数据，根据时域梯度数据对投影高分辨率视频进行时域插值，得到高速高分辨率视频数据。高速高分辨率视频数据和亮度调节高速视频的时域梯度差值小于预设值。
[0034]与现有技术相比，上述一种基于时域插值的高速高分辨率视频生成方法、装置、计算机设备和存储介质，对于同一区域的高分辨率视频数据和高速视频数据，将高速视频数据的亮度分布调节为与高分辨率视频数据一致，将高分辨率视频数据投影到亮度调节后的高速视频数据对应的图像空间，并根据高速视频的时域梯度数据，以获得的时域梯度数据为参考，对高分辨率视频进行时域插值，使插值获得的高速高分辨率视频数据的时域梯度和高速视频的时域梯度尽可能接近。本申请以高速视频的时域信息为参考，对高分辨率的低速视频图像进行时域插值处理，将高速相机获得的同一场景图像转换为高空间分辨率图像，能够不受成像硬件限制，得到拍摄场景真实信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时域插值的高速高分辨率视频生成方法，其特征在于，所述方法包括：获取对预设区域进行拍摄得到高分辨率视频数据和高速视频数据，将所述高速视频数据的亮度分布调节为与所述高分辨率视频数据一致，得到亮度调节高速视频数据；对所述亮度调节高速视频和所述高分辨率视频进行配准，将所述高分辨率视频数据投影到所述亮度调节高速视频数据对应的图像空间，得到投影高分辨率视频数据；获取所述亮度调节高速视频的时域梯度数据，根据所述时域梯度数据对所述投影高分辨率视频进行时域插值，得到高速高分辨率视频数据；所述高速高分辨率视频数据和所述亮度调节高速视频的时域梯度差值小于预设值。2.根据权利要求1所述的方法，其特征在于，获取所述亮度调节高速视频的时域梯度数据，根据所述时域梯度数据对所述投影高分辨率视频进行时域插值，得到高速高分辨率视频数据的步骤之后，还包括：去除所述高速高分辨率视频数据的差值图像中的异常像素点。3.根据权利要求1所述的方法，其特征在于，将所述高速视频数据的亮度分布调节为与所述高分辨率视频数据一致的方式包括：使用直方图规定化技术将所述高速视频图像的亮度分布调节为与所述高分辨率视频数据一致。4.根据权利要求1所述的方法，其特征在于，对所述亮度调节高速视频和所述高分辨率视频进行配准，将所述高分辨率视频数据投影到所述亮度调节高速视频数据对应的图像空间的方式包括：使用SURF特征点检测和描述算子技术，分别提取所述高分辨率视频数据和所述亮度调节高速视频数据的响应特征，得到提取到的特征点的初始匹配数据；使用随机抽样一致性算法对所述初始匹配数据进行提纯，得到对应的单应变换矩阵，根据所述单应变换矩阵对所述亮度调节高速视频和所述高分辨率视频进行配准，将所述高分辨率视频数据投影到所述亮度调节高速视频数据对应的图像空间。5.根据权利要求1至4中任意一项所述的方法，其特征在于，获取所述亮度调节高速视频的时域梯度数据，根据所述时域梯度数据对所述投影高分辨率视频进行时域插值，得到高速...

【专利技术属性】
技术研发人员：于起峰，张文龙，李璋，关棒磊，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：