一种基于双路视频的超分辨重建方法技术

一种基于双路视频的超分辨重建方法，本发明专利技术涉及视频超分辨重建方法。本发明专利技术的目的是为了解决现有视频采集过程中受运动以及传感器采集图像质量的影响，空间分辨率低的问题。一种基于双路视频的超分辨重建方法过程为：步骤一、获取双路视频图像；步骤二、对步骤一获取的双路视频图像进行时间和空间配准，得到变换矩阵H；步骤三、基于变换矩阵H，采用超分辨算法对步骤一获得的双路视频图像进行处理，得到修正后的的参考视角视频；步骤四、将得到修正后的参考视角视频由USB总线输出，在上位机上进行显示。本发明专利技术用于图像处理领域。

A super-resolution reconstruction method based on two-way video

【技术实现步骤摘要】
一种基于双路视频的超分辨重建方法
本专利技术涉及视频超分辨重建方法。
技术介绍
在传统的视频监控或视频采集中，受传感器图像采集过程中许多条件的影响，当画面中出现一些远距离拍摄物时，拍摄的视频中空间分辨率较低，丢失很多我们实际关心的图像细节内容，视觉上无法分辨出更多的有用信息。同时，在3D视频采集、多视角视频监控等情况下，多源视频的时间空间非冗余信息没有得到充分的利用。针对现有的视频分辨率问题，如何利用多源图像间的非冗余信息对图像序列分辨率进行提高，已经成为了实际研究中的重点难点。DSP(digitalsignalprocessor，数字信号处理器)是一种数字信号处理器，将模拟信号转换成数字信号，强调数字信号处理的实时性，用于专用处理器的高速实时处理。它具有高速，灵活，可编程，低功耗的界面功能，在图形图像处理，语音处理，信号处理等通信领域起到越来越重要的作用。在视频图像处理中，DSP由于其强大数据处理能力和高运行速度，有着显著的优势。视频处理的速度和数据量对硬件要求较高，也是目前的难点与解决重点，所以DSP的巧妙结合与应用则尤为重要。...

【技术保护点】
1.一种基于双路视频的超分辨重建方法，其特征在于：所述方法具体过程为：/n步骤一、获取双路视频图像；/n步骤二、对步骤一获取的双路视频图像进行时间和空间配准，得到变换矩阵H；/n步骤三、基于变换矩阵H，采用超分辨算法对步骤一获得的双路视频图像进行处理，得到修正后的参考视角视频；/n步骤四、将得到的修正后的参考视角视频输出，在上位机上进行显示。/n

【技术特征摘要】
1.一种基于双路视频的超分辨重建方法，其特征在于：所述方法具体过程为：
步骤一、获取双路视频图像；
步骤二、对步骤一获取的双路视频图像进行时间和空间配准，得到变换矩阵H；
步骤三、基于变换矩阵H，采用超分辨算法对步骤一获得的双路视频图像进行处理，得到修正后的参考视角视频；
步骤四、将得到的修正后的参考视角视频输出，在上位机上进行显示。


2.根据权利要求1所述一种基于双路视频的超分辨重建方法，其特征在于：所述步骤一中获取双路视频图像；具体过程为：
在PC中存放待处理的原始分辨率双路视频图像序列，将双路视频图像数据集输入到DSP中。


3.根据权利要求1或2所述一种基于双路视频的超分辨重建方法，其特征在于：所述步骤二中对步骤一获取的双路视频图像进行时间和空间配准，得到变换矩阵H；具体过程为：
步骤二一、对步骤一获取的双路视频图像进行时间配准；
步骤二二、采用SURF算法对参考帧和被配准帧进行特征点选取及匹配；
步骤二三、使用随机抽样一致性算法，基于步骤二二得到的特征点对，计算被配准帧和参考帧的变换矩阵H。


4.根据权利要求3所述一种基于双路视频的超分辨重建方法，其特征在于：所述步骤二一中对步骤一获取的双路视频图像进行时间配准；具体过程为：
设定参考帧由参考视角视频提取，被配准帧是参考帧对应的被配准视角视频帧以及参考视角视频中参考帧和参考帧的前后帧；
时间配准归结为下式的最小化：



其中，EPR(x,y,t)为配准系数；x为图像上x轴方向坐标，y为图像上y轴方向坐标，t为时间坐标；S(x1,y1,t1)为被配准帧在t1时间，(x1,y1)坐标的像素值；x1为被配准帧在图像x轴的坐标，y1为被配准帧在图像y轴的坐标，t1为被配准帧时间轴坐标，S(x0-u,y0-v,t0-w)为参考帧在t1时间，(x1,y1)坐标的像素值；x0为参考帧在图像x轴坐标，y0为参考帧在图像y轴坐标，t0为参考帧时间轴坐标；(u，v，w)＝(x0-x1，y0-y1，t0-t1)为x、y、时间三维坐标变换值，Ω为被配准帧的时间区域。


5.根据权利要求4所述一种基于双路视频的超分辨重建方法，其特征在于：所述步骤二二中采用SURF算法对参考帧和被配准帧进行特征点选取及匹配；具体过程为：
设一帧图像为f，位于图像f中(x,y)处的图像像素值为f(x,y)；
首先对图像f进行高斯函数的卷积滤波，对卷积滤波后图像进行特征点定位，计算参考帧和被配准帧中相应特征点坐标的欧式距离；
每个像素值都求出一个Hessian矩阵；



其中，Hessian(f(x,y))为像素值的Hessian矩阵；
基于欧式距离、参考帧每个像素值的Hessian矩阵、被配准帧每个像素值的Hessian矩阵得出特征点描述字；
设置匹配阈值，若特征点描述字小于匹配阈值，则参考帧和被配准帧特征点匹配；若特征点描述字大于等于匹配阈值，则参考帧和被配准帧特征点不匹配，结束；
设置对数阈值，若匹配的特征点对数大于对数阈值，则该匹配的特征点对数为最终匹配的特征点对数；若匹配的特征点对数小于等于对数阈值，则对图像f的灰度进行线性变换，重新执行步骤二二，直至匹配的特征点对数大于对数阈值。
...

【专利技术属性】
技术研发人员：任广辉，韩易伸，杨浩威，何胜阳，张言望，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙;23