一种空间各异模糊核三维运动去模糊的方法及系统技术方案

本发明专利技术公开了一种空间各异模糊核三维运动去模糊的方法及系统。该方法包括：步骤1，根据三维运动跟踪的结果，在成像曝光时间内得到时域上帧率为N倍的运动模型集合，N为相机个数；步骤2，通过插值算法计算出运动模型集合各顶点的连续运动路径；步骤3，统计每个时刻运动模型集合各顶点中的可见顶点；步骤4，计算每个时刻可见的面片集合；步骤5，将计算各可见面片在成像平面上的点扩散函数；步骤6，求解方程Ax＝b，其中待求变量x为该成像曝光时间内所有可见的面片的纹理颜色，矩阵A为可见面片的点扩散函数，b为实际采集的图像。本发明专利技术能够针对包括空间各异复杂运动、遮挡与出现等复杂情况的大尺度运动模糊问题。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，尤其涉及一种空间各异模糊核三维运动去模糊的方法及系统。
技术介绍
在经典成像模型下相机具有一些固有局限性，如受限于帧率。常规视频摄像机的帧率仅有30帧每秒，这将极大的限制对高速运动场景的采集。因而，研究基于相机阵列的计算传感机制，突破单相机的低帧率局限性，以实现高时间分辨率的动态场景采集在计算摄像学中具有重要研究意义。Wilburn等人首创搭建了 52个紧密排列相机组成的大规模相机阵列。所有相机在时间轴上进行间插短曝光采集，从而近似一个单视角的高速相机。该工作是基于低速相机阵列研究高质量场景采集的先驱性研究，N个相机组成的相机阵列能够将时间采样率提高到原来低速相机的N倍。但其受限于如下三点(1)单视角，(2)短曝光，这要求强场景光照，否则采集图像的信噪比将受到极大影响，(3)受限于不同相机的视角视差校正算法，仅适用于小景深近似平面场景或者远距离近似平面场景。Agrawal等人提出了基于多相机编码曝光采样的计算传感方法来克服上述研究的短曝光局限性，其使用N个相机同样能够将时间采样率提高N倍，但同时能够获得上述相机阵列方法N/2倍的进光量。此外，该研究的问题求解化归为一个适定的线性系统求解，并且每个相机的求解是独立的。但是该采集系统主要是针对平面高速运动的物体，不适用于在深度维上有运动的物体。计算传感对入射到相机采集系统内的光线进行调制，能够实现高质量的运动场景去模糊，能够实现高帧率采集系统，但是目前这类设计的缺点是只能解决单视角直线运动， 或者单视角远距离平面场景的高时间分辨率成像问题，无法同时获取场景的多视角高空间分辨信息。专利
技术实现思路
针对现有技术中存在的上述问题，本专利技术提供了一种空间各异模糊核三维运动去模糊的方法及系统。本专利技术提供了一种空间各异模糊核三维运动去模糊的方法，包括步骤1，根据三维运动跟踪的结果，在成像曝光时间内得到时域上帧率为N倍的运动模型集合，N为相机个数；步骤2，通过插值算法计算出运动模型集合各顶点的连续运动路径；步骤3，统计每个时刻运动模型集合各顶点中的可见顶点；步骤4，计算每个时刻可见的面片集合；步骤5，将计算各可见面片在成像平面上的点扩散函数；步骤6，求解方程Ax = b，其中待求变量χ为该成像曝光时间内所有可见的面片的纹理颜色，矩阵A为可见面片的扩散函数，b为实际采集的图像。在一个示例中，步骤2中，进行插值计算时，以运动模型上每个顶点在各时刻的位置作为插值约束。在一个示例中，插值算法为样条函数插值算法。在一个示例中，步骤2中，进行分段插值并对插值的结果进行时间上的平滑滤波。在一个示例中，步骤3中，对运动模型每个顶点渲染不同的颜色，将运动模型投影到成像平面上，若成像平面上出现对应颜色，则该顶点可见。在一个示例中，步骤4中，面片为三角面片，三角面片的一个顶点可见，则该三角面片可见。在一个示例中，计算各可见面片内的能量累积，得到各可见面片在成像平面上的点扩散函数。在一个示例中，步骤5中，对二维成像平面上的每个像素进行子像素采集，计算各可见面片内的投影能量，根据各时刻在各可见面片内的能量累积得到各可见面片在成像平面上的点扩散函数。在一个示例中，步骤5中，求解方程Ax = b时，增加约束条件，使方程Ax = b变形为ΑτΑΧ+λιΧ+λ2 τ0Χ+λ3Χ = ATb+X3X。，其中λ2，λ 3为预设值，D为微分算子， 为静态模型的静态纹理。本专利技术提供了一种空间各异模糊核三维运动去模糊的系统，包括运动模型集合获取模块，用于根据三维运动跟踪的结果，在成像曝光时间内得到时域上帧率为N倍的运动模型集合，N为相机个数；运动路径计算模块，用于通过插值算法计算出运动模型集合各顶点的连续运动路径；可见顶点计算模块，用于统计每个时刻运动模型集合各顶点中的可见顶点；可见面片集合计算模块，用于计算每个时刻可见的面片集合；点扩散函数计算模块，用于将计算各可见面片在成像平面上的点扩散函数；纹理颜色求解模块，用于求解方程Ax = b，其中待求变量χ为该成像曝光时间内所有可见的面片的纹理颜色，矩阵A为可见面片的点扩散函数，b为实际采集的图像。本专利技术能够针对包括空间各异复杂运动、遮挡与出现等复杂情况的大尺度运动模糊问题，实现清晰场景的计算重构，有效解决复杂运动复杂场景下的运动模糊。附图说明下面结合附图来对本专利技术作进一步详细说明，其中图Ia-图Id为基于图像和基于模型去模糊算法的原理示意图；2b为高速运动模型跟踪结果示意图；图3a_图池为场景运动高时间分辨率连续插值示意图以及时间平滑示意图；如为模型顶点可见性判断结果示意图；图5为模型面片可见性判断原理示意图；图6a-图6f为各种不同约束下去模糊求解结果比较；图7a_图7d为采集模糊图像的曝光时间内三个不同短曝光时刻的去模糊结果；图8为空间各异模糊核三维运动去模糊的方法流程图。具体实施例方式本专利技术提供的空间各异模糊核三维运动去模糊的方法能够针对包括空间各异复杂运动、遮挡与出现等复杂情况的大尺度运动模糊问题，实现清晰场景的计算重构。该方法包括基于运动跟踪的时间高分辨率运动插值，基于模型三维运动轨迹的成像点扩散函数 (PSF)计算，基于成像模型的线性系统优化目标的建立，以及多约束下进一步优化的方法。基于三维运动跟踪结果，在原来一个长曝光时间内得到时域上帧率为N倍的高速运动模型集合，运动跟踪算法要求保证模型的拓扑不变性。高速运动模型可以是在时间解耦框架下，基于时空间插曝光采集方法，在时空求交一致性的核心理论下，获取高速运动的可视外壳(VH)，并反投影到各采集视角获取跟踪轮廓约束计算得到，也可以是其他方法获得。这里所需的是能够表征场景纹理本质频率下的高速运动模型结果，并不需要纹理信息。 解耦的高速运动模型的帧率达到时域上运动场景的本质频率，从而能够基于高速运动模型计算重构模糊纹理。基于高速运动模型集合，取出高速运动模型上每个顶点(模型拓扑不变)在各个时刻的高速运动模型上对应的位置作为插值约束，计算得到对应的连续运动轨迹，也即对模型在时域密集采样点基础上进行连续的时间插值，以进一步的高时间分辨率插值。插值方法为样条函数插值算法，对模型每个顶点在采集曝光时间内高速跟踪模型上的位置作为样条函数的插值约束点，插值时采用分段的方法，保证平滑性、连续性和准确性。同时要求保证场景运动跟踪得到的高速模型结果能够准确表征场景运动的高频信息。为了克服运动跟踪的不准确性，对插值结果进一步进行时间平滑处理，获得时间上平稳鲁棒的运动模型， 使用的方法为以时间窗口为滤波器对模型进行时间上的平滑滤波。计算时间插值连续高速模型各个时刻的模型可见性，统计各个插值时刻的场景模型可见点集合，并取各个时刻可见集合的并集作为该长曝光时间内场景的可见顶点集合。 具体方法为，对模型每个顶点渲染不同的颜色，按照深度(场景上某个顶点到相机中心的距离)大小(考虑遮挡)，将模型投影到成像平面上，若成像平面上出现对应颜色，那么该顶点即可见，同时考虑到成像平面像素为单位的精度问题，采用多次迭代上述结果的方法进行实现，直到成像平面没有新增的可见顶点。在考虑遮挡问题及顶点可见性的基础上，计算场景组成面片的可见性，确定求解变量集合。场景面片可见性与顶点可见性具有如下关系三角面片有一个顶点可见，该面片可本文档来自技高网...

【技术保护点】
１．一种空间各异模糊核三维运动去模糊的方法，其特征在于，包括：步骤１，根据三维运动跟踪的结果，在成像曝光时间内得到时域上帧率为Ｎ倍的运动模型集合，Ｎ为相机个数；步骤２，通过插值算法计算出运动模型集合各顶点的连续运动路径；步骤３，统计每个时刻运动模型集合各顶点中的可见顶点；步骤４，计算每个时刻可见的面片集合；步骤５，将计算各可见面片在成像平面上的点扩散函数；步骤６，求解方程Ａｘ＝ｂ，其中待求变量ｘ为该成像曝光时间内所有可见的面片的纹理颜色，矩阵Ａ为可见面片的点扩散函数，ｂ为实际采集的图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘烨斌，武迪，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：11