一种真实感场景插值的计算方法及系统技术方案

本发明专利技术公开了一种真实感场景插值的计算方法及系统。该计算方法包括：步骤1，选择关键时间，该关键时间能够表征相邻两个帧时间内的运动信息；步骤2，将不同时刻去模糊的结果映射到同一关键时间对应的运动模型，得到该关键时间对应的运动模型的纹理结构；步骤3，对所述纹理结构进行光流匹配，得到同一空间纹理特征的时域运动信息；步骤4，对所述的时域运动信息进行时间插值得到运动模型的变化纹理序列。本发明专利技术基于低速输入的图像序列，进行真实感插值，以得到随着场景运动而发生变化的具有高度真实感的高速纹理。

【技术实现步骤摘要】

本专利技术涉及图像重构领域，尤其涉及一种真实感场景插值的计算方法及系统。
技术介绍
基于图像的运动插值方法如光流、基于运动路径的方法等已经在计算机图形学和计算机视觉中得到了广泛的应用。对于高速运动模型的高速视频去模糊(deblur)问题，每个长曝光求解出的deblur结果是该采集曝光时间内某一时刻的场景纹理，对于每一个长曝光求解出一个短曝光结果，由于低速相机拍摄帧率低，得到的清晰图像是运动模型在时间轴上非常离散的采样结果，无法得到连续运动高速视频。因此，迫切需要针对低速相机存在的这一问题提供可行的解决方案。
技术实现思路
针对现有技术中存在的上述问题，本专利技术提供了一种真实感场景插值的计算方法及系统。本专利技术提供了一种真实感场景插值的计算方法，包括步骤1，选择关键时间，该关键时间能够表征相邻两个帧时间内的运动信息；步骤2，将不同时刻去模糊的结果映射到同一关键时间对应的运动模型，得到该关键时间对应的运动模型的纹理结构；步骤3，对所述纹理结构进行光流匹配，得到同一空间纹理特征的时域运动信息；步骤4，对所述的时域运动信息进行时间插值得到运动模型的变化纹理序列。在一个示例中，还包括步骤5，利用运动模型的变化纹理序列对对应的运动模型进行三维纹理贴图，得到自由视点渲染模型结果。在一个示例中，关键时间为相机读出数据的时间。在一个示例中，步骤2中，不同时刻去模糊的结果为连续两帧时间内不同时刻的去模糊结果。在一个示例中，关键时间的时长为，N为帧率，T为帧时间。本专利技术提供了一种真实感场景插值的计算系统，包括关键时间选择模块，用于选择关键时间，该关键时间能够表征相邻两个帧时间内的运动信息；纹理结构获取模块，用于将不同时刻去模糊的结果映射到同一关键时间对应的运动模型，得到该关键时间对应的运动模型的纹理结构；时域运动信息获取模块，用于对所述纹理结构进行光流匹配，得到同一空间纹理特征的时域运动信息；插值模块，用于对所述的时域运动信息进行时间插值得到运动模型的变化纹理序列。在一个示例中，还包括自由视点渲染模型获取模块，用于利用运动模型的变化纹理序列对对应的运动模型进行三维纹理贴图，得到自由视点渲染模型结果。本专利技术基于低速输入的图像序列，进行真实感插值，以得到随着场景运动而发生变化的具有高度真实感的高速纹理。本专利技术能够得到鲁棒、精确、高效的真实感场景。附图说明下面结合附图来对本专利技术作进一步详细说明，其中图1为关键点选取原理示意图；图加和图2b为多选择纹理映射技术示意图；图3为光流映射结果计算纹理运动信息示意图；图4为时域变形融合，是对图3光流计算结果的时域插值结果，中间箭头为关键点，中间箭头两侧的箭头为基于关键点时刻光流匹配后的纹理变形结果；图5为图4得到的结果映射到关键时间对应模型上的结果；图6为对图像进行时域插值获取高速视频的流程示意图。具体实施例方式本专利技术利用时空匹配变形机制以实现清晰的高速视频计算重构，包括时域关键时间确定，多选择纹理映射，空间光流匹配及时域变形融合及3D模型纹理贴图及自由视点渲染等关键技术。本专利技术提供的真实感场景插值的计算方法，包括1)选取时域关键时间，每个关键时间能够表征时域采集前后两个长曝光时间范围内的场景运动信息；2)将不同时间deblur的结果映射到同一关键时间对应的运动模型，得到同一关键时间对应的运动模型的对应于不同运动作用下的精细纹理结构，例如，记为Ref_img_A 及 Ref_img_B ；3)对上述同一关键时间对应的运动模型不同运动作用下的纹理结构进行光流匹配，找到同一空间纹理特征的时域运动信息，即找到Ref_img_A& Ref_img_B之间的对应关系计算运动矢量；4)依据上述计算得到的运动矢量，对Ref_img_A&行时间插值，得到匹配于高时间分辨率运动模型的时间超分辨率的运动模型的变化纹理序列。5)利用超分辨率后的运动模型的变化纹理序列对每个高时间分辨率时刻对应的运动模型进行三维纹理贴图，从而得到自由视点渲染模型结果。参考图1-5，下面通过实施来具体说明本专利技术的技术方案，但本专利技术并不局限于以下实施例。如图1所示，为关键时间选取原理示意图。采集图像的曝光时间和一帧图像的时间分别如图所示，其中有一小段差值时间为相机读出时间，为了保证关键时间能够兼顾前后两帧信息，就将其选择为读出时间对应的时刻。如图2所示，为多选择纹理映射技术，将时间段内的中间时刻的低速图像及 时间段内的中间时刻的低速图像都映射到这个关键时间上，得到的就是不同图像映射到同一个时刻模型的纹理映射结果。。如图3所示，光流映射结果计算纹理运动信息示意图。如图4所示，时域变形融合示意图，它是对图3光流计算结果的时域插值结果，中间箭头为关键时间，中间箭头两侧的箭头为基于关键时间时刻光流匹配后的纹理变形结^ ο如图5所示，为图4得到的结果映射到关键时间对应模型上的结果。图6描述了高速视频的时间插值算法，1)首先确定关键时间，如图像d中间红框所示时刻；幻进行多选择纹理映射，也即将图像a(3T/4时刻)和图像b(5T/4时刻)映射到关键时时间对应的运动模型上去，如图像e对应位置(竖直方向)的图像所示；幻使用光流算法计算纹理特征运动信息，基于运动信息进行纹理图像的变形，并进行加权融合(按照距离距离图像a和图像b时刻的距离进行加权)，插值得到中间时刻，如图为7T/8，T，9T/8时刻的运动模型的变化纹理序列；4)将得到的高速视频结果映射到对应的运动模型上去(本图中没有显示对应的结果)。以上所述仅为本专利技术的优选实施方式，但本专利技术保护范围并不局限于此。任何本领域的技术人员在本专利技术公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本专利技术的保护范围之内。权利要求1.一种真实感场景插值的计算方法，其特征在于，包括步骤1，选择关键时间，该关键时间能够表征相邻两个帧时间内的运动信息； 步骤2，将不同时刻去模糊的结果映射到同一关键时间对应的运动模型，得到该关键时间对应的运动模型的纹理结构；步骤3，对所述纹理结构进行光流匹配，得到同一空间纹理特征的时域运动信息； 步骤4，对所述的时域运动信息进行时间插值得到运动模型的变化纹理序列。2.如权利要求1所述的计算方法，其特征在于，还包括步骤5，利用运动模型的变化纹理序列对对应的运动模型进行三维纹理贴图，得到自由视点渲染模型结果。3.如权利要求1或2所述的计算方法，其特征在于，关键时间为相机读出数据的时间。4.如权利要求1或2所述的计算方法，其特征在于，步骤2中，不同时刻去模糊的结果为连续两帧时间内不同时刻的去模糊结果。5.如权利要求1或2所述的计算方法，其特征在于，关键时间的时长为，N为帧率，T为帧时间。6.一种真实感场景插值的计算系统，其特征在于，包括关键时间选择模块，用于选择关键时间，该关键时间能够表征相邻两个帧时间内的运动信息；纹理结构获取模块，用于将不同时刻去模糊的结果映射到同一关键时间对应的运动模型，得到该关键时间对应的运动模型的纹理结构；时域运动信息获取模块，用于对所述纹理结构进行光流匹配，得到同一空间纹理特征的时域运动信息；插值模块，用于对所述的时域运动信息进行时间插值得到运动模型的变化纹理序列。7.如权利要求5所述的真实感场景插值的计算系统，其特征在于，本文档来自技高网...

【技术保护点】
１．一种真实感场景插值的计算方法，其特征在于，包括：步骤１，选择关键时间，该关键时间能够表征相邻两个帧时间内的运动信息；步骤２，将不同时刻去模糊的结果映射到同一关键时间对应的运动模型，得到该关键时间对应的运动模型的纹理结构；步骤３，对所述纹理结构进行光流匹配，得到同一空间纹理特征的时域运动信息；步骤４，对所述的时域运动信息进行时间插值得到运动模型的变化纹理序列。

【技术特征摘要】

【专利技术属性】
技术研发人员：戴琼海，武迪，
申请(专利权)人：清华大学，
类型：发明
国别省市：11