用精确的运动信息增强运动图片制造技术

提供了用于数字增强包括视频和运动图片图像的图像序列的特性的方法和系统。通过分析图像序列中可用的图像帧来生成由轨迹表示的高精确运动信息。本发明专利技术的一些实施例涉及从图像序列生成多层轨迹。某些方面可适用于包括3D视频和3D运动图片的三维(3D)图像序列的增强。

Enhancing Motion Pictures with Accurate Motion Information

【技术实现步骤摘要】
用精确的运动信息增强运动图片本申请是国际申请号为PCT/IB2014/060139、国际申请日为2014年3月25日、国家申请号为201480017667.0、专利技术名称为“用精确的运动信息增强运动图片”的专利申请的分案申请。相关申请的参考本申请要求于2013年3月25日提交的美国临时申请序列号为61/814,804，名称为“MethodsandSystemsforEnhancingMotionPictureswithAccurateMotionInformation”的优先权，其全部内容通过引用并入本文。
本公开通常涉及数字增强图像内容的特性的领域，更具体地为用于经改进的可视的显示质量的视频和运动图片内容的特性。
技术介绍
对于真实世界的图像，特别是视频和运动图片，在不同的图像帧中某些图像内容可以出现不同，这是由于许多复杂的因素，诸如噪声的存在、照明变化、透镜焦点的变化、对象的运动、对象的旋转、遮蔽(occlusion)等。结果，基于跟踪多个图像帧的图像内容的类似外观的图像增强方法，诸如常见的运动跟踪算法，可能不能准确地跟随图像内容的运动，并在某些情况下，甚至可能无法识别由于不同外观导致的一些图像帧中的图像内容。
技术实现思路
在一个示例中，提供了一种用于增强图像序列的方法。接收具有图像帧的图像序列。确定用于图像帧的分解特征。基于该分解特征计算图像像素的特征连接(featureconnection)。基于特征连接中的至少一个选定的特征连接计算至少一个锚轨迹(anchortrajectory)。确定图像像素与至少一个锚轨迹之间的关系。基于至少一个锚轨迹和图像像素与至少一个锚轨迹之间的关系创建用于分解的图像帧的图像像素的新轨迹。限定用于新轨迹的至少一个轨迹特征，并且确定该至少一个轨迹特征是否需要在新轨迹交点处被修改。细化新轨迹交点，并生成最终轨迹。通过基于最终轨迹修改像素图像特征来创建增强的图像像素。基于增强的图像像素创建增强的图像序列。输出增强的图像序列。在另一个示例中，提供了用于增强图像序列的方法。接收具有图像帧的图像序列。图像序列被分解成形成分解的图像帧的至少两个层。确定层中图像帧的分解特征。基于该分解特征计算该层中图像像素的特征连接。基于至少一个选定的特征连接计算该层的至少一个锚轨迹。确定至少两层的每层中图像帧的图像像素与至少一个锚轨迹之间的关系。基于至少一个锚轨迹和图像像素与来自至少两层的至少一个锚轨迹之间的关系创建分解的图像帧的图像像素的新轨迹。限定该层中新轨迹的至少一个轨迹特征，并且确定该层中该至少一个轨迹特征是否需要在该层中的新轨迹交点处被修改。细化新轨迹交点，并生成最终轨迹。通过基于最终轨迹修改至少两层的每层中的图像像素特征来创建至少一层中的增强的图像像素。基于分解的图像层中的增强的图像像素来创建增强的图像序列。输出增强的图像序列。在另一个示例中，提供了一种方法，其包括从图像序列的图像帧生成至少一个图像处理层。确定分解特征，其是图像帧的至少一个图像处理层中图像内容的特性。基于该分解特征确定特征连接。特征连接包括空间-时间位置中至少一个图像处理层中连接图像像素的链接。基于特征连接计算至少一个图像处理层的锚轨迹。锚轨迹代表选定的图像内容元素在图像序列的长度上的空间-时间位置。确定图像像素与锚轨迹之间的关系。基于该关系和该锚轨迹生成图像像素的新轨迹。限定新轨迹的轨迹特征，并且确定该轨迹特征在至少一个图像处理层的新轨迹交点处的修改水平。该轨迹特征代表被选定用于图像序列中目标增强的特性。新轨迹交点以空间-时间位置的形式记录新轨迹与图像帧的交点。从新轨迹生成最终轨迹。基于最终轨迹通过修改至少一个图像处理层中的像素图像特征来生成至少一个增强的图像层。使用至少一个增强的图像层生成增强的图像序列。另一个示例中，提供了一种非暂态计算机可读介质，其具有存储在其上的指令，所述指令能够通过处理器设备执行以执行操作，所述操作包括：从图像序列的图像帧生成至少一个图像处理层；确定分解特征，该分解特征是图像帧的至少一个图像处理层中图像内容的特性；基于分解特征确定特征连接，所述特征连接包括空间-时间位置中至少一个图像处理层中连接图像像素的链接；基于该特征连接计算至少一个图像处理层的锚轨迹，所述锚轨迹代表选定的图像内容元素在图像序列的长度上的空间-时间位置；确定图像像素与锚轨迹之间的关系；基于该关系和该锚轨迹生成图像像素的新轨迹；限定新轨迹的轨迹特征，并且确定该轨迹特征在至少一个图像处理层的新轨迹交点处的修改水平，该轨迹特征代表被选定用于图像序列中目标增强的特性，该新轨迹交点以空间-时间位置的形式记录新轨迹与图像帧的交点；从该新轨迹生成最终轨迹；基于最终轨迹通过修改至少一个图像处理层中的像素图像特征来生成至少一个增强的图像层；以及使用至少一个增强的图像层生成增强的图像序列。附图说明图1是包括根据一个示例由轨迹记录的信息的示例的表格。图2是根据一个示例通过计算多层轨迹来增强图像序列的方法的框图。图3是根据一个示例将图像帧分解为多个层的方法的框图。图4是根据一个示例通过计算轨迹来增强图像序列的方法的框图。图5是根据一个示例的图像处理设备的框图。提及这些说明性示例并不用于限制或限定本公开，而是帮助理解本公开。具体实施方式中讨论了其它的示例、特征和实施例，并且提供了其它描述。通过阅读说明书或通过实践提出的一个或多个示例可以进一步理解由各个示例的一个或多个提供的优势。具体实施方式本公开的某些方面和特征涉及通过计算跨越图像序列的多个图像帧的轨迹并沿轨迹优化增强的性能来增强图像序列的特性或多个特性。包括视频和运动图片图像的图像序列的特性可以通过分析图像序列中可用的图像帧并生成精确的运动信息进行数字增强。精确的运动信息可以通过计算图像序列的每一图像帧的每个图像像素的轨迹而获得。轨迹的结构可允许图像增强方法，通过跟随代表更精确运动的轨迹以实现优越的性能，并基于图像内容的类似外观和图像内容的不同外观来执行。图像帧可以包括多个图像像素，并且每个像素可以限定图像帧中空间-时间位置处的图像内容元素。因为运动可以存在于图像序列中，相同的内容元素可以显示为图像序列的其它图像帧中不同的空间-时间位置。图像内容元素的运动可以由记录相同的图像内容元素穿过图像序列的多个图像帧的空间-时间位置的路径连接来表示。轨迹可以包括图像内容元素在图像序列的长度上的空间-时间位置，并且图像内容元素的特征以多个特征信道的形式在每个空间-时间位置附近。图像内容元素的轨迹可以包括三种类型的元素：轨迹交点、轨迹特征和轨迹特征标志。轨迹交点可以记录轨迹与图像帧的交点，并且轨迹交点可以表示为空间-时间位置，诸如用于图像帧n的(xn，yn，tn)。轨迹可以在帧中像素位置开始，其可以是该轨迹的锚像素，并且该轨迹可以在像素位置或子像素位置的空间-时间位置处与其它图像帧相交。在一个示例中，轨迹具有包含轨迹交点、轨迹特征和轨迹特征标志的结构。轨迹交点可以空间-时间位置的形式记录轨迹与图像帧的交点。轨迹特征代表被选定用于目标增强应用的图像序列的某些特性。目标增强应用的示例包括超分辨、去噪和去遮蔽(de-occlusion)。因为不同的轨迹特征可被选定用于不同的目标增强应用，轨迹可被定制用于本文档来自技高网...

【技术保护点】
1.一种用于增强图像序列的方法，所述方法包括：将所述图像序列的图像帧转换为层；确定用于所述层中的经转换的所述图像帧的分解特征；基于分解的图像特征计算用于图像像素的特征连接，所述特征连接是将所述图像像素从第一空间‑时间位置连接到第二空间‑时间位置的链接；基于所述特征连接计算所述层的锚轨迹；确定所述图像像素与所述层中的所述锚轨迹的关系；基于所述锚轨迹、以及所述图像像素与所述锚轨迹的关系，为经转换的所述图像帧的所述图像像素创建新轨迹；限定所述新轨迹的至少一个轨迹特征；确定所述至少一个轨迹特征在所述层中的新轨迹交点处的修改水平；基于所述层中的所述新轨迹交点输出最终轨迹；基于所述最终轨迹，通过修改所述层中的像素图像特征，在所述层中创建增强图像像素；使用具有所述增强图像像素的所述层创建增强图像序列；以及输出所述增强图像序列。

【技术特征摘要】
2013.03.25 US 61/804,8141.一种用于增强图像序列的方法，所述方法包括：将所述图像序列的图像帧转换为层；确定用于所述层中的经转换的所述图像帧的分解特征；基于分解的图像特征计算用于图像像素的特征连接，所述特征连接是将所述图像像素从第一空间-时间位置连接到第二空间-时间位置的链接；基于所述特征连接计算所述层的锚轨迹；确定所述图像像素与所述层中的所述锚轨迹的关系；基于所述锚轨迹、以及所述图像像素与所述锚轨迹的关系，为经转换的所述图像帧的所述图像像素创建新轨迹；限定所述新轨迹的至少一个轨迹特征；确定所述至少一个轨迹特征在所述层中的新轨迹交点处的修改水平；基于所述层中的所述新轨迹交点输出最终轨迹；基于所述最终轨迹，通过修改所述层中的像素图像特征，在所述层中创建增强图像像素；使用具有所述增强图像像素的所述层创建增强图像序列；以及输出所述增强图像序列。2.根据权利要求1所述的方法，其中基于所述层中的所述新轨迹交点输出所述最终轨迹包括：过滤所述新轨迹交点以产生经更新的轨迹交点，并且基于所述经更新的轨迹交点来修改所述轨迹特...

【专利技术属性】
技术研发人员：张宁，S·Z·周，
申请(专利权)人：图象公司，
类型：发明
国别省市：加拿大,CA