当前位置: 首页 > 专利查询>图象公司专利>正文

用精确的运动信息增强运动图片制造技术

技术编号:12350385 阅读:72 留言:0更新日期:2015-11-19 01:28
提供了用于数字增强包括视频和运动图片图像的图像序列的特性的方法和系统。通过分析图像序列中可用的图像帧来生成由轨迹表示的高精确运动信息。本发明专利技术的一些实施例涉及从图像序列生成多层轨迹。某些方面可适用于包括3D视频和3D运动图片的三维(3D)图像序列的增强。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】用精确的运动信息増强运动图片 相关申请的参考 本申请要求于2013年3月25日提交的美国临时申请序列号为61/814, 804,名 称为''Methods and Systems for Enhancing Motion Pictures with Accurate Motion Information"的优先权,其全部内容通过引用并入本文。
本公开通常涉及数字增强图像内容的特性的领域,更具体地为用于经改进的可视 的显示质量的视频和运动图片内容的特性。
技术介绍
对于真实世界的图像,特别是视频和运动图片,在不同的图像帧中某些图像内容 可以出现不同,这是由于许多复杂的因素,诸如噪声的存在、照明变化、透镜焦点的变化、对 象的运动、对象的旋转、遮蔽(occlusion)等。结果,基于跟踪多个图像帧的图像内容的类 似外观的图像增强方法,诸如常见的运动跟踪算法,可能不能准确地跟随图像内容的运动, 并在某些情况下,甚至可能无法识别由于不同外观导致的一些图像帧中的图像内容。
技术实现思路
在一个示例中,提供了一种用于增强图像序列的方法。接收具有图像帧的图像 序列。确定用于图像帧的分解特征。基于该分解特征计算图像像素的特征连接(feature connection)。基于特征连接中的至少一个选定的特征连接计算至少一个锚轨迹(anchor trajectory)。确定图像像素与至少一个锚轨迹之间的关系。基于至少一个锚轨迹和图像 像素与至少一个锚轨迹之间的关系创建用于分解的图像帧的图像像素的新轨迹。限定用于 新轨迹的至少一个轨迹特征,并且确定该至少一个轨迹特征是否需要在新轨迹交点处被修 改。细化新轨迹交点,并生成最终轨迹。通过基于最终轨迹修改像素图像特征来创建增强 的图像像素。基于增强的图像像素创建增强的图像序列。输出增强的图像序列。 在另一个示例中,提供了用于增强图像序列的方法。接收具有图像帧的图像序列。 图像序列被分解成形成分解的图像帧的至少两个层。确定层中图像帧的分解特征。基于该 分解特征计算该层中图像像素的特征连接。基于至少一个选定的特征连接计算该层的至少 一个锚轨迹。确定至少两层的每层中图像帧的图像像素与至少一个锚轨迹之间的关系。基 于至少一个锚轨迹和图像像素与来自至少两层的至少一个锚轨迹之间的关系创建分解的 图像帧的图像像素的新轨迹。限定该层中新轨迹的至少一个轨迹特征,并且确定该层中该 至少一个轨迹特征是否需要在该层中的新轨迹交点处被修改。细化新轨迹交点,并生成最 终轨迹。通过基于最终轨迹修改至少两层的每层中的图像像素特征来创建至少一层中的增 强的图像像素。基于分解的图像层中的增强的图像像素来创建增强的图像序列。输出增强 的图像序列。 在另一个示例中,提供了一种方法,其包括从图像序列的图像帧生成至少一个图 像处理层。确定分解特征,其是图像帧的至少一个图像处理层中图像内容的特性。基于该 分解特征确定特征连接。特征连接包括空间-时间位置中至少一个图像处理层中连接图像 像素的链接。基于特征连接计算至少一个图像处理层的锚轨迹。锚轨迹代表选定的图像内 容元素在图像序列的长度上的空间-时间位置。确定图像像素与锚轨迹之间的关系。基于 该关系和该锚轨迹生成图像像素的新轨迹。限定新轨迹的轨迹特征,并且确定该轨迹特征 在至少一个图像处理层的新轨迹交点处的修改水平。该轨迹特征代表被选定用于图像序列 中目标增强的特性。新轨迹交点以空间-时间位置的形式记录新轨迹与图像帧的交点。从 新轨迹生成最终轨迹。基于最终轨迹通过修改至少一个图像处理层中的像素图像特征来生 成至少一个增强的图像层。使用至少一个增强的图像层生成增强的图像序列。 在另一个示例中,提供了一种非暂态计算机可读介质,其具有存储在其上的指令, 所述指令能够通过处理器设备执行以执行操作,所述操作包括: 从图像序列的图像帧生成至少一个图像处理层; 确定分解特征,该分解特征是图像帧的至少一个图像处理层中图像内容的特性; 基于分解特征确定特征连接,所述特征连接包括空间-时间位置中至少一个图像 处理层中连接图像像素的链接; 基于该特征连接计算至少一个图像处理层的锚轨迹,所述锚轨迹代表选定的图像 内容元素在图像序列的长度上的空间-时间位置; 确定图像像素与锚轨迹之间的关系; 基于该关系和该锚轨迹生成图像像素的新轨迹; 限定新轨迹的轨迹特征,并且确定该轨迹特征在至少一个图像处理层的新轨迹交 点处的修改水平,该轨迹特征代表被选定用于图像序列中目标增强的特性,该新轨迹交点 以空间-时间位置的形式记录新轨迹与图像帧的交点; 从该新轨迹生成最终轨迹; 基于最终轨迹通过修改至少一个图像处理层中的像素图像特征来生成至少一个 增强的图像层;以及 使用至少一个增强的图像层生成增强的图像序列。【附图说明】 图1是包括根据一个示例由轨迹记录的信息的示例的表格。 图2是根据一个示例通过计算多层轨迹来增强图像序列的方法的框图。 图3是根据一个示例将图像帧分解为多个层的方法的框图。 图4是根据一个示例通过计算轨迹来增强图像序列的方法的框图。 图5是根据一个示例的图像处理设备的框图。 提及这些说明性示例并不用于限制或限定本公开,而是帮助理解本公开。具体实 施方式中讨论了其它的示例、特征和实施例,并且提供了其它描述。通过阅读说明书或通过 实践提出的一个或多个示例可以进一步理解由各个示例的一个或多个提供的优势。【具体实施方式】 本公开的某些方面和特征涉及通过计算跨越图像序列的多个图像帧的轨迹并沿 轨迹优化增强的性能来增强图像序列的特性或多个特性。包括视频和运动图片图像的图像 序列的特性可以通过分析图像序列中可用的图像帧并生成精确的运动信息进行数字增强。 精确的运动信息可以通过计算图像序列的每一图像帧的每个图像像素的轨迹而获得。轨迹 的结构可允许图像增强方法,通过跟随代表更精确运动的轨迹以实现优越的性能,并基于 图像内容的类似外观和图像内容的不同外观来执行。 图像帧可以包括多个图像像素,并且每个像素可以限定图像帧中空间-时间位置 处的图像内容元素。因为运动可以存在于图像序列中,相同的内容元素可以显示为图像序 列的其它图像帧中不同的空间-时间位置。图像内容元素的运动可以由记录相同的图像内 容元素穿过图像序列的多个图像帧的空间-时间位置的路径连接来表示。轨迹可以包括图 像内容元素在图像序列的长度上的空间-时间位置,并且图像内容元素的特征以多个特征 信道的形式在每个空间-时间位置附近。 图像内容元素的轨迹可以包括三种类型的元素:轨迹交点、轨迹特征和轨迹特征 标志。轨迹交点可以记录轨迹与图像帧的交点,并且轨迹交点可以表示为空间-时间位置, 诸如用于图像帧η的(x n,yn,〇。轨迹可以在帧中像素位置开始,其可以是该轨迹的锚像 素,并且该轨迹可以在像素位置或子像素位置的空间-时间位置处与其它图像帧相交。 在一个示例中,轨迹具有包含轨迹交点、轨迹特征和轨迹特征标志的结构。轨迹 交点可以空间-时间位置的形式记录轨迹与图像帧的交点。轨迹特征代表被选定用于 目标增强应用的图像序列的某些特性。目标增强应用的示例包括超分辨、去噪和去遮蔽 (de-occlusion)。因为不同的轨迹特征可被选定用于不同的目标增强本文档来自技高网...

【技术保护点】
一种用于增强图像序列的方法,所述方法包括:接收具有图像帧的所述图像序列;确定用于所述图像帧的分解特征;基于所述分解特征计算用于图像像素的特征连接;基于所述特征连接中的至少一个选定的特征连接计算至少一个锚轨迹;确定图像像素与所述至少一个锚轨迹的关系;基于所述至少一个锚轨迹和所述图像像素与所述至少一个锚轨迹的所述关系创建用于分解的图像帧的图像像素的新轨迹;限定用于所述新轨迹的至少一个轨迹特征,并且确定所述至少一个轨迹特征是否需要在新轨迹交点处被修改;细化新轨迹交点并且生成最终轨迹;通过基于所述最终轨迹修改像素图像特征来创建增强的图像像素;基于所述增强的图像像素创建增强的图像序列;以及输出所述增强的图像序列。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员:张宁S·Z·周
申请(专利权)人:图象公司
类型:发明
国别省市:加拿大;CA

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1