用于视频稳定的自适应路径平滑制造技术

用于视频稳定的技术和架构可以将颤动视频转换为看上去稳定的视频。路径平滑处理可以生成经优化的相机路径以进行视频稳定。利用较大的平滑核，路径平滑处理可以移除高频抖动和低频跳动二者，并且同时可以保留非连续的相机运动(诸如，快速摇摄或场景转变)以避免过度裁剪或几何失真。基于滑动窗口的实现方式包括可以用于实时的视频稳定的路径平滑处理。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】用于视频稳定的自适应路径平滑
技术介绍
利用手持设备（例如，手机或便携式摄像机）捕获的视频常常出现颤动和不稳定。 视频质量已经变得非常重要，运在某种程度上是由于普遍流行和使用能够捕获视频的移动 设备（例如，移动电话、平板电脑、便携式摄像机等）。 数字视频稳定可W提高运种视频的视频质量，但是许多数字视频稳定的类型具有 多种缺点。例如，数字视频稳定也许可W将抖动从视频中移除，但是其代价在于引入了视频 伪影（arti化Ct),诸如，图像失真、裁剪、分辨率损失等等。因此，存在对能够在不引入过量 的非期望伪影的情况下提高视频质量的数字视频稳定技术的需求。
技术实现思路
在某种程度上，本公开内容描述了用于视频稳定的技术和架构，其可W用于将看 上去颤动的视频转换为看上去稳定的视频。视频稳定可W包括相机路径平滑处理，其根据 原始的颤动相机路径生成经平滑的相机路径。使用包括多个视频帖的相对较大的平滑核 (kernel),路径平滑处理可W移除高频抖动和低频跳动化ounce)二者，并且可W保留非连 续的相机运动（诸如，相对较快的摇摄或场景转变）W避免在经平滑的相机路径中的过度 裁剪或几何失真。可WW能够用于实时稳定的基于滑动窗口的实现方式来执行路径平滑处 理。 提供本
技术实现思路
是为了W简化的形式介绍将在W下详细描述中进一步描述的概 念精选。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用 作帮助确定所要求保护的主题的范围的手段。举例而言，术语"技术"可W指代系统、方法、 计算机可读指令、模块、算法、硬件逻辑（例如，现场可编程口阵列（FPGA)、专用集成电路 (ASIC)、专用标准产品（ASS巧、片上系统式系统（SOC)、复杂可编程逻辑器件（CPLD))、和/ 或由上面的和贯穿本文档的上下文所允许的技术。【附图说明】 阳0化]参考附图来描述具体的说明。在附图中，附图标记中最左边的数字标识该附图标 记首次出现的附图。不同附图中的相同附图标记指示相似或相同的项。 图1是描绘了其中可W实现本文所描述的技术的示例性环境的框图； 图2示出了根据各个示例性实施例的通过相机路径平滑和后处理曲线平滑所进 行的视频稳定的说明图；[000引图3是根据各个示例性实施例的示出相机路径的两个视频帖的示意图； 图4包括根据各个示例性实施例的示出帖裁剪和失真的示意图； 图5是根据各个示例性实施例的示出原始相机路径和经平滑的相机路径之间的 关系的不意图； 图6是根据各个示例性实施例的视频稳定设备的框图； 图7是根据各个示例性实施例的视频帖的两个视频序列的示意图； 图8是根据各个示例性实施例的视频稳定设备的一部分的框图； 图9是用于平滑视频的示例性处理的流程图。【具体实施方式】 概述 在各个实施例中，用于视频稳定的技术和设备包括路径平滑W将颤动的视频转换 为看上去稳定的视频。平滑处理可W根据与例如由手持相机捕获的视频对应的原始颤动的 或不稳定的相机路径来生成经修改的相机路径。包括基于滑动窗口的实现方式的路径平滑 处理可W从相机路径中移除高频抖动（例如，来自相机用户的颤动的手）和低频跳动（例 如，来自用户的走动或摇摆运动）二者，并且可W保留非连续的相机运动（诸如，快速摇摄 或场景转变）W避免过度的裁剪或几何失真。该技术或设备可W用于实时或脱机的视频稳 定。 在一些实施例中，用于视频稳定的系统包括视频输入端口，W接收包括视频帖序 列的视频。通信地连接到所述视频输入端口的视频划分模块将所述视频划分为多个视频帖 序列。视频划分模块可W由硬件、软件、固件或其组合来实现。视频划分模块可W向视频帖 序列中的个体序列施加帖延迟。因此，相邻序列可W具有复制的视频帖。具体来说，连续的 序列可W彼此相同，不同之处在于一个序列相对于另一个序列被帖延迟了。作为基于滑动 窗口的实现方式的一部分，视频划分模块可W向执行视频平滑的个体视频缓冲器处理器提 供经帖延迟的个体序列。具体来说，个体视频缓冲器处理器可W包括特征提取模块、单应性 估计模块W及自适应路径平滑模块。 在一些实现方式中，视频缓冲器处理器、特征提取模块、单应性估计模块W及自适 应路径平滑模块中的任何一项都可W包括硬件、软件、固件或其组合。例如，由硬件实现的 视频缓冲器处理器可W选择性地执行包括特征提取模块、单应性估计模块W及自适应路径 平滑模块的软件。视频缓冲器处理器可W包括、或可W访问包括多个缓冲器的存储器，W存 储视频帖序列。在另一个例子中，包括可执行代码的视频缓冲器处理器可W选择性地操作 硬件实现的特征提取模块、硬件实现的单应性估计模块、W及硬件实现的自适应路径平滑 模块。视频缓冲器处理器可W包括、或可W访问包括多个缓冲器的存储器，W存储视频帖序 列。 特征提取模块识别视频帖序列的个体视频帖中的对象特征。例如，该对象特征可 W包括个体视频帖中的点、边或其它仿射对象。 单应性估计模块执行视频帖序列的视频帖间（among)或之间化etween)的单应性 估计，W生成经修改的视频帖序列。单应性估计至少部分地基于所识别的对象特征。在一 些实现方式中，单应性估计在视频帖序列的连续视频帖之间执行。自适应路径平滑模块确 定经修改的视频帖序列的视频帖间的估计误差，并且对经修改的视频帖序列施加自适应路 径平滑W生成经平滑的视频帖序列。自适应路径平滑可W至少部分地基于该估计误差W及 视频帖序列的个体视频帖间的变化。 在一些实施例中，用于视频稳定的系统还可W包括视频聚合模块，其被配置为将 经平滑的视频帖序列与其它经平滑的视频帖序列相结合，W生成经聚合的视频部分，并且 施加后处理滤波来平滑该经聚合的视频部分。运些其它经平滑的序列是相应的个体视频缓 冲器处理器的产物。在各个实现方式中，来自个体视频缓冲器处理器的其它经平滑的视频 帖序列至少部分地基于经帖移位的视频帖序列，该经帖移位的视频帖序列分别从该视频帖 序列偏移整数倍个n帖，其中，n是预定数。 将参考图1至图9对各个实施例进行进一步描述。 阳〇2引示例性环境 W下描述的环境仅构成一个例子并且不旨在将权利要求限定于任何一个特定的 操作环境。在不背离所要求保护的主题的精神和范围的情况下，可W使用其它环境。图1 示出了示例性的环境100,在该环境100中可W操作设及本文所描述的视频稳定的实施例。 在一些实施例中，环境100的各个设备和/或部件包括多种计算设备102。在各个实施例 中，计算设备102包括设备102a至102e。尽管示出为多种多样的设备类型，但是计算设备 102可W是其它设备类型并且不限于所示出的设备类型。计算设备102可W包括具有一 个或多个处理器104的任何类型的设备，该一个或多个处理器104可操作地例如经由总线 110连接到输入/输出接口 106和存储器108。计算设备102可W包括个人计算机，诸如， 例如，台式计算机1〇2曰、膝上型计算机10化、平板计算机102c、电信设备102d、个人数字助 理（PDA) 102e、电子书阅读器、可穿戴计算机、汽车用计算机、游戏设备等。计算设备102还 可W包括面向商业或零售的设备，诸如，例如，服务器计算机、精简型客户端、终端和/或工 作站。在一些实施例中，计算设备102可W包括例如用于集本文档来自技高网...

【技术保护点】
一种系统，包括：视频输入端口，用于接收包括视频帧序列的视频；一个或多个处理器；以及存储器，用于存储指令，其中，所述指令当被所述一个或多个处理器执行时，配置所述一个或多个处理器来执行包括以下项的操作：识别所述视频帧序列的个体视频帧中的对象特征；执行所述视频帧序列的视频帧之间的单应性估计以生成经修改的视频帧序列，其中，所述单应性估计是至少部分地基于所识别的所述对象特征的；确定所述经修改的视频帧序列的视频帧间的估计误差；以及向所述经修改的视频帧序列施加自适应路径平滑以生成经平滑的视频帧序列，其中，所述自适应路径平滑是至少部分地基于所述估计误差和所述视频帧序列的所述个体视频帧间的变化的。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：L·袁，J·孙，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US