视频帧处理制造技术

呈现了用于视频帧或处理视频帧的装置。该装置包括至少一个处理单元以及至少一个存储器。该至少一个存储器存储程序指令，程序指令在由所述至少一个存储器执行时，使得该装置分割出现在视频帧中的对象、对记录视频帧的相机的运动进行建模，并基于相机和至少一个被分割的对象的相对移动来针对至少一个被分割的对象单独地补偿视频帧中的运动伪像。

【技术实现步骤摘要】
【国外来华专利技术】视频帧处理背景视频稳定性目标在于稳定视频剪辑的视频帧。存在视频帧可能需要被稳定的各种利用。例如，在视频记录期间相机抖动可降级感知的视频质量。概述提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。在一个实施例中，提供了一种装置。该装置包括至少一个处理单元以及至少一个存储器。该至少一个存储器存储程序指令，程序指令在由所述至少一个存储器执行时，使得该装置分割出现在视频帧中的对象、对记录视频帧的相机的移动进行建模，并基于相机和至少一个被分割的对象的相对移动来针对至少一个被分割的对象单独地补偿视频帧中的运动伪像。在另一实施例中，提供了一种方法。该方法包括分割出现在视频帧中的对象、对记录视频帧的相机的移动进行建模，并基于相机和至少一个被分割的对象的相对移动来针对至少一个被分割的对象单独地补偿视频帧中的运动伪像。在另一实施例中，提供了一种装置。该装置包括至少一个处理单元以及至少一个存储器。所述至少一个存储器存储程序指令，程序指令在由所述至少一个处理器执行时，使得该装置获取包括视频帧的文件、获取与被用于记录视频帧的相机相关的信息、分割出现在视频帧中的对象、至少基于与相机相关的信息来对相机的移动进行建模，并基于相机和至少一个被分割的对象的相对移动来针对至少一个被分割的对象单独地补偿视频帧中的运动伪像。许多附带特征将随着参考下面的详细描述并结合附图进行理解而得到更好的认识。附图简述根据附图阅读以下详细描述将更好地理解本说明书，在附图中：图1是描绘装置的系统示意图，该装置包括各种任选的硬件和软件组件。图2A是示出用于处理视频帧的方法的一个实施例的流程图。图2B是示出用于处理视频帧的方法的另一个实施例的流程图。图3A是示出补偿运动伪像的一个实施例的框图。图3B是示出补偿运动伪像的一个实施例的框图。图3C是示出补偿运动伪像的一个实施例的框图。图4是描绘装置的另一系统示意图，该装置包括各种任选的硬件和软件组件。在各个附图中使用相同的附图标记来指代相同的部件。详细描述下面结合附图提供的详细描述旨在作为本专利技术示例的描述，并不旨在表示可以构建或使用本专利技术示例的唯一形式。然而，可以通过不同的示例来实现相同或等效功能和序列。此外，在本申请和权利要求书中使用的，单数形式“一”、“一个”、“该”包括复数形式，除非上下文清楚地另外指明。另外，术语“包括”意味着“开放性包含”。此外，术语“耦合”包含机械的、电气的、磁的、光学的、以及其它可行形式的将物体耦合或链接到一起，并且不排除耦合的物体之间的中间元件的存在。图1是描绘用于记录和处理视频帧的装置100的系统示图，该装置100包括在138概括示出的各种任选的硬件和软件组件。装置100中的任何组件138可与任何其他组件通信，但出于容易例示的目的而未示出所有连接。装置100可以是各种包括相机(例如，数字相机、蜂窝电话、智能电话、手持式计算机、平板计算机、个人数字助理(PDA)等)的计算设备中的任意一种。图示的装置100可以包括用于执行任务的控制器或处理器102(例如，信号处理器、微处理器、ASIC或者其他控制和处理逻辑电路)，所述任务诸如信号编码、数据处理、输入/输出处理、功率控制、和/或其他功能。操作系统104可以控制各组件138的分配和使用，并且支持一个或多个应用程序140。应用程序可以包括常见的移动计算应用(例如，电子邮件应用、日历、联系人管理器、web浏览器、消息收发应用)、或者任何其他计算应用。图示的装置100可以包括存储器106。存储器106可以包括不可移动存储器108和/或可移动存储器110。不可移动存储器108可以包括RAM、ROM、闪存、硬盘或者其他公知的存储器存储技术。可移动存储器110可包括闪存或订户身份模块(SIM)卡，SIM卡是移动通信系统中众所周知的，或者其他众所周知的存储器存储技术，诸如“智能卡”。存储器106可被用于储存供运行操作系统104和应用140的数据和/或代码。如果装置100是移动电话或智能电话，则存储器106可被用于存储订户标识符和设备标识符，所述订户标识符诸如国际移动订户身份(IMSI)，所述设备标识符诸如国际移动设备标识符(IMEI)。这种标识符可以被发射至网络服务器以标识用户和设备。装置100可以支持一个或多个输入设备112以及一个或多个输出设备122，所述输入设备诸如触摸屏114、话筒116、相机118、和/或物理键或键盘120，所述输出设备诸如扬声器124和显示器126。一些设备可以用于多于一个输入/输出功能。例如，触摸屏114和显示器126可被组合在单个输入/输出设备中。输入设备112可以包括自然用户界面(NUI)。NUI是使用户能以“自然”方式与设备交互、免受诸如鼠标、键盘、远程控件等输入设备所施加的人工约束的任一界面技术。NUI方法的示例包括依赖于语音识别、触摸和触笔识别、屏上及邻近屏的姿势识别、空中姿势、头部和眼部跟踪、说话和语音、视觉、触摸、姿势以及机器智能的那些方法。NUI的其他示例包括使用加速度计/陀螺仪、面部识别、3D显示器、头部、眼部和凝视跟踪的运动手势检测、沉浸式增强的现实和虚拟现实系统，这些中的全部都提供更自然的界面，还包括使用电场传感电极(EEG及相关方法)来感测脑部活动的技术。因此，在一个具体示例中，操作系统104或应用140可以包括语音识别软件作为语音用户界面的一部分，该语音用户界面允许用户经由语音命令来操作装置100。此外，装置100可包括允许经由用户的空间姿势进行用户交互(诸如检测和解释姿势以向游戏应用提供输入)的输入设备和软件。无线调制解调器128可被耦合到天线(未示出)，并可支持处理器102和外部设备之间的双向通信，如本领域中清楚理解的。调制解调器128被一般性地示出，并且可以包括用于与移动通信网的蜂窝调制解调器和/或其它基于无线电的调制解调器(例如蓝牙或Wi-Fi)。无线调制解调器128被典型地配置用于与一个或多个蜂窝网络通信、蜂窝网络之间的通信、或者在移动装置和公共交换电话网络(PSTN)之间的通信等，蜂窝网络诸如用于在单个蜂窝网络内的数据和语音通信的GSM网络、WCDMA(宽频码分多址)网络、LTE(长期演进)网络、4GLTE网络。装置100还可以包括至少一个输入/输出端口130、卫星导航系统接收机132(诸如全球定位系统(GPS)接收机)、加速度计134、和/或物理连接器136，物理连接器136可以是USB端口、IEEE1394(火线)端口和/或RS-232端口。所示组件138不是必需的或包括所有的，可删除任何组件并且可添加其它组件。图2A示出了用于处理视频帧的方法的实施例。在200，用装置的摄像机记录视频帧。该装置可以在包括摄像机的任何装置中，例如智能电话、数字视频录像机等。在202，出现在视频帧中的对象被分割。可使用任何合适的技术来分割对象。例如，分割可包括使用增量摄影测量法(例如，POSIT方法)以及深度相机(例如，飞行时间相机，Lidar等)的至少一个来将对象重构为三维对象。三维对象数据可被表示为三维体素图或多边形网格。在一个实施例中，从视频帧分割一个对象需要对象的边界本文档来自技高网...

【技术保护点】
一种装置，包括：至少一个处理单元；至少一个存储器；其中所述至少一个存储器存储程序指令，所述程序指令在由所述至少一个处理器单元执行时，致使所述装置：分割出现在视频帧中的对象；对记录所述视频帧的相机的移动进行建模；以及基于所述相机以及至少一个被分割的对象的相对移动来针对至少一个被分割的对象单独地补偿所述视频帧中的运动伪像。

【技术特征摘要】
【国外来华专利技术】2015.06.29 US 14/754,0181.一种装置，包括：至少一个处理单元；至少一个存储器；其中所述至少一个存储器存储程序指令，所述程序指令在由所述至少一个处理器单元执行时，致使所述装置：分割出现在视频帧中的对象；对记录所述视频帧的相机的移动进行建模；以及基于所述相机以及至少一个被分割的对象的相对移动来针对至少一个被分割的对象单独地补偿所述视频帧中的运动伪像。2.如权利要求1所述的装置，其特征在于，所述至少一个存储器存储程序指令，所述程序指令在被所述至少一个处理单元执行时，在分割出现在视频帧中的对象时，致使所述装置：基于所述对象的形状、边缘、图案、颜色、运动、和深度的至少一个来分割所述对象。3.如权利要求1或权利要求2所述的装置，其特征在于，所述至少一个存储器存储程序指令，所述程序指令在被所述至少一个处理单元执行时，在分割出现在视频帧中的对象时，致使所述装置：使用增量摄影测量和深度相机的至少一个来将所述对象重构为三维对象。4.如权利要求1－3中任一项所述的装置，其特征在于，所述至少一个存储器存储程序指令，所述程序指令在被所述至少一个处理单元执行时，在对记录所述视频的相机的移动进行建模时，致使所述装置：使用三维姿态估计来建模所述相机在空间中的三维位置。5.如权利要求1－4中任一项所述的装置，其特征在于，所述至少一个存储器存储程序指令，所述程序指令在被所述至少一个处理单元执行时，在对记录所述视频的相机的移动进行建模时，致使所述装置：使用来自深度相机的数据来建模所述相机在空间中的三维位置。6.如权利要求1－5中任意一项所述的装置，其特征在于，所述至少一个存储器存储程序指令，所述程序指令在被所述至少一个处理单元执行时，在单独地补偿所述视频帧中的运动伪像时，致使所述装置：针对不同的被分割的对象不同地补偿运动伪像。7.如权利要求1－6中任一项所述的装置，其特征在于，所述至少一个存储器存储程序指令，所述程序指令在被所述至少一个处理单元执行时，在单独地补偿所述视频帧中的运动伪像时，致使所述装置：补偿帧内...

【专利技术属性】
技术研发人员：T·索凯拉，K·梅拉卡里，M·穆基，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US