基于稳健主运动估计的数字视频稳定化制造技术

描述基于稳健主运动估计来执行数字视频稳定化的各种实施例。在一个实施例中，一种装置可以接收输入图像序列，并估计图像序列中的相邻图像之间的主运动。该装置可利用稳健估计器来自动检测并忽视对应于独立运动对象的离群点。还描述其它实施例并要求它们的权利。

【技术实现步骤摘要】
【国外来华专利技术】基于稳健主运动估计的数字视频稳定化
技术介绍
诸如摄像机、电影模式的静物照相机、以及蜂窝电话和个人数字助理(PDA)中的照相机的许多类型的移动设备都允许捕捉图像序列， 这导致用户获取的数字媒体的量显著增长。但是，在大多数情况下， 视频是在非理想状况下用非理想的获取设备捕捉到的。例如，在诸如从移动车辆或在体育活动过程中拍;J聂的情况下，大多数视频具有高度的不想要的运动或抖动。甚至在正常状况下获取的视频也会具有一定 量的不想要的晃动。大多数随处可见的廉价视频设备不提供用于稳定 视频序列以补偿这种抖动的特征。尽管大多数昂贵设备中的一些设备提供机械图像稳定化，但经常 采用的是通常包括基于图像内假定主要包含背景信息的预先选择的 图像区域来计算图像运动的数字技术。如果关心的对象碰巧在此区域内，则它违反基本々B殳，并且背景运动估计将不正确。其它数字稳定化技术包括通过以下方式来估计整个图像上的运动分别沿水平坐标和垂直坐标将图像积分，然后通过在连续帧中使 两个一维信号简单地相互关联来计算运动。这些技术虽然快速且可在 嵌入在成像设备内的硬件中实现，但是它们往往是不准确的，并且会 因为计算图像中的所有对象的平均运动而导致有偏差的运动估计。因此，需要改进的数字视频稳定化技术，可在获取图像序列的同 时或在获取之后通过对捕捉的图像序列进行后处理来执行这些技术， 以便增强数字媒体的观看体验。附图说明图1示出根据一个或多个实施例的々某体处理系统。图2示出根据一个或多个实施例的帧间主运动估计(dominant motion estimation)模块。图3示出根据一个或多个实施例的典型图像序列的估计轨迹 (estimated trajectory)禾口平滑轨迹(smoothed trajectory)。图4示出根据一个或多个实施例的两个帧的稳定化结果。图5示出根据一个或多个实施例的逻辑流程。图6示出才艮据一个或多个实施例的制品。具体实施例方式各种实施例涉及执行数字视频稳定化以便从图像序列中去除不 想要的运动或抖动。数字视频稳定化可在获取图像序列的同时执行。 例如，可在诸如摄像机或具有嵌入式成像的移动设备的图像获取设备 内在图像获取过程中执行数字视频稳定化，以便在仍然允许相机摇摄 的同时自动校正并去除由于相机晃动引起的不想要的抖动。数字视频稳定化也可在图像获取之后执行，以便处理并观看视频 流。例如，可以通过以下设备来执行数字视频稳定化基于web的i某 体服务器，移动计算平台，桌面式平台，娱乐个人计算机(PC),机 顶盒(STB),数字电视(TV),视频流增强芯片组，i某体播J:器， 4某体编辑应用，或其它适于增强数字4某体的观看体验的可视化设备。在各种实施例中，数字^见频稳定化可以通过以下方式来执行接 收输入图像序列，估计输入图像序列中的相邻图像帧之间的主运动， 基于相邻图像帧之间的主运动确定估计轨迹，确定平滑轨迹，基于估 计轨迹和平滑轨迹之间的偏差来计算估计的抖动，然后补偿估计的抖 动以生成稳定的图像序列。数字视频稳定化可以通过利用视频序列中 的信息执行的纯数字技术来实现，而无需任何外部传感器信息。数字视频稳定化可以包括自动选择要通过稳健统计进行补偿的 正确运动的统计技术。该技术自动选择图像中包含主运动的像素集 合，而不必预先选择关心的区域。通过基于稳健统计的使用来提供对主运动和估计过程的形式定义，所得数字图像稳定化技术不需要专门 定义主运动或选择用于估计运动的区域，而是改为基于丟弃具有与主 运动很不同(从统计意义上来说)的运动的区域来提供对主运动的估 计。因此，可以在具有多个运动对象的序列中获得优良的结果，而与 场景中的对象的相对位置无关。图1示出根据一个或多个实施例的力某体处理系统100。 一般来说， 々某体处理系统100可以包括用于传送信息的各种物理和/或逻辑组件， 根据一组给定的设计参数或性能约束的需要，这些组件可作为硬件、 软件或其任意组合来实现。尽管图l举例示出有限数量的组件，但可 明白，对于给定实现，可以采用更多或更少数量的组件。在各种实现中，々某体处理系统100可以设置成为PC、消费型电子 设备(CE)和/或移动平台执行一个或多个联网、多^某体和/或通信应 用。在一些实施例中，对于PC、 CE和/或移动平台，媒体处理系统 100可作为设备内和/或连接到设备的系统来实现，设备可以是例如个 人PC、 STB、数字TV设备、互联网协议TV (IPTV)设备、数码相 机、媒体播放器和/或蜂窝电话。这些设备的其它实例可以包括但不限 于工作站、终端、服务器、媒体设备、音频/视频(A/V)接收器、数 字音乐播放器、娱乐系统、数字TV(DTV)设备、高清晰TV(HDTV) 设备、直播卫星TV (DBS)设备、视频点播(VOD)设备、WebTV 设备、数字视频录像机(DVR)设备、数字多功能盘(DVD)设备、 高清晰DVD (HD-DVD)设备、蓝光盘(BD)设备、家用视频系统(VHS)设备、数字VHS设备、游戏控制台、显示设备、笔记本型 PC、膝上型计算机、便携式计算机、手持式计算机、个人数字助理(PDA) 、 IP语音(VoIP)设备、組合式蜂窝电话/PDA、智能电话、 寻呼机、消息接发设备、无线接入点(AP)、无线客户机设备、无线 站(STA)、基站(BS)、订户站(SS)、移动订户中心(MSC)、 移动单元等。例如，在移动应用中，々某体处理系统100可在i殳备内实现和/或连接到设备，设备包括一个或多个用于进行无线通信的接口和/或组件， 这一个或多个接口和/或组件可以是例如一个或多个发射器、接收器、收发器、芯片组、放大器、滤波器、控制逻辑、网络接口卡(NIC)、 天线等。天线的实例可以包括但不限于内置天线、全向天线、单极天 线、偶极天线、底端馈电天线、圆极化天线、微带天线、分集天线、 双天线、天线阵列等。在各种实施例中，々某体处理系统100可以形成有线通信系统、无 线通信系统或两者的组合的一部分。例如，i某体处理系统100可以设 置成通过一种或多种类型的有线通信链路传送信息。有线通信链路的 实例可以包括^旦不限于电线、电缆、总线、印刷电路板(PCB)、以 太网连接、对等(P2P)连接、底板、交换结构、半导体材料、双绞 线、同轴电缆、光纤连接等。々某体处理系统100也可设置成通过一种 或多种类型的无线通信链路传送信息。无线通信链路的实例可以包括 但不限于无线电信道、卫星信道、电视信道、广播信道、红外信道、 射频(RF)信道、无线保真(WiFi)信道、RF语的一部分、和/或一 个或多个许可或免许可的频带。尽管可以利用特定通信介质举例说明 某些实施例，4旦可明白，本文i仑述的原理和技术可以利用各种通信介 质和伴随的^t术来实现。在各种实施例中，少某体处理系统100可以设置成在网络内操作， 网络可以是例如广域网(WAN)、局域网(LAN)、城域网(MAN)、 无线WAN(WWAN)、无线LAN(WLAN)、无线MAN(WMAN)、 无线个域网(WPAN)、全球微波接入互操作性(WMAX)网络、 宽带无线接入(BWA)网络、互联网、万维网、电话网络、无线电网 络、电禾见网络、电缆网络、诸如直播卫星(DBS)网络的卫星网络、 码分本文档来自技高网...

【技术保护点】
一种装置，包括：　用于接收输入图像序列并估计所述图像序列中的相邻图像之间的主运动的帧间主运动估计模块，所述帧间主运动估计模块包括用于自动检测并忽视对应于独立运动对象的离群点的稳健估计器。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：O内斯塔雷斯，HW豪泽克，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：US[美国]