对象跟踪及处理制造技术

一种方法包含跟踪视频数据的多个帧中的每一者中的对象以产生跟踪结果。所述方法还包含执行根据对象检测器或对象辨识器的多帧时延选择的所述多个帧中的帧的子集的对象处理。所述方法包含组合所述跟踪结果与所述对象处理的输出以产生组合的输出。

【技术实现步骤摘要】
【国外来华专利技术】对象跟踪及处理相关申请案的交叉参考本申请案是基于且主张2012年8月6日申请的第13/567,412号美国申请案及2012年I月6日申请的第61/584，062号美国临时专利申请案的优先权权益，所述申请案的全部内容以引用的方式并入本文中。
本专利技术通常涉及图像处理。
技术介绍
技术的进步导致计算装置越来越小且越来越强大。举例来说，当前存在多种便携式个人计算装置，包含很小、重量轻且易于由用户携带的无线计算装置(例如，便携式无线手机)、个人数字助理(PDA)及寻呼装置。更具体来说，例如蜂窝式手机及因特网协议(IP)手机等便携式无线手机可经由无线网络传达语音及数据包。此外，许多此类无线手机包含并入于其中的其它类型的装置。举例来说，无线手机还可包含数字静态相机、数字摄像机、数字记录器及音频文件播放器。可通过计算装置(例如，无线电话)执行文本检测及辨识以识别已由装置的相机俘获的图像中的文本。有时，俘获的文本可相对于相机运动(例如，在移动车辆上的文本)且可有必要在文本移动时跟踪文本，同时提供文本的准确识别。
技术实现思路
对象处理及跟踪技术可执行对象跟踪及对象处理(例如，对象检测、对象辨识或其任何组合)两者以从视频数据准确地识别对象(例如，文本)且跟踪识别的对象的位置。跟踪及处理的时间可重叠或至少部分重叠(例如，跟踪或跟踪方法的部分可与处理或处理方法的部分并发执行)，且处理文本的结果(例如，文本的检测及/或辨识的结果)可与跟踪的结果组合以产生文本的状态信息。不同于利用单个图像中的文本的定位及辨识的常规文本信息提取技术，所提出的技术可利用视频流中的文本的定位及辨识以改进用户体验及改进对象跟踪及检测系统的性能(例如，较高文本辨识响应速率)。通过执行在视频流而非在单个图像中的文本的定位及辨识，所提出的技术还可将实时体验提供给用户，且可减少误警率(即，视频流中的不正确的文本检测)。另外，所提出的技术采用视频流的帧之间的时间信息达成增加的文本检测准确性。在特定实施例中，方法包含跟踪视频数据的多个帧中的每一者中的对象以产生跟踪结果。所述方法还包含执行根据对象检测器或对象辨识器的多帧时延选择的所述多个帧中的帧的子集的对象处理。所述方法包含组合所述跟踪结果与所述对象处理的输出以产生组合的输出。在另一特定实施例中，设备包含经配置以跟踪视频数据的多个帧中的每一者中的对象以产生跟踪结果的跟踪器。所述设备还包含对象处理器，其经配置以处理根据对象处理器的多帧时延选择的多个帧中的帧的子集中的对象。所述设备包含时间滤波器，其经配置以组合跟踪器的跟踪结果与对象处理器的输出以产生组合的输出。由所揭示的实施例中的至少一者提供的特定优势包含通过结合对象检测及/或辨识技术利用具有高帧速率及低时延的跟踪技术以高准确性执行对象跟踪及对象检测的能力。在检视整个申请案后，将明白本揭示案的其它方面、优点及特征，申请案包含以下部分:【附图说明】、【具体实施方式】及权利要求书。【附图说明】图1为用以执行对象跟踪及处理的系统的特定实施例的框图；图2为用以执行对象跟踪及检测的系统的特定实施例的框图；图3为用以执行对象跟踪及辨识的系统的另一特定实施例的框图；图4为用以说明可由图1的系统执行的对象跟踪及处理的实例的总图；图5为用以说明可由图1的系统执行的对象跟踪及处理的另一实例的总图；图6为用以说明可由图1的系统执行的对象跟踪及处理的另一实例的总图；图7为执行对象跟踪及处理的方法的流程图；图8为执行对象跟踪及处理的另一方法的流程图；及图9为包含可操作以执行对象跟踪及处理的处理器的无线装置的特定实施例的框图。【具体实施方式】可在包含多个视频帧的视频流中的对象(即，文本)跟踪及辨识期间执行文本定位。可执行文本定位以定位输入视频流内的文本区。在给定视频流中的第t个帧It的情况下，视频流中的文本框的集合可表示为:X, ={.v；}^ (等式 1)，其中Nt为文本框的数目，且4表示第i个框。每一文本框可模型化为平行四边形。此外，每一文本框可表示为:.< = (p；, ?/1.r；..V；) e p (等式 2)，其中P、q、r及s为平行四边形的四个边。另外，5( g )可表示视频帧中对应于\的区。Xt可表示可从观测估计的文本框的集合的隐藏状态(即，未知状态或位置)。在带规基于单个图像的算法中，仅来自单个图像的检测结果被视为获得文本框的位置xt。在基于单个图像的算法中，检测结果可表示为:Zi ={ζ/}￡? 其中 Z;'e P (等式 3)。等式3的基于单个图像的算法不采用额外信息，例如文本框的时间信息。然而，在给定视频流的情况下，可采用例如时间信息等额外信息。举例来说，时间信息可用以通过使用文本框的一系列观测Ztl: t来估计文本框的最优位置，其中所述的一系列观测Ztl: t可表示为:Zt、ZH、Zt_2、......、Z0 (等式 4)。因此，文本框(或文本框的集合)的位置Xt可从观测的序列(即，ZdfZtf……、Ztl)估计。上文所描述的估计可在贝叶斯滤波框架中递归地制定为:本文档来自技高网...

【技术保护点】
一种方法，其包括：跟踪视频数据的多个帧中的每一者中的对象以产生跟踪结果；执行根据对象检测器或对象辨识器的多帧时延选择的所述多个帧中的帧子集的对象处理；及组合所述跟踪结果与所述对象处理的输出以产生组合的输出。

【技术特征摘要】
【国外来华专利技术】2012.01.06 US 61/584,062;2012.08.06 US 13/567,4121.一种方法，其包括: 跟踪视频数据的多个帧中的每一者中的对象以产生跟踪结果； 执行根据对象检测器或对象辨识器的多帧时延选择的所述多个帧中的帧子集的对象处理；及 组合所述跟踪结果与所述对象处理的输出以产生组合的输出。2.根据权利要求1所述的方法，其中执行所述帧子集的对象处理包含根据所述对象检测器的所述多帧时延执行所述帧子集的对象检测。3.根据权利要求1所述的方法，其中执行所述帧子集的对象处理包含根据所述对象辨识器的所述多帧时延执行所述帧子集的对象辨识。4.根据权利要求1所述的方法，其进一步包括基于所述组合的输出更新所述对象的状态息。5.根据权利要求1所述的方法，其进一步包括基于至少所述跟踪结果或所述对象处理的所述输出更新所述对象的状态信息。6.根据权利要求5所述的方法，其中所述基于所述对象处理的所述输出更新所述对象的状态信息包括利用所述对象处理的当前输出、所述对象处理的先前输出、所述对象的运动历史或其任何组合 。7.根据权利要求4所述的方法，其中在对象处理阶段期间执行所述对象处理，且其中在跟踪阶段期间执行所述跟踪。8.根据权利要求7所述的方法，其中所述跟踪阶段及所述对象处理阶段的时间至少部分重叠。9.根据权利要求7所述的方法，其进一步包括组合阶段，其中所述组合阶段包含产生所述组合的输出及更新所述状态信息。10.根据权利要求4所述的方法，其中所述更新的状态信息包含所述对象的位置。11.根据权利要求4所述的方法，其中所述对象对应于文本框，且其中所述更新的状态信息包含所述文本框中的辨识的文本。12.根据权利要求4所述的方法，其进一步包括在图像俘获装置的显示装置处至少部分基于所述对象的所述更新的状态信息显示图像内容。13.根据权利要求1所述的方法，其中组合所述跟踪结果与所述对象处理的所述输出包括关于所述对象处理的所述输出集成所述跟踪结果以获得所述对象的时间信息。14.根据权利要求13所述的方法，其中关于所述对象处理的所述输出集成所述跟踪结果包括使用卡尔曼滤波器、粒子滤波器或扩展卡尔曼滤波器中的至少一者基于所述跟踪结果产生所述对象的位置信息。15.根据权利要求13所述的方法，其中关于所述对象处理的所述输出集成所述跟踪结果包括使用最大似然估计器或最大后验估计器中的至少一者基于所述对象处理的所述输出产生包含所述对象的文本数据的识别信息。16.根据权利要求1所述的方法，其中由图像俘获装置产生所述多个帧，且其中所述图像俘获装置包括相机、视频记录装置、无线装置、便携式电子装置或其任何组合。17.根据权利要求1所述的方法，其进一步包括: 在检测到所述帧子集中的第一帧的所述对象处理已完成之前:估计所述帧子集中的所述第一帧与第二帧之间的所述对象的运动； 基于所述估计的运动更新所述对象的状态信息；及 基于所述对象的所述更新的状态信息产生输出。18.根据权利要求1所述的方法，其中所述跟踪具有单个帧时延。19.一种设备,其包括: 跟踪器，其经配置以跟踪视频数据的多个帧中的每一者中的对象以产生跟踪结果；对象处理器，其经配置以处理根据所述对象处理器的多帧时延选择的所述多个帧中的帧子集中的所述对象 '及 时间滤波器，其经配置以组合所述跟踪器的所述跟踪结果与所述对象处理器的输出以产生组合的输出。20.根据权利要求19所述的设备，其中所述对象处理器包含: 对象检测器，其经配置以检测所述帧子集中的所述对象；及 对象辨识器，其经配置以辨识所述帧子集中的所述对象。21.根据权利要求19所述的设备，其中所述时间滤波器经进一步配置以基于所述组合的输出更新所述对象的状态信息。22.根据权利要求21所述的设备，其中所述对象对应于文本框，且其中所述更新的状态...

【专利技术属性】
技术研发人员：丘衡一，延奇宣，百永基，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US