代表可视动画数据基于内容索引和检索的移动对象轨迹的系统和方法技术方案

公开了用于能够探测被选对象在可视动画数据帧序列中的运动的系统，视频处理装置能够产生代表被选对象运动的描述符数据结构。视频处理装置包括一个在可视动画数据帧中识别被选对象的图象处理器并确定被选对象在二维（２Ｄ）或三维（３Ｄ）坐标空间内的轨迹。图象处理器产生含有坐标空间内对象位置（通常是开始位置）的描述符数据结构；坐标空间内对象的速度；和坐标空间内对象的加速度。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术一般涉及图象检索系统和，更确切涉及代表动画视觉数据中移动对象或部位的轨迹的系统用于连续的基于内容索引，检索，编辑，分析和增强形象化。
技术介绍
数字电视(DTV)的出现，因特网的日益普及，和民用多媒体电器的使用，如密致盘(CD)和数字视频盘(DVD)，给消费者带来了极大的多媒体信息。随着录象和动画图象内容应用和使用它们的产品进入市场，查寻，索引和识别大量多媒体数据变得更加复杂和重要了。术语“可视动画数据”，其中公开内容中指通常的录象，还有合成的2D或3D世界(如VRML)，或录象和图象的结合(如MPEG-4)。不同的标准用来寻找和索引可视动画数据的内容，如图象片段。为搜索可视动画数据帧开发出来的图象处理系统，用来检测、识别和标记一个形状或颜色特别的对象，或检测帧中的文本，如副标题，广告文本，或背景图象文本，如一个路牌或“HOTEL”标志。然而，多媒体基于内容的索引和检索系统很少考虑到可视动画数据帧内的对象轨迹。很多已开发的系统只是用于静止图象检索。有些系统后来被延伸到动画数据通过先把它们总结为连续镜头，然后用主帧代表每个镜头，然后在主帧上应用静止图象使用的技巧。有些系统中，考虑了一个镜头中的照相机的运动，但还没有考虑对象轨迹。VideoQ，由哥伦比亚大学ADVENT Project of the Image andAdvanced TV Lab研制的，是一个处理对象运动的多媒体基于内容索引和检索的系统。VideoQ允许查寻基于对象的运动痕迹。对象的运动痕迹由这个对象的重心(质心)轨迹向量有序序列在序列中的每个时间瞬时描述。在不同的处理可视动画数据应用程序的任务中，其它表示是用来处理视频帧中的运动的。在编码标准如MPEG-1,MPEG-2,MPEG-4,H.261和H.263中，运动表示为每个图象之间和象素块的“运动”对应的2维向量的字段。运动向量在任何图象块上的任何时间瞬时都能被跳过。但是，这个块在那个时间瞬时会被认为是不动的。因为象素块通常只有尺寸8×8到16×16，这个表示导致彼此类似的邻近段和/或连续图象的大量向量。还有，尽管这一信息在以上标准中叫做“运动”，它并不是设计来符合动画可视物质中真正的“运动”。相反，这个信息是用来发现周围图象的类似点从而减少当前图象的编码消耗。因此，这种运动向量并不适用于多媒体数据索引和检索。目前正在研制中的是一个新的MPEG标准，MPEG-7，旨在建立一套标准的“描述性部件”来描述多媒体数据的不同方面，包括对象的运动。这些描述性部件，叫做描述符(Descriptor)和描述方案(Description Scheme)，直接描述可视动画数据的内容，如一个图象片段，从而提供了一个快速而有效的从录象文件夹和动画图象文件夹中搜寻的方法。除了这些描述符(D)和描述方案(DS)，MPEG-7还会标准化一种语言来表示描述(DDL)。描述被编码成能够有效的传递和储存。然而，MPEG-7标准远未完成而且有些目标可能永远也不会实现。谁也不能保证能恰当的说明对象的轨迹。因此对于在一系列可视动画数据帧中描述的对象轨迹需要改进的系统和方法。尤其是，需要对于能够确定可视动画数据帧中对象轨迹并代表描述符或描述方案中的能在基于内容索引和检索的系统中使用的被查到的对象轨迹的系统。专利技术概述要解决上述已有技术的缺陷，本专利技术的主要目的就是提供一个灵活的和类属的更容易查寻和索引对象轨迹的说明。这个公开既没有针对描述的编码也没有针对描述定义语言(DDL)中它的表述。所述的描述性数据结构，在使用MPEG-7术语时，既可被认为是一个合成的描述符或一个简单的初级描述方案。本专利技术并不局限于一个或多个特别的应用程序的需要或任何特别的数据源格式。本专利技术把描述符同人类的感觉标准和那个数据所描述的实际语义内容连接起来。人类在较高的阶段获取运动。据此，本专利技术通过在场景中对象于某一点上的轨迹代表它的对象轨迹使用一个高级描述，如它的重心(即质心)。为了进一步描述一个场景的运动，基于对象的描述可用一个照相机(或观察点)的运动描述来补充。如果有的话，微小的细节可用一个对象变形的描述来补充而被加上去。在本专利技术的一个有利的实施方案中，提供了在可视动画数据帧序列中检测被选对象运动的系统，和一个能产生代表被选对象轨迹的描述符数据结构的视频处理设备。这个视频处理设备由一个能在第一个可视动画数据帧和至少第二个可视动画数据帧中识别被选对象并由此确定被选对象在一个有至少第一维和第二维的坐标空间中的轨迹的图象处理器。图象处理器从轨迹中生成描述符数据结构，通过产生至少其中两个a)代表坐标空间内对象位置的第一数据轨迹；b)第二数据轨迹，由此确定在坐标空间内对象的速度；c)第三数据轨迹，由此确定坐标空间内对象的加速度。因此本专利技术使用可以理解的通用的，类属的方法来代表对象的轨迹。那么，用户可在可视动画数据帧序列(如录象带)中查寻一个对象，只要给出一个示范序列或有特定的速度，加速度，或在帧中的位置，或者以上的组合。视频处理器然后可以为录象带中每个对象快速的查寻轨迹描述符表以便寻找与用户指定的查寻标准一致的对象。在本专利技术的一个实施方案中，坐标空间由第一维，与第一维垂直的第二维，和与第一第二维垂直的第三维组成。因此本专利技术可以用来创造和查寻对象在二维中移动的描述符表，如正在移动的汽车经过监视照相机的录象带中的描述符表。因此本专利技术可以用来创造和查寻对象在三维中移动的描述符表，如在VRML环境中对象的描述符表。在本专利技术的另一个实施方案中，第二轨迹数据包括一个表示对象速度的速率值。在本专利技术的又一实施方案中，第二轨迹数据包括一个表示第一可视动画数据帧中对象的位置的起始位置，和一个表示至少在第二可视动画数据帧中对象的位置的结束位置，和一个用于在第一可视动画数据帧和至少是第二可视动画数据帧之间的消逝的时间值，其中对象的速度由起始时间，结束时间，和消逝的时间值确定。那么，本专利技术就能计算出对象的速度并直接把速度值存到描述符表上。另外，本专利技术还可以把对象的起始位置存入一个帧而把结束位置存入另一个帧，还有帧之间消逝的时间而间接地储存速度，从而在需要时计算出速度。然而在本专利技术的另一个实施方案中，从第二轨迹数据中确定的速度是一个与可视动画数据帧的边界有关的绝对速度。在本专利技术进一步的实施方案中，从第二轨迹数据中确定的速度是一个与可视动画数据帧的背景场景有关的相对速度。这使本专利技术能考虑到，如果有的话，记录动画的可视数据帧顺序的照相机或其它应用的观察点(如3D游戏中游戏杆的模拟)的运动。对象的轨迹也可由在帧边界(如一个固定的照相机)之内的速度或与相对于背景对象(如照相机与对象同时运动)的速度来代表。在本专利技术更进一步的实施方案中，视频处理装置通过将描述符数据结构与可视动画数据帧序列零星起来而修改可视动画数据帧序列。那么，视频处理装置为视频数据文件或其他可视动画数据文件中的一个或多个对象产生轨迹描述符表并把轨迹描述符表同录象文件联系起来，如通过把它连接到文件或合并到文件里，等等。使用的连接可以包括用来连接描述到对象的语义引用，用来连接描述到区域的特定引用，或用来连接描述到文件中临时位置的临时引用。这使后面的查寻更容易了，因为描述符文件是这个文件的一部分并且在查寻的时候不用被本文档来自技高网...

【技术保护点】
在可视动画帧序列中能够检测被选对象运动的系统（１００），一种视频处理装置（１１０）能够产生代表被选对象运动的描述符数据结构（２２０，２３０），所述视频处理装置（１１０）包括：能够在第一可视动画数据帧（２０１）和至少第二可视动画数据帧（２ ０２）中识别被选对象并且由此确定被选对象在至少有第一维和第二维的坐标空间内的轨迹的图象处理器（１２０），其中图象处理器（１２０）从所述轨迹中产生描述符数据结构（２２０，２３０），通过以下至少两个实现：第一轨迹数据（３１２）代表所述坐标空 间内所述被选对象的位置；第二轨迹数据（３１３），由此确定坐标空间内的被选对象的速度；第三轨迹数据（３１４），由此确定坐标空间内的被选对象的加速度。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：S简宁，
申请(专利权)人：皇家菲利浦电子有限公司，
类型：发明
国别省市：NL[荷兰]