用于在电视系统上表示图形图像组的方法以及电视系统技术方案

本发明专利技术提出了一种用于在电视系统上表示一组图形图像的方法和系统。视频帧的序列被接收。所述帧被解码并缩放为减小了尺寸的帧，减小了尺寸的帧在时间上并且定期地被采样以提供所选择的帧。所选择的帧被存储在循环缓冲器中并被转换为图形图像。该图形图像被定期合成并利用图形接口呈现为输出图形图像。

【技术实现步骤摘要】

本专利技术主要涉及图像表示，尤其涉及用于快速扫描的图像表示。
技术介绍
在现实世界中，我们能够通过快速翻阅书页获得书的整体梗概。当该书通过图解说明时这项任务甚至会更加容易。同样的技术能够用于定位该书中的已知目标，即，读者以前看过而现在试图再次定位的某页。由于获取提供的内容的梗概和搜索已知目标通常也是在电子信息应用中同样遇到的任务，在数字世界中存在类似于迅速翻阅书页的技术。 电子媒介中的标准实践是在“页面”上静态地表示信息。提供控制以允许用户变换到不同的页，但不是快速地向前或向后翻过一组“页面”。类似于迅速翻阅书页的最为接近的活动是在视频内快进或倒带，或通过电视信号的频道“冲浪”。然而，这些控制不允许用户控制表示的速度和方向控制到最大的便利并且该方法通常不是可用于总览或以除视频之外的信息为目标的方法。 多年来心理学家已经通过如快速连续图象显示(RSVP)的已知类型的表示研究人类的视觉感知。已知人类能够非常快速地简要处理所表示的图像。其中图像或文本快速闪过的阅读和视觉感知中所涉及的调查研究认知过程的实验有很长的历史。最近编辑的论文卷提供了这项工作的概要和历史性综述，参见Coltheart(Ed.)，“FleetingMemoriesCognition of Brief Visual Stimuli”，MIT Press，1999。 应当相信，人们通常在150到300微秒的眼睛的一系列简短不连续定影中处理视觉信息。在这些定影之间，快速眼睛移动非常迅速。 细节的感知与理解处于不连续定影的中心，而在视觉外围的模糊感知在确定下一个快速扫描的目标过程中使用。 总之，应当相信，视觉感知进展处于能够导致在记忆中长期保持的阶段。然而，对于视觉信息有可能在被看到然后很快被忘掉。导致记忆保持的认知过程的后续阶段需要能够干涉视觉感知的资源，反之亦然。 人机界面中所使用的现有技术RSVP方法最基本的是使用大致对应于心理学著作中所研究条件的单幅图像的时间序列。每个连续的图像替代之前显示的图像。这种表示方法已经被称为幻灯片放映或锁眼模式，参见Tse等的“Dynamic Key Frame Presentation Techniquesfor Augmenting Video Browsing”，Proceedings of the WorkingConference on Advanced Visual Interfaces(AVI 1998)，pp.185-194，1998；以及Spence等的“Rapid，Serial and VisualA PresentationTechnique with Potential”，Information Visualization，vol.1，PP.13-19，2002。 图1～4示出了包括旋转式传送带模式100，见图1；动态拼贴模式200，见图2；浮动模式300，见图3；以及搁板(shelf)模式400，见图4的其他几种变化。这些模式都使用图像的额外的移动或位移。 到此为止，关于人机界面中的RSVP方法的功效仅有一些初步的发现。看起来实验迄今仅仅证实了人类能够抽取以幻灯片放映模式快速表示的视觉信息。Tse等人调查了用于视频浏览的固定速率的幻灯片放映方法。即使是当图像被极其快速(例如每秒八帧)表示时用户也能够抽取出电影的梗概。 然而，已经假定其他RVSP方法可以通过允许用户对其关注点有更多的灵活性和控制而提供了多种优势。用户能够及早拒绝无关图像，并在相关图像上聚焦更长时间。然而，诸如旋转式传送带模式100和动态拼贴模式200的具有更复杂的2D空间/时间布局的初步实验未能够显示出优于幻灯片放映模式的任何优势。例如在Wittenburg等的“Browsing Through Rapid-Fire ImagingRequirements and IndustryInitiatives”Proceedings of Electronic Imaging 2000InternetImaging，PP.48-56，2000中描述了将动态拼贴模式与幻灯片放映模式相比较的飞行员实验的例子。他们描述了将任务包含在因特网购物中的试验，其中用户对表示的速度和方向具有完全的控制。他们将幻灯片放映RSVP模式与动态拼贴模式相比较，以及与更加传统的网页表示方法进行了比较。参见图2，在动态拼贴模式中，图像被连续放置并半随机地围绕着中心点201，直至图像被随后的图像遮挡或从显示中清除。与旋转式传送带模式100不同，其不涉及图像移动或比例变化。产品的图像在幻灯片放映、动态拼贴和网页三种模式中显示。要求用户执行两个任务。第一个是梗概抽取任务。第二个任务是确定目标产品出现或未出现。相关的发现是相比动态拼贴和网页模式，用户更喜欢幻灯片放映模式，尽管没有观察到性能差异。 由于用户必须同时关注许多快速变化的图像和/或切换注视到新的2D位置上的图像，用户对除了幻灯片放映模式之外的现有技术方法要求太多的感知过程。这些方法中的一些要求在2D中跟踪，例如，旋转式传送带模式100，而其它的要求切换注视聚焦到不同位置，例如，动态拼贴模式200。不应当感到惊奇的是，其中图像移动了或其中图像在新的位置上弹出的变化要求额外的感知开销。 De Bruiin等描述了与RSVP接口方法有关的眼睛跟踪试验，参见De Bruiin等的“Patterns of Eye Gaze During Rapid Serial VisualPresentation”，Proceedings of the Working Conference on AdvancedVisual Interfaces(AVI 2002)，pp.209-217，2002。他们比较了许多要求跟踪的(例如旋转式传送带)或者要求集中焦点于不同位置的(例如动态拼贴)的RSVP替代物。他们就RSVP各种被测模式的眼睛注视的方式做了许多观察。他们观察到对搁板模式400使用了不同的眼睛跟踪策略。一个用户看起来仅注意到其中新图像在移动到表示的背景部分之前出现的区域。另一个用户看起来在当图像移动时跟踪图像。我们从以上观察假定，为了适应他们的任务，需要新的方法支持用尸改变注意的焦点(例如，搜寻目标图像对抽取序列的梗概)。 因此，期望开发人类视觉和认知能力以改进电子多媒体内容的表示和浏览。
技术实现思路
本专利技术提供一种用于以适用于快速扫描的方式交互表示(present)图像的系统和方法。本专利技术利用了自然的人类认知能力以跟踪在三维空间中移向或远离观察者的目标。 本专利技术结合了使得能够处理快速表示的视觉信息而不需过多眼睛移动的聚焦区域。将布局的精巧(refinement)应用于时间上相关或逻辑上分组的图像。为了前进贯穿整个集合中的目标图像，进一步的创新允许相对的时间的排序。 本专利技术能够应用于其中必须要从能够在视觉上表示的图像集合中做出选择的大量显示的系统。例子包括浏览和搜索所录制的视频，选择电视节目，寻人，以及从虚拟的或虚拟增长的零售环境中的目录中选择条目。附图说明图1示出了根据现有技术的旋转式传送带显示方式显示的图像；图2示出了根据现有技术的动态拼贴模式显示的图像；图3示出了根据现本文档来自技高网...

【技术保护点】
一种用于在电视系统上表示一组图形图像的方法，包括以下步骤：接收视频帧的序列；解码并缩放该序列的帧为减小了尺寸的帧；在时间上并且定期地采样所述减小了尺寸的帧以提供所选择的帧；在循环缓冲器中存储前ｎ个所选择的帧； 将所述ｎ个所选择的帧转换为ｎ个图形图像；将在所述循环缓冲器中存储的所述ｎ个图形图像定期合成为输出图形图像；以及利用所述电视系统的图形接口定期呈现所述输出图形图像。

【技术特征摘要】
US 2006-1-4 11/325,182书的目的在于覆盖属于本发明真正精神和范围的所有这种变化和修改。权利要求1.一种用于在电视系统上表示一组图形图像的方法，包括以下步骤接收视频帧的序列；解码并缩放该序列的帧为减小了尺寸的帧；在时间上并且定期地采样所述减小了尺寸的帧以提供所选择的帧；在循环缓冲器中存储前n个所选择的帧；将所述n个所选择的帧转换为n个图形图像；将在所述循环缓冲器中存储的所述n个图形图像定期合成为输出图形图像；以及利用所述电视系统的图形接口定期呈现所述输出图形图像。2.权利要求1所述的方法，其中所述帧的序列存储于个人录像机中。3.权利要求1所述的方法，其中所述减小了尺寸的帧在非对称V布局中合成。4.权利要求3所述的方法，其中所述V布局的右端包括未来的图像，所述V布局的左端包括过去的图像，而所述V布局的顶点为当前图像。5.权利要求所述4的方法，其中所述V布局的所述右端大于所述左端。6.权利要求1所述的方法，其中十帧的其中之一被选择用于存储。7.权利要求1所述的方法，其中所述图形图像的所述合成和呈现速率为每秒至少五个。8.权利要求1所述的方法，其中所述帧的序列为YUV视频格式，而所述图形图像为RGB...

【专利技术属性】
技术研发人员：萨谬尔E什普曼，艾加蒂瓦卡兰，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]