多媒体应用的画中画的方法技术

描述了一种用于准备包含了不止一个针对于画中画应用的分量流的媒体流的方法和装置，以及用于在画中画模式中呈现该媒体流的对应方法和设备。本发明专利技术使得对在媒体流中包含的分量流进行实时和动态的画中画呈现。提出了应该支持诸如MPEG-2传输流和ISO媒体格式之类的各种多媒体应用的媒体格式的扩展，以便使能这种动态画中画功能。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求提交于2010年7月13日标题为“Method of Picture-1n Picturein the MPEG-2TS for the HTTP Streaming”、序列号 61/363，697 的美国临时专利申请，以及提交于 2010年 7月 13 日的标题为“Method of Picture-1n-Picturein the ISO Base Media File Format for the HTTP Streaming”、序列号61/363，699的美国临时专利申请的优先权益。通过引用明确地将上述的临时专利申请的教导并入于此。
本专利技术一般地涉及诸如传送或呈现的多媒体应用的画中画。更具体地，本专利技术涉及支持多媒体应用的画中画功能和改进画中画的灵活性。
技术介绍
画中画(PIP)使得观看者同时观看多个单独的视频源。例如，一些蓝光盘字幕 (title)包括允许观看者看到导演对他们正在观看的电影的评论的画中画轨道(track)。传统地，诸如在蓝光盘应用中，通过生成硬编码的PIP视频(即，通过用前景视频替换背景视频中的区域)来实施画中画。将硬编码的PIP视频压缩并且发送到接收器。结果，观看者不能动态地调整PIP，诸如开启/关闭PIP特征(除非分开地发送背景视频的副本)，以改变前景视频的位置等。另一种传统PIP应用是在播放器侧覆盖两个独立的视频流，其中视频传输不能提供PIP视频流的任何关联信息。随着交互媒体科技的发展，多个视频分量可以被关联并且形成一组媒体，即，画中画。可以通过内容创建或用户交互来动态地确定PIP媒体的呈现，这意味着前景视频的位置、缩放和阿尔法混合(alpha blending)可以在回放期间改变。在其中前景视频在背景视频上显示导演评论的先前示例中，动态PIP通过例如移动前景视频而使得导演指向背景视频的不同位置的效果成为可能。 诸如MPEG2传输流和ISO媒体文件格式之类的当前媒体文件格式的一个缺点是它们不能实时或动态地更新系统层(即，传输层)中的PIP流的位置、层和缩放的信息。没有动态的位置和缩放信息，就不可能在不共享相同分辨率的屏幕区域上可靠地安放或覆盖视频源。一种可能性是从视频解码器取得信息。取决于编解码器和特定编码器的输出，这种信息可能不存在或可能不可靠。对于系统而言，从编解码器提取这种信息也可能是困难的。 系统级的方法是一种提供一致的体验而无论使用的底层视频编解码器的更好的方法。本专利技术提供了支持诸如发送和呈现之类的多媒体应用的画中画功能以及改进画中画的灵活性的解决方案。
技术实现思路
本专利技术针对一种用于准备包含画中画应用的多个分量流的媒体流并且在画中画模式中呈现这种媒体流的方法和装置。根据本专利技术的一个方面，提供了一种用于准备包含针对画中画应用的多个分量流的媒体流的方法。基于在媒体流中包含的多个分量流生成画中画信息。在将这种该画中画信息发送到接收器之前，将其嵌入到媒体流中。还提供了一种执行该方法的装置。所述装置包括相关器，其根据在媒体流中包含的多个分量流生成画中画信息；以及嵌入器，将画中画信息插入到媒体流中。根据本专利技术另一个方面，提供了一种用于在画中画模式中呈现包含多个分量流的媒体流的方法。获得与媒体流有关的画中画信息。根据这种画中画信息，从媒体流中提取多个分量流并且在画中画模式中进行呈现。还提供了实施该方法的装置。这种装置包括提取器和处理器。提取器从媒体流中提取画中画信息，并且根据该画中画信息提取多个分量流。所提取的分量流在处理器中处理以便在画中画模式中呈现。附图说明参照附图通过具体描述本专利技术的示例性实施例，本专利技术的以上特征将变得更加明显，附图中图1图示了其中一个从属层画面覆盖在主层画面上的画中画显示模式。图2示出了根据本专利技术的，用于准备包含针对画中画目的的多个分量流的媒体流的装置的结构。图3示出了准备在画中画应用中使用的媒体流的本专利技术的一个实施例。图4示出了用于读取包含画中画信息的媒体流并且在画中画模式中呈现该流的画中画呈现设备的结构。图5示出了根据本专利技术的读取包含画中画信息的媒体流并且在画中画模式中呈现该流的过程。具体实施方式在本专利技术中，提出了一种系统级PIP解决方案，其通过将PIP信息(诸如，PIP模式中每个分量流的分辨率/大小 、位置以及高宽比)插入到系统级的比特流，使得接收器可以在不访问来自解码器的信息的情况下动态地操作PIP。图1图示了具有两个画面源的画中画显示模式。将背景画面标记为主层110并且将前景画面标记为从属层120。在一个实施例中，从属层120相对于主层110的位置被定义为一对偏移(水平偏移和垂直偏移)。还根据主层110中期望的区域确定从属层120的高宽比和分辨率。还根据应用来定义诸如主层画面和从属层画面的阿尔法混合之类的其它参数。本专利技术可以支持多个从属层。每个层可以以相似的方式定义。在不同的实施例中，可以相对于被称作锚画面/视频的固定画面/视频来定义主层和从属层，使得对于所有层而言，位置、缩放和其它PIP信息被对准(align)。在本专利技术中，将由主层或从属层组成的内容流称作分量流。注意到分量流可以是视频、图像、字幕、或基础层视频、SVC中的增强层视频或MVC中的视频的一个视图。以下，使用视频分量流来描述本专利技术。相同的原理应用于其它分量类型。图2示出了一种用于准备包含针对画中画目的的多个分量流的媒体流的装置。该媒体流可以是例如，节目流或传输流。流标识符210识别包含在媒体流205中的分量流215。相关器220根据画中画关系将识别的那些分量流关联。这种画中画关系由应用确定。在一个应用中，作为从属视频的卫星图像的视频可以例如与作为主视频的气象学家对天气预报的评论的视频相关联/相关。在不同的应用中，作为主视频的卫星图像的视频与用于教育目的的作为从属视频的记录遭遇龙卷风的本地城镇的视频相关联。相关器220还基于主分量视频和从属分量视频的信息生成PIP信息225。PIP信息225包括，但不限于-指示不同层之间的重叠关系的层信息，诸如哪个分量视频是主层视频，以及哪个分量视频是从属层视频。对于支持多个从属层的应用，层信息还包括从属层之间的重叠关系。-指示在画中画模式中显示时每个层的位置的位置信息。在一个实施例中，可以相对于主层分量视频计算位置信息。在不同的实施例中，位置信息是相对于锚分量视频。-指示在画中画模式中显示时每个层的大小或分辨率的大小信息。在一个示例中， 通过主层视频中的旨在显示从属层视频的区域的大小来确定从属层视频的大小或分辨率。-指示在画中画模式中显示时每个层的高宽比的高宽比信息。类似地,在一个示例中，通过主层视频中的旨在显示从属层视频的区域的高宽比来确定从属层视频的高宽比。还可以包括诸如层的阿尔法混合之类的其它信息。可以通过嵌入器240将识别的PIP信息225插入到媒体流中。在一个实施例中， 通过将PIP信息225馈送到PIP信息构建器230以生成PIP信息数据单元235来实现这样的嵌入。信息数据单元235携带与PIP信息225相同的信息，但是符合分量流215的格式。 嵌入器240将符合格式的PIP信息数据单元235连同分量流215 —起插入到媒体流中，使得PIP信息可以与分量流相关联以便在接收器侧启用PIP。输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.07.13 US 61/363,699;2010.07.13 US 61/363,6971.一种用于准备包含多个针对画中画应用的分量流的媒体流的方法，所述方法包括 根据在媒体流中包含的多个分量流来生成画中画信息；以及 将画中画信息插入到媒体流中。2.如权利要求1所述的方法，还包括 根据多个分量流中的改变来更新画中画信息。3.如权利要求2所述的方法，其中媒体流是传输流和节目流中的一个。4.如权利要求2所述的方法，其中插入步骤包括 根据生成的画中画信息建立画中画数据单元；以及 将画中画数据单元插入到媒体流中。5.如权利要求4所述的方法，其中所述画中画数据单元包括画中画描述符，并且插入步骤还包括 将画中画描述符包括到媒体流的节目映射表中。6.如权利要求4所述的方法，其中所述画中画数据单元包括画中画信息框，并且插入步骤还包括 将画中画信息框插入到多个分量流中。7.如权利要求6所述的方法，其中画中画信息框是用于实时更新的画中画信息框和用于离线更新的画中画信息框中的一个。8.如权利要求2所述的方法，其中所述画中画信息包括画中画模式中分量流的层、位置、大小、以及高宽比的信息。9.如权利要求8所述的方法，其中相对于主层分量流和锚分量流中的一个来定义每个分量流的画中画信息。10.一种用于准备包含了多个针对画中画应用的分量流的媒体流的装置，所述装置包括 相关器，根据在媒体流中包含的多个分量流来生成画中画信息；以及 嵌入器，将画中画信息插入到媒体流中。11.如权利要求10所述的装置，其中所述媒体流是传输流和节目流中的一个。12.如权利要求11所述的装置，还包括 画中画信息建立器，根据识别的画中画信息生成画中画信息数据单元，所述画中画信息数据单元被馈送到嵌入器以便插入到媒体流中。13.如权利要求12所述的装置，其中所述画中画数据单元包括画中画描述符，并且嵌入器还执行以下步骤 将画中画描述符包括到媒体流的节目映射表中。14.如权利要求12所述的装置，其中所述画中画数据单元包括画中画信息框，并且所述嵌入器还执行以下步骤 将画中画信息框插入到多个分量流中。15.如权利要求14所述的装置，其中画中画信息框是用于实时更新的画中画信息框和用于离线更新的画中画信息框中的一个。16.一种用于在画中画模式中呈现包含了多个分量流的媒体流的方法，所述方法包括获得与媒体流有关的画中画信息； 根据获得的画中画信息从媒体流提取多个分量流；以及 根据获...

【专利技术属性】
技术研发人员：朱立华，李钧，吴振宇，
申请(专利权)人：汤姆森特许公司，
类型：
国别省市：