指示哪些视频数据单元表示目标画中画区域制造技术

一种媒体数据处理方法。该方法包括：对于媒体数据与媒体数据文件之间的转换，确定预选择元素包括指示符，指示符指示主视频的哪些视频数据单元表示目标画中画区域；以及基于该指示符在媒体数据与媒体数据文件之间执行转换。还公开了对应的视频编解码装置和非暂时性计算机可读记录介质。算机可读记录介质。算机可读记录介质。

【技术实现步骤摘要】
指示哪些视频数据单元表示目标画中画区域
[0001]相关申请的交叉引用
[0002]根据适用的专利法和/或符合巴黎公约的规则，本申请是为了及时要求2021年6月30日提交的美国临时专利申请No.63/216,975和2021年7月1日提交的美国临时专利申请No.63/217,665的优先权和利益。出于根据法律的所有目的，前述申请的全部公开内容通过引用而并入作为本申请的公开内容的一部分。


[0003]本公开总体上涉及视频流，并且特别涉及在超文本传输协议上的动态自适应流(Dynamic Adaptive Streaming over Hypertext Transfer Protocol，DASH)中画中画服务的支持。

技术介绍

[0004]数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量增加，预计对于数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]所公开的方面/实施例提供在预选择元素中并入指示符的技术。在实施例中，指示符指示主视频的每个图片中的哪些视频数据单元表示目标画中画区域。因此，相对于常规视频编解码技术改善视频编解码过程。
[0006]第一方面涉及一种媒体数据处理方法。该方法包括：对于所述媒体数据与媒体数据文件之间的转换，确定预选择元素包括指示符，所述指示符指示主视频的哪些视频数据单元表示目标画中画区域；以及基于所述指示符执行所述媒体数据与所述媒体数据文件之间的所述转换。
[0007]可选地，在前述任意方面中，该方面的另一实施方式提供：所述指示符还指示所述主视频的每个图片中的哪些所述视频数据单元能够被补充视频的对应视频数据单元替换。
[0008]可选地，在前述任意方面中，该方面的另一实施方式提供：所述指示符包括所述预选择元素的属性。
[0009]可选地，在前述任意方面中，该方面的另一实施方式提供：所述指示符包括区域标识符ID的列表。
[0010]可选地，在前述任意方面中，该方面的另一实施方式提供：所述指示符包括@regionIds属性。
[0011]可选地，在前述任意方面中，该方面的另一实施方式提供：所述@regionIds属性规定表示所述主视频的所述目标画中画区域的所述视频数据单元的标识符ID。
[0012]可选地，在前述任意方面中，该方面的另一实施方式提供：所述@regionIds属性将表示所述主视频的所述目标画中画区域的所述视频数据单元的标识符ID规定为白色空间单独列表。
[0013]可选地，在前述任意方面中，该方面的另一实施方式提供：当@tag属性存在于所述预选择元素中时，所述指示符仅存在于所述预选择元素中。
[0014]可选地，在前述任意方面中，该方面的另一实施方式提供：当所述预选择元素中的@tag属性指示所述预选择元素的目的是提供画中画体验时，所述指示符仅存在于所述预选择元素中，其中，补充视频呈现为覆盖在所述主视频中的所述目标画中画区域上。
[0015]可选地，在前述任意方面中，该方面的另一实施方式提供：所述指示符包括子图片ID，其中，所述视频数据单元包括视频编解码层网络抽象层VCL NAL单元，所述VCL NAL单元表示所述目标画中画区域且包括所述子图片ID，并且其中，所述VCL NAL单元中的所述子图片ID与补充视频的对应VCL NAL单元中的所述子图片ID相同。
[0016]可选地，在前述任意方面中，该方面的另一实施方式提供：用补充视频的对应视频数据单元替换表示所述目标画中画区域的所述视频数据单元，而不改变所述对应视频数据单元的顺序。
[0017]可选地，在前述任意方面中，该方面的另一实施方式提供：所述视频数据单元包括视频编解码层网络抽象层VCL NAL单元，其中，所述对应视频数据单元包括补充VCL NAL单元，并且其中，所述VCL NAL单元中的所述子图片ID与对应VCL NAL单元中的所述子图片ID相同。
[0018]可选地，在前述任意方面中，该方面的另一实施方式提供：所述预选择元素包括Picinpic元素。
[0019]可选地，在前述任意方面中，该方面的另一实施方式提供：所述指示符包括@regionIds属性，并且其中，所述Picinpic元素包含所述@regionIds属性。
[0020]可选地，在前述任意方面中，该方面的另一实施方式提供：所述预选择元素设置在媒体呈现描述MPD文件中。
[0021]可选地，在前述任意方面中，该方面的另一实施方式提供：所述预选择元素为超文本传输协议上的动态自适应流DASH预选择元素。
[0022]可选地，在前述任意方面中，该方面的另一实施方式提供：所述转换包括将所述媒体数据编码成比特流。
[0023]可选地，在前述任意方面中，该方面的另一实施方式提供：所述转换包括从比特流解码所述媒体数据。
[0024]一种媒体数据处理装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使所述处理器：对于媒体数据与媒体数据文件之间的转换，确定预选择元素包括指示符，所述指示符指示主视频的哪些视频数据单元表示目标画中画区域；以及基于所述指示符执行所述媒体数据与所述媒体数据文件之间的所述转换。
[0025]一种非暂时性计算机可读记录介质，其中存储由视频处理装置执行的方法生成的视频的媒体呈现描述MPD，所述方法包括：确定预选择元素包括指示符，其中，所述指示符指示主视频的哪些视频数据单元表示目标画中画区域；以及基于所述指示符生成所述MPD。
[0026]出于清楚目的，前述任一实施例可以与任意一个或多个其他前述实施例组合，以在本公开的范围内产生新的实施例。
[0027]这些和其他特征将结合附图和权利要求从以下详细描述更清楚地理解。
附图说明
[0028]为了更完整地理解本公开，现参考以下简要描述，结合附图和详细描述，其中，相同的附图标记表示相同的部分。
[0029]图1为示出由DASH中使用的媒体呈现描述(MPD)的视频的描述的示意图。
[0030]图2为分割为片、条带和子图片的图片的示例。
[0031]图3为基于子图片的视口相关的360
°
视频传送方案的示例。
[0032]图4为子图片提取的示例。
[0033]图5为基于多功能视频编解码(VVC)子图片的画中画支持的示例。
[0034]图6为示出示例视频处理系统的框图。
[0035]图7为视频处理装置的框图。
[0036]图8为示出视频编解码系统的示例的框图。
[0037]图9为示出视频编码器的示例的框图。
[0038]图10为示出视频解码器的示例的框图。
[0039]图11为根据本公开的实施例所述的媒体数据处理方法。
具体实施方式
[0040]首先应理解的是，虽然以下提供了一个或多个实施例的说明性实施方式，但公开的系统和/或方法可以使用任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种媒体数据处理方法，包括：对于所述媒体数据与媒体数据文件之间的转换，确定预选择元素包括指示符，其中，所述指示符指示主视频的哪些视频数据单元表示目标画中画区域；以及基于所述指示符执行所述媒体数据与所述媒体数据文件之间的所述转换。2.根据权利要求1所述的方法，其中，所述指示符还指示所述主视频的每个图片中的哪些所述视频数据单元能够被补充视频的对应视频数据单元替换。3.根据权利要求1所述的方法，其中，所述指示符包括所述预选择元素的属性。4.根据权利要求1所述的方法，其中，所述指示符包括区域标识符ID的列表。5.根据权利要求1所述的方法，其中，所述指示符包括@regionIds属性。6.根据权利要求5所述的方法，其中，所述@regionIds属性规定表示所述主视频的所述目标画中画区域的所述视频数据单元的标识符ID。7.根据权利要求5所述的方法，其中，所述@regionIds属性将表示所述主视频的所述目标画中画区域的所述视频数据单元的标识符ID规定为白色空间单独列表。8.根据权利要求1所述的方法，其中，当@tag属性存在于所述预选择元素中时，所述指示符仅存在于所述预选择元素中。9.根据权利要求1所述的方法，其中，当所述预选择元素中的@tag属性指示所述预选择元素的目的是提供画中画体验时，所述指示符仅存在于所述预选择元素中，其中，补充视频呈现为覆盖在所述主视频中的所述目标画中画区域上。10.根据权利要求1所述的方法，其中，所述指示符包括子图片ID，其中，所述视频数据单元包括视频编解码层网络抽象层VCL NAL单元，所述VCL NAL单元表示所述目标画中画区域且包括所述子图片ID，并且其中，所述VCL NAL单元中的所述子图片ID与补充视频的对应VCL NAL单元中的所述子图片ID相同。11.根据权利要求1所述的方法，还包括：用补充视频的对应视频数据单元替...

【专利技术属性】
技术研发人员：王业奎，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：