基于优先级的视频编码和传输制造技术

本公开的实施例涉及基于优先级的视频编码和传输。本发明专利技术公开了一种视频编码系统，其中在编码之前将像素数据分解成频带。该频带被组织成块，该块提供给基于块的编码器，该基于块的编码器对该块进行编码并将所编码的块传递到无线接口，该无线接口对该块进行分组以通过无线连接进行传输。该编码器可将所编码的频带分类为多个优先级级别，并且可用指示该块中表示的该频带、该频带的该优先级和定时信息的元数据来标记每个频率块。然后，该无线接口可根据该分组中的所编码频率块的该优先级级别和/或根据该分组中的该频率块的该定时信息来传输或丢弃分组。传输或丢弃分组。传输或丢弃分组。

【技术实现步骤摘要】
基于优先级的视频编码和传输
[0001]本申请是国际申请号为PCT/US2019/039591、国际申请日为2019年06月27日、于2020年12月14日进入中国国家阶段、中国国家申请号为201980040136.6、专利技术名称为“基于优先级的视频编码和传输”的专利技术专利申请的分案申请。

技术介绍

[0002]虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与真实世界图像或真实世界视图组合，以增强用户的世界视图或向用户的世界视图添加内容，或者另选地将真实世界对象的虚拟表示与三维(3D)虚拟世界的视图组合。因此，虚拟现实的模拟环境和/或混合现实的混合环境可用于为多种应用提供交互式用户体验。

技术实现思路

[0003]描述了视频编码系统的各种实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备，包括：显示子系统；以及一个或多个处理器，所述一个或多个处理器被配置为：接收分组，所述分组各自包括一个或多个块，每个块包括所压缩的频率数据和定时信息的相应的实例；基于定时信息的所述相应的实例，从所述分组中的一个或多个分组丢弃所述块中的一个或多个块；从未被丢弃的所述块解压缩所压缩的所述频率数据；从所解压缩的所述频率数据重建针对视频帧的像素数据；以及将所重建的所述像素数据提供给所述显示子系统以用于显示。2.根据权利要求1所述的设备，其中每个块还包括与相应的所压缩的所述频率数据的频带相对应的优先级级别，并且其中，为了从未被丢弃的所述块解压缩所压缩的所述频率数据，所述一个或多个处理器还被配置为根据所述块的相应的所述优先级级别从所述块解压缩所压缩的所述频率数据。3.根据权利要求2所述的设备，其中所述一个或多个处理器还被配置为在所述解压缩所压缩的所述频率数据时对具有较高优先级级别的块进行优先化，其中较低频带被分配较高优先级级别，并且较高频带被分配较低优先级级别。4.根据权利要求1所述的设备，其中所述定时信息包括用于在所述设备处接收相应的所压缩的所述频率数据的截止期限，并且其中所述一个或多个处理器被配置为在确定用于接收所述一个或多个块中的所压缩的所述频率数据的所述截止期限已到期时，从所述一个或多个分组丢弃所述一个或多个块。5.根据权利要求1所述的设备，其中所述分组从视频编码系统而被接收，并且其中所述分组已通过以下操作由所述视频编码系统生成：将来自所述视频帧的像素块分解成多个频带；将来自所述像素块的所述频带组织成多个块，所述多个块各自包括针对所述频带中的一个频带的频率数据；将编码技术应用于所述块以压缩针对每个频带的所述频率数据；为所述多个块中的相应的块分配定时信息的相应的实例；以及将各自包括所述块中的一个或多个块的分组传输到所述设备。6.根据权利要求5所述的设备，其中所述分组已进一步通过以下操作由所述视频编码系统生成：为所述频带分配相应的优先级级别；以及根据所分配的所述优先级级别对所述设备的所述块的传输进行优先化。7.根据权利要求5所述的设备，其中所述视频编码系统是基站的部件。8.根据权利要求1所述的设备，其中所述分组经由无线连接被接收。9.根据权利要求1所述的设备，其中所述设备是头戴式显示器(HMD)设备。10.一种方法，包括：一个或多个处理器，所述一个或多个处理器被配置为实现：接收分组，所述分组各自包括一个或多个块，每个块包括所压缩的频率数据和定时信
息的相应的实例；基于定时信息的所述相应的实例，从所述分组中的一个或多个分组丢弃所述块中的一个或多个块；从未被丢弃的所述块解压缩所压缩的所述频率数据；从所解压缩的所述频率数据重建针对视频帧的像素数据；以及将所重建的所述像素数据提供给显示子系统以用于显示。11.根据权利要求10所述的方法，还包括：为所述多个频带中的相应的频带分配优先级级别，其中较低频带被...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：苹果公司，
类型：发明
国别省市：