用于360度视频解码的块置乱制造技术

技术编号:27948136 阅读:49 留言:0更新日期:2021-04-02 14:32
解码器(100)接收(30)第一图片的N个压缩片段的集合以及第二图片的M个压缩片段的集合,所述第二图片按解码顺序跟在第一图片之后。基于所述N个压缩片段的集合,解码器构造针对第一图片的可解码的图片,并且解码(32)该可解码的图片。基于所述M个压缩片段的集合,解码器构造压缩域中的可解码的第二图片,其中第一图片的每个片段被放置在与第二图片中的对应片段的空间位置相同的空间位置处,并且解码(52)该可解码的第二图片。此外,至少一个帧内编码片段被放置在压缩域中的M个空间位置中的不存在N个片段中的片段的空间位置处。

【技术实现步骤摘要】
【国外来华专利技术】用于360度视频解码的块置乱
本公开总体上涉及视频编码和解码技术,并且更具体地,涉及置乱图片的段。
技术介绍
当前,被称为“360度视频”的视频格式用于向用户传达和显示虚拟现实(VR)内容。典型的用户设备包括头戴式显示器(HMD),其是由用户佩戴的头戴式耳机。在佩戴HMD时,用户对外界(即用户的周围环境)的视线被屏蔽。然而,视频是在嵌入式眼镜上渲染给用户的,以向用户提供位于其他地方(即在虚拟现实中)的视觉印象。HMD设备的一个主要特征是,它们跟踪头部移动并相应地渲染视频,以给予用户环顾虚拟现实的印象。
技术实现思路
本公开的实施例提供了一种解码器设备,该解码器设备被配置为对图片进行解码以渲染给用户。例如,图片可以与被发送给头戴式显示器(HMD)设备的视频序列相关联。在一个实施例中,本公开提供了一种对图片进行解码的方法。该方法包括:接收第一图片的N个压缩片段的集合;构造针对第一图片的可解码的图片,其中,所述N个压缩片段的集合被放置在压缩域中的空间位置中;以及解码该可解码的图片。该方法还包括:接收第二图片的M个压缩片段的集合,该第二图片按解码顺序跟在第一图片之后,其中:·M等于N;·所述M个压缩片段的集合包括一个或多个片段T1和至少一个帧内编码片段T3;·所述N个压缩片段的集合包括一个或多个片段T2;·所述一个或多个片段T1在输出域中的空间位置与所述一个或多个片段T2在输出域中的空间位置相同,但是片段T2的集合不包括在输出域中具有与所述至少一个帧内编码片段T3的空间位置相同的空间位置的片段。该方法还包括:构造可解码的第二图片,并解码该可解码的第二图片。在该实施例中,所述至少一个片段T1中的每一个被放置在压缩域中与对应的片段T2的空间位置相同的空间位置处,并且所述至少一个帧内编码片段T3被放置在压缩域中片段T1的空间位置中的不存在片段T2的空间位置处。在一个实施例中,使用时间预测来对在输出域中的相同空间位置处存在对应的片段T2的每个片段T1进行编码。在一个实施例中,在输出域中具有相同空间位置的片段T1和T2的数量等于K。在这样的实施例中,使用帧内预测对第二图片中的所有剩余片段(M-K)进行编码。在一个实施例中,K大于1。在一个实施例中,压缩域中的片段的数量是固定的。在一个实施例中,压缩域中被配置为接收片段的空间位置的数量是固定的。在一个实施例中,插入到压缩域中的片段被插入到从压缩域中移除的片段的空间位置处。在一个实施例中,该方法还包括:将输出域中的空间位置映射到对应的片段。在一个实施例中,将输出域中的空间位置映射到对应的片段包括:标识压缩域中的对应的片段;标识压缩域中的对应的片段的空间位置;以及标识从压缩域到输出域的样本变换。在一个实施例中,标识压缩域中的对应的片段包括:使用片段ID来标识对应的片段。在一个实施例中,标识压缩域中的对应的片段包括:根据映射数据的顺序来标识对应的片段。在一个实施例中,映射数据的顺序包括在视频比特流中发送片段的顺序。在一个实施例中,映射数据与压缩片段数据交织地发送。在一个实施例中,标识压缩域中的对应的片段包括:指定片段样本在压缩域中的位置。在一个实施例中,指定片段样本在压缩域中的位置包括:指定片段矩形的坐标。在一个实施例中,该方法还包括:使用输出域中的矩形的坐标来标识片段在输出域中的位置。在一个实施例中,该方法还包括:将压缩域中的片段映射到输出域中的片段位置。在一个实施例中,映射该片段包括:对输出域中的每个片段位置进行索引;以及将输出索引值分配给压缩域中的每个片段,其中,输出索引值对应于输出域中的经索引的片段位置。在一个实施例中,在已对图片进行解码之后应用映射以在输出域中输出图片。在一个实施例中,在对图片进行解码之前应用映射以将片段布置在比特流中,并且在解码之后应用映射以将图片输出到输出域。在一个实施例中,第二可解码的图片包括:片段的帧封装,和整个球体的投影。在一个实施例中,该方法在服务器处实现。本公开的实施例还提供一种包括接口电路和处理电路的解码设备。在这些实施例中,该处理电路被配置为:接收第一图片的N个压缩片段的集合;构造针对该第一图片的可解码的图片,其中,N个压缩片段的集合被放置在压缩域中的空间位置中;以及解码该可解码的图片。处理电路还被配置为:接收第二图片的M个压缩片段的集合,该第二图片按解码顺序跟在第一图片之后,其中:·M等于N;·M个压缩片段的集合包括一个或多个片段T1和至少一个帧内编码片段T3;·N个压缩片段的集合包括一个或多个片段T2;·一个或多个片段T1在输出域中的空间位置与一个或多个片段T2在输出域中的空间位置相同,但是片段T2的集合不包括在输出域中具有与至少一个帧内编码片段T3的空间位置相同的空间位置的片段。处理电路还被配置为:构造可解码的第二图片,并解码该可解码的第二图片。在这样的实施例中,至少一个片段T1中的每一个被放置在压缩域中与对应的片段T2的空间位置相同的空间位置处,并且至少一个帧内编码片段T3被放置在压缩域中片段T1的空间位置中的不存在片段T2的空间位置处。在一个实施例中,使用时间预测来对在输出域中的相同空间位置处存在对应的片段T2的每个片段T1进行编码。在一个实施例中,在输出域中具有相同空间位置的片段T1和T2的数量等于K,并且使用帧内预测对第二图片中的所有剩余片段(M-K)进行编码。在一个实施例中,K大于1。在一个实施例中,压缩域中的片段的数量是固定的。在一个实施例中,压缩域中被配置为接收片段的空间位置的数量是固定的。在一个实施例中,插入到压缩域中的片段被插入到从压缩域中移除的片段的空间位置处。在一个实施例中,处理电路还被配置为:将输出域中的空间位置映射到对应的片段。在一个实施例中,为了将输出域中的空间位置映射到对应的片段,处理电路被配置为:标识压缩域中的对应的片段;标识压缩域中的对应的片段的空间位置;以及标识从压缩域到输出域的样本变换。在一个实施例中,为了标识压缩域中的对应的片段,处理电路还被配置为:使用片段ID来标识对应的片段。在一个实施例中,为了标识压缩域中的对应的片段,处理电路还被配置为:根据映射数据的顺序来标识对应的片段。在一个实施例中,映射数据的顺序包括在视频比特流中发送片段的顺序。在一个实施例中,映射数据与压缩片段数据交织地发送。在一个实施例中,为了标识压缩域中的对应的片段,处理电路还被配置为:指定片段样本在压缩域中的位置。在一个实施例中,为了指定片段样本在压缩域中的位置,处理电路还被配置为:指定片段矩形的坐标。在一个实施例中,处理电路还被配置为:使用输出域中的矩形的坐标来标识片段在输出域中的的位置。在一个实施例中,处理电路还被配置为:将压缩域中的片段映射到输出域中的片段本文档来自技高网...

【技术保护点】
1.一种用于对图片(I)进行解码的方法(20),所述方法包括:/n接收(30)第一图片的N个压缩片段的集合;/n构造针对所述第一图片的可解码的图片,其中,所述N个压缩片段的集合被放置在压缩域中的空间位置中;/n解码(32)所述可解码的图片;/n接收(50)第二图片的M个压缩片段的集合,其中,所述第二图片按解码顺序跟在所述第一图片之后,并且其中:/nM等于N;/n所述M个压缩片段的集合包括一个或多个片段T1和至少一个帧内编码片段T3;/n所述N个压缩片段的集合包括一个或多个片段T2;/n所述一个或多个片段T1在输出域中的空间位置与所述一个或多个片段T2在输出域中的空间位置相同;/n所述一个或多个片段T2不包括在输出域中具有与所述至少一个帧内编码片段T3的空间位置相同的空间位置的片段;/n构造可解码的第二图片,其中,所述至少一个片段T1中的每一个在压缩域中被放置在与对应的片段T2的空间位置相同的空间位置处;以及/n其中,所述至少一个帧内编码片段T3在压缩域中被放置在空间位置T1中的不存在N个片段T2的一个空间位置处;以及/n解码(52)所述可解码的第二图片。/n

【技术特征摘要】
【国外来华专利技术】20180621 US 62/688,3261.一种用于对图片(I)进行解码的方法(20),所述方法包括:
接收(30)第一图片的N个压缩片段的集合;
构造针对所述第一图片的可解码的图片,其中,所述N个压缩片段的集合被放置在压缩域中的空间位置中;
解码(32)所述可解码的图片;
接收(50)第二图片的M个压缩片段的集合,其中,所述第二图片按解码顺序跟在所述第一图片之后,并且其中:
M等于N;
所述M个压缩片段的集合包括一个或多个片段T1和至少一个帧内编码片段T3;
所述N个压缩片段的集合包括一个或多个片段T2;
所述一个或多个片段T1在输出域中的空间位置与所述一个或多个片段T2在输出域中的空间位置相同;
所述一个或多个片段T2不包括在输出域中具有与所述至少一个帧内编码片段T3的空间位置相同的空间位置的片段;
构造可解码的第二图片,其中,所述至少一个片段T1中的每一个在压缩域中被放置在与对应的片段T2的空间位置相同的空间位置处;以及
其中,所述至少一个帧内编码片段T3在压缩域中被放置在空间位置T1中的不存在N个片段T2的一个空间位置处;以及
解码(52)所述可解码的第二图片。


2.根据权利要求1所述的方法,其中,在输出域中的相同空间位置处存在对应的片段T2的每个片段T1是使用时间预测来编码的。


3.根据权利要求1至2中任一项所述的方法,其中,在输出域中具有相同空间位置的片段T1和T2的数量等于K,并且其中,所述第二图片中的所有剩余片段(M-K)是使用帧内预测来编码的。


4.根据权利要求3所述的方法,其中,K大于1。


5.根据权利要求1至4中任一项所述的方法,其中,压缩域中的片段的数量是固定的。


6.根据权利要求1至5中任一项所述的方法,其中,压缩域中被配置为接收片段的空间位置的数量是固定的。


7.根据权利要求1至6中任一项所述的方法,其中,插入到压缩域中的片段被插入到从压缩域中移除的片段的空间位置处。


8.根据权利要求1至6中任一项所述的方法,还包括:将输出域中的空间位置映射(34)到对应的片段。


9.根据权利要求8所述的方法,其中,将输出域中的空间位置映射到对应的片段包括:
标识压缩域中的所述对应的片段;
标识压缩域中的所述对应的片段的空间位置;以及
标识从压缩域到输出域的样本变换。


10.根据权利要求9所述的方法,其中,压缩域中的所述对应的片段包括:使用片段ID来标识所述对应的片段。


11.根据权利要求9所述的方法,其中,标识压缩域中的所述对应的片段包括:根据映射数据的顺序来标识所述对应的片段。


12.根据权利要求9所述的方法,其中,所述映射数据的顺序包括在视频比特流中发送所述片段的顺序。


13.根据权利要求9所述的方法,其中,所述映射数据与压缩片段数据交织地发送。


14.根据权利要求9所述的方法,其中,标识压缩域中的所述对应的片段包括:指定片段样本在压缩域中的位置。


15.根据权利要求9所述的方法,其中,指定片段样本在压缩域中的位置包括:指定片段矩形的坐标。


16.根据权利要求1至15中任一项所述的方法,还包括:使用输出域中的矩形的坐标来标识片段在输出域中的位置。


17.根据权利要求1至15中任一项所述的方法,还包括:将压缩域中的片段映射到输出域中的片段位置。


18.根据权利要求17所述的方法,其中,映射所述片段包括:
对输出域中的每个片段位置进行索引;以及
向压缩域中的每个片段分配输出索引值,其中,所述输出索引值对应于输出域中的经索引的片段位置。


19.根据权利要求17至18中任一项所述的方法,其中,在已对图片进行解码之后应用所述映射以在所述输出域中输出所述图片。


20.根据权利要求17至18中任一项所述的方法,其中,在对图片进行解码之前应用所述映射以将所述片段布置在比特流中,并且在解码之后应用所述映射以将所述图片输出到输出域。


21.根据权利要求1至19中任一项所述的方法,其中,所述第二可解码的图片包括:
片段的帧封装;以及
整个球体的投影。


22.根据权利要求1至21中任一项所述的方法,其在服务器处实现。


23.一种解码设备(100),包括:
接口电路(110);以及
处理电路(102),被配置为:
接收(30)第一图片的N个压缩片段的集合;
构造针对所述第一图片的可解码的图片,其中,所述N个压缩片段的集合被放置在压缩域中的空间位置中;
解码(32)所述可解码的图片;
接收(50)第二图片的M个压缩片段的集合,其中,所述第二图片按解码顺序跟在所述第一图片之后,并且其中,M等于N:
其中,所述M个压缩片段的集合包括一个或多个片段T1,并且其中,所述N个压缩片段的集合包括一个或多个片段T2,并且其中,所述一个或多个质量片段T1在输出域中的空间位置与所述一个或多个质量片段T2在输出域中的空间位置相同;
其中,所述M个片段的集合包括至少一个帧内编码片段T3,并且其中,所述N个片段的集合不包括在输出域中具有与T3的空间位置相同的空间位置的片段;
构造可解码的第二图片,其中,所述至少一个片段T1中的每一个被放置在压缩域中与对应的片段T2的空间位置相同的空间位置处;以及
其中,所述至少一个帧内编码片段T3被放置在压缩域中的M个空间位置中的不存在所述N个片段中的片段的一个空间位置处;以及
解码(52)所述可解码的第二图片。


24.根据权利要求23所述的解码设备,其中,在输出域中的相同空间位置处存在对应的片段T2的每个片段T1是使用时间预测来编码的。


25.根据权利要求23至24中任一项所述的解码设备,其中,在输出域中具有相同空间位置的片段T1和T2的数量等于K,并且其中,所述第二图片中的所有剩余片段(M-K)是使用帧内预测来编码的。


26.根据权利要求25所述的解码设备,其中,K大于1。


27.根据权利要求23至26中任一项所述的解码设备,其中,压缩域中的片段的数量是固定的。


28.根据权利要求23至27中任一项所述的解码设备,其中,压缩域中被配置为接收片段的空间位置的数量是固定的。


29.根据权利要求23至28中任一项所述的解码设备,其中,插入到压缩域中的片段被插入到从压缩域中移除的片段的空间位置处。


30.根据权利要求23至28中任一项所述的解码设备,其中,所述处理电路还被配置为:将输出域中的空间...

【专利技术属性】
技术研发人员:理卡尔德·肖伯格马格纳斯·威斯特兰德
申请(专利权)人:瑞典爱立信有限公司
类型:发明
国别省市:瑞典;SE

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1
相关领域技术
  • 暂无相关专利