减少360度视频中的接缝伪影制造技术

技术编号:23242501 阅读:27 留言:0更新日期:2020-02-04 20:38
本发明专利技术提供用于通过以下操作来处理360度视频数据的系统及方法:获得360度矩形格式化投影图片,其中所述360度矩形格式化投影图片包含至少第一区,所述至少第一区包含至少一个区边界,且所述至少第一区包含第一区区域;确定位于所述第一区区域内的至少一个防护带区域,其中所述至少一个防护带区域位于所述至少一个区边界旁边,且所述第一区区域进一步包含位于所述至少一个防护带区域外部的投影区区域;及使用至少一个额外防护带样本译码所述至少一个防护带区域中的当前译码块。

Reduce seam artifacts in 360 degree video

【技术实现步骤摘要】
【国外来华专利技术】减少360度视频中的接缝伪影根据35U.S.C.§119的优先权主张本申请案主张2017年6月29日申请的美国临时申请案第62/526,700号及2018年6月27日申请的美国非临时申请案第16/020,374号的权益,所述申请案的全部内容是特此以引用的方式并入。
本申请案涉及360度视频内容。举例来说,描述用于编码及/或解码具有投影至正方形区上的球体的圆形极的360度格式化图片且用于360视频的高效及伪影减少压缩及/或解压缩的系统及方法。
技术介绍
视频译码标准包含MPEG及VCEG的联合视频探索小组(JVET)、ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual、ITU-TH.264(也被称为ISO/IECMPEG-4AVC),包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展,以及具有其扩展的ITU-TH.265(也被称为ISO/IECMPEG-4HEVC)。
技术实现思路
在各种实施方案中,本文中描述用于处理360度视频数据以获得较好译码效率的方法、装置、设备及计算机可读媒体。一种方法可包含:获得360度矩形格式化投影图片,其中所述360度矩形格式化投影图片包含至少第一区,所述至少第一区包含至少一个区边界,且所述至少第一区包含第一区区域;确定位于所述第一区区域内的至少一个防护带区域,其中所述至少一个防护带区域位于所述至少一个区边界旁边,且所述第一区区域进一步包含位于所述至少一个防护带区域外部的投影区区域;及使用至少一个额外防护带接缝伪影减少样本译码所述至少一个防护带区域中的当前译码块。在一些实施例中,所述方法可包含识别位于所述当前译码块内的所述至少一个额外防护带接缝伪影减少样本。在另外实施例中,所述使用所述至少一个额外防护带接缝伪影减少样本译码所述至少一个防护带区域中的所述当前译码块可包含:使用所述至少一个额外防护带接缝伪影减少样本执行从所述至少第一区至第二区转变的梯度操作。在额外实施例中,所述使用所述至少一个额外防护带接缝伪影减少样本译码所述至少一个防护带区域中的所述当前译码块可包含:使用所述至少一个额外防护带接缝伪影减少样本执行混合操作。在一些实施方案中,所述360度矩形格式化投影图片可包含第二区,且识别位于所述当前译码块内的所述至少一个额外防护带接缝伪影减少样本可包含确定所述至少一个额外防护带接缝伪影减少样本位于所述第二区中。在另外实施方案中,所述防护带接缝伪影减少样本被识别为位于非防护带区域中。在额外实施方案中,所述360度矩形格式化投影图片进一步包括第二区,其中所述防护带接缝伪影减少样本为在所述第一区至所述第二区之间转变的梯度样本。在一些实施例中,确定所述至少一个额外防护带接缝伪影减少样本位于所述第二区中是使用3D至2D几何映射而执行。在另外实施例中,所述3D至2D几何映射为以下各者中的一者:立方体映图(CMP)过程、经调整立方体映图(ACP)过程,及赤道圆柱形(ECP)过程。在额外实施例中,所述方法可包含横越所述当前译码块及所述至少一个额外防护带接缝伪影减少样本两者应用内插滤波器。在一些实施方案中,使用所述至少一个额外防护带接缝伪影减少样本执行运动估计。在另外实施方案中,所述至少一个额外防护带接缝伪影减少样本为来自所述投影区区域的重复样本。在额外实施方案中,所述第一区区域可包含至少一个译码树单元(CTU),其中所述CTU包含至少一个CTU边界,且所述至少一个CTU边界沿着所述至少一个区边界而定位。一种装置可包含:存储器;及处理器,其经配置以执行方法,所述方法包含:获得360度矩形格式化投影图片,其中所述360度矩形格式化投影图片包含至少第一区,所述至少第一区包含至少一个区边界,且所述至少第一区包含第一区区域;确定位于所述第一区区域内的至少一个防护带区域,其中所述至少一个防护带区域位于所述至少一个区边界旁边,且所述第一区区域进一步包含位于所述至少一个防护带区域外部的投影区区域;及使用至少一个额外防护带接缝伪影减少样本译码所述至少一个防护带区域中的当前译码块。一种计算机可读媒体可为非暂时性计算机可读媒体,其进行以下操作:获得360度矩形格式化投影图片,其中所述360度矩形格式化投影图片包含至少第一区,所述至少第一区包含至少一个区边界,且所述至少第一区包含第一区区域;确定位于所述第一区区域内的至少一个防护带区域,其中所述至少一个防护带区域位于所述至少一个区边界旁边,且所述第一区区域进一步包含位于所述至少一个防护带区域外部的投影区区域;及使用至少一个额外防护带接缝伪影减少样本译码所述至少一个防护带区域中的当前译码块。一种设备可包含用于进行以下操作的装置:获得360度矩形格式化投影图片,其中所述360度矩形格式化投影图片包含至少第一区,所述至少第一区包含至少一个区边界,且所述至少第一区包含第一区区域;确定位于所述第一区区域内的至少一个防护带区域,其中所述至少一个防护带区域位于所述至少一个区边界旁边,且所述第一区区域进一步包含位于所述至少一个防护带区域外部的投影区区域;及使用至少一个额外防护带接缝伪影减少样本译码所述至少一个防护带区域中的当前译码块。附图说明下文参考以下附图详细地描述本申请案的说明性实施例:图1A为绘示根据一些实例的等矩形投影帧的实例的图像。图1B为绘示根据一些实例的立方体映图投影帧的实例的图像。图1C为绘示根据一些实例的经调整立方体映图投影帧的实例的图像。图1D为绘示根据一些实例的赤道圆柱形投影帧的实例的图像。图2A为绘示根据一些实例的等矩形投影的实例的图解。图2B为绘示根据一些实例的立方体映图或经调整立方体映图投影的实例的图解。图2C为绘示根据一些实例的立方体映图或经调整立方体映图投影的实例的图解。图2D为绘示根据一些实例的赤道圆柱形投影的实例的图解。图2E为绘示根据一些实例的赤道圆柱形投影的实例的图解。图3A为绘示根据一些实例的归因于运动的经显现视口接缝/边界的实例的图像。图3B为绘示根据一些实例的归因于滤波的视口接缝/边界的实例的图像。图4A为绘示根据一些实例的用于3×2包装立方体映图或经调整立方体映图投影的防护带方案的实例的图解。图4B为绘示根据一些实例的用于3×2包装立方体映图或经调整立方体映图投影的防护带方案的实例的图解。图4C为绘示根据一些实例的用于3×2包装立方体映图或经调整立方体映图投影的防护带方案的实例的图解。图5A为绘示根据一些实例的用于3×2包装等矩形投影的防护带方案的实例的图解。图5B为绘示根据一些实例的用于3×2包装等矩形投影的防护带方案的实例的图解。图5C为绘示根据一些实例的用于3×2包装等矩形投影的防护带方案的实例的图解。图本文档来自技高网...

【技术保护点】
1.一种在视频译码器处处理视频数据的方法,其包括:/n获得360度矩形格式化投影图片,其中所述360度矩形格式化投影图片包括至少第一区,其中所述至少第一区包括至少一个区边界,且其中所述至少第一区包括第一区区域;/n确定位于所述第一区区域内的至少一个防护带区域,其中所述至少一个防护带区域位于所述至少一个区边界旁边,且其中所述第一区区域进一步包括位于所述至少一个防护带区域外部的投影区区域;及/n使用至少一个额外防护带样本译码所述至少一个防护带区域中的当前译码块。/n

【技术特征摘要】
【国外来华专利技术】20170629 US 62/526,700;20180627 US 16/020,3741.一种在视频译码器处处理视频数据的方法,其包括:
获得360度矩形格式化投影图片,其中所述360度矩形格式化投影图片包括至少第一区,其中所述至少第一区包括至少一个区边界,且其中所述至少第一区包括第一区区域;
确定位于所述第一区区域内的至少一个防护带区域,其中所述至少一个防护带区域位于所述至少一个区边界旁边,且其中所述第一区区域进一步包括位于所述至少一个防护带区域外部的投影区区域;及
使用至少一个额外防护带样本译码所述至少一个防护带区域中的当前译码块。


2.根据权利要求1所述的方法,其进一步包括:
识别位于所述当前译码块内的所述至少一个额外防护带样本。


3.根据权利要求2所述的方法,其中所述360度矩形格式化投影图片进一步包括第二区,且其中识别位于所述当前译码块内的所述至少一个额外防护带样本进一步包括确定所述至少一个额外防护带样本位于所述第二区中。


4.根据权利要求3所述的方法,其中所述确定所述至少一个额外防护带样本位于所述第二区中是使用3D至2D几何映射而执行。


5.根据权利要求4所述的方法,其中所述3D至2D几何映射为以下各者中的一者:
立方体映图CMP过程、经调整立方体映图ACP过程,及赤道圆柱形ECP过程。


6.根据权利要求2所述的方法,其中所述至少一个额外防护带样本被识别为位于非防护带区域中。


7.根据权利要求1所述的方法,其中使用所述至少一个额外防护带样本译码所述至少一个防护带区域中的所述当前译码块进一步包括:使用所述至少一个额外防护带样本执行从所述至少第一区至第二区转变的梯度操作。


8.根据权利要求1所述的方法,其中使用所述至少一个额外防护带样本译码所述至少一个防护带区域中的所述当前译码块进一步包括:使用所述至少一个额外防护带样本执行混合操作。


9.根据权利要求1所述的方法,其中所述360度矩形格式化投影图片进一步包括第二区,其中所述至少一个额外防护带样本为在所述第一区至所述第二区之间转变的梯度样本。


10.根据权利要求1所述的方法,其进一步包括横越所述当前译码块及所述至少一个额外防护带样本两者应用内插滤波器。


11.根据权利要求1所述的方法,其进一步包括使用所述至少一个额外防护带样本执行运动估计。


12.根据权利要求1所述的方法,其中所述至少一个额外防护带样本为来自所述投影区区域的重复样本。


13.根据权利要求1所述的方法,其中所述第一区区域包括至少一个译码树单元CTU,其中所述CTU包括至少一个CTU边界,且其中所述至少一个CTU边界沿着所述至少一个区边界而定位。


14.一种包括用于处理视频数据的视频译码器的装置,其进一步包括:
存储器;及
处理器,其经配置以执行方法,所述方法包括:
获得360度矩形格式化投影图片,其中所述360度矩形格式化投影图片包括至少第一区,其中所述至少第一区包括至少一个区边界,且其中所述至少第一区包括第一区区域;
确定位于所述第一区区域内的至少一个防护带区域,其中所述至少一个防护带区域位于所述至少一个区边界旁边,且其中所述第一区区域进一步包括位于所述至少一个防护带区域外部的投影区区域;及
使用至少一个额外防护带样本译码所述至少一个防护带区域中的当前译码块。


15.根据权利要求14所述的装置,所述方法进一步包括:
识别位于所述当前译码块内的所述至少一个额外防护带样本。


16.根据权利要求15所述的装置,其中所述360度矩形格式化投影图片进一步包括第二区,且其中识别位于所述当前译码块内的所述至少一个额外防护带样本进一步包括确定所述至少一个额外防护带样本位于所述第二区中。


17.根据权利要求16所述的装置,其中所述确定所述至少一个额外防护带样本位于所述第二区中是使用3D至2D几何映射而执行。


18.根据权利要求17所述的装置,其中所述3D至2D几何映射为以下各者中的一者:
立方体映图CMP过程、经调整立方体映图ACP过程,及赤道圆柱形ECP过程。


19.根据权利要求15所述的装置,其中所述至少一个额外防护带样本被识别为位于非防护带区域中。

<...

【专利技术属性】
技术研发人员:G·范德奥维拉M·科班M·卡切维奇
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1