虚拟现实全景视频的编解码方法及装置制造方法及图纸

本发明专利技术实施例提供了一种虚拟现实全景视频的编解码方法及装置。包括：根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与最大可视视角对应的可显示矩形区域；最大可视视角为：预设的用户头部可转动的最大角度；将可显示矩形区域中的画面，确定为显示矩形画面；根据预设的用户眼睛的视场角，从显示矩形画面中提取与视场角对应的视觉中心矩形区域；将视觉中心矩形区域中的画面，确定为视口矩形画面；将显示矩形画面缩小至与视口矩形画面相同，并将视口矩形画面与缩小后的显示矩形画面合并为待编码的当前帧画面；对待编码的当前帧画面进行编码。可以在保证全景视频的高分辨率的同时，降低全景视频在传输过程中的码率。

【技术实现步骤摘要】

本专利技术涉及视频编解码
，特别是涉及一种虚拟现实全景视频的编解码方法及装置。
技术介绍
头戴式可视设备(HeadMountDisplay，HMD)是头戴虚拟显示器的一种，又称眼镜式显示器、随身影院等，HMD能够同时为双眼提供画面，通过内置陀螺仪和加速计等惯性传感器，它还能实时地感知用户头部位置，对应地调整画面，从而让用户获得沉浸感极强的视觉效果。随着虚拟现实设备的普及，用户可以通过各类HMD来观看全景视频。为了向使用HMD观看全景视频的用户提供高清视频的体验，HMD的单眼全景画面分辨率至少需要达到2K，由于全景视频的分辨率高，因而在传输过程中码率较大，例如分辨率为2048X1024，时长为2分钟的全景视频文件的大小有200M左右，码率有10M左右，但是用户的下载带宽远小于10M，从而导致全景视频的下载速度慢，用户在观看过程中画面不流畅，无法获得良好的观看体验。
技术实现思路
本专利技术实施例的目的在于提供一种虚拟现实全景视频的编解码方法及装置，以在保证全景视频的高分辨率的同时，降低全景视频在传输过程中的码率。具体技术方案如下：一种虚拟现实全景视频的编码方法，包括：根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域；所述最大可视视角为：预设的用户头部可转动的最大角度；将所述可显示矩形区域中的画面，确定为显示矩形画面；根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域；将所述视觉中心矩形区域中的画面，确定为视口矩形画面；将所述显示矩形画面缩小至与所述视口矩形画面相同，并将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面；对所述待编码的当前帧画面进行编码。如上所述的方法，其中，所述根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域，包括：根据用户的最大可视视角，从所述原始全景球视频的当前帧画面中确定出所述当前帧画面的前半球画面和后半球画面；将所述当前帧画面的后半球画面切掉，并根据等距投影原理，从所述当前帧画面的前半球画面中提取与所述最大可视视角对应的可显示矩形区域。如上所述的方法，其中，所述根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域，包括：根据所述视场角以及等距投影原理，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域。如上所述的方法，其中，所述将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面，包括：将缩小后的所述显示矩形画面合并至所述视口矩形画面的下面，得到所述待编码的当前帧画面。如上所述的方法，其中，所述视场角包括水平视场角和垂直视场角；所述水平视场角的取值范围为60°～120°；所述垂直视场角的取值范围为60°～120°。一种虚拟现实全景视频的解码方法，包括：获取待解码的当前帧画面；从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面；所述显示矩形画面为所述当前帧画面中与用户的最大可视视角对应的可显示矩形区域，所述视口矩形画面为所述当前帧画面中与预设的用户眼睛的视场角对应的视觉中心矩形区域；其中，所述最大可视视角为预设的用户头部可转动的最大角度；将所述显示矩形画面的放大至与原图相同；将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面。如上所述的方法，其中，所述待解码的当前帧画面中显示矩形画面与视口矩形画面大小相同，且显示矩形画面位于视口矩形画面下方；所述从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面，包括：沿着所述待解码的当前帧画面的水平线将所述待解码的当前帧画面平均分割为上半部分画面和下半部分画面，所述上半部分画面作为所述视口矩形画面，所述下半部分画面作为所述显示矩形画面。如上所述的方法，其中，所述将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面，包括：将所述视口矩形画面合并至放大后的所述显示矩形画面的中心点位置，得到所述待播放的当前帧画面。一种虚拟现实全景视频的编码装置，包括：第一提取模块，用于根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域；所述最大可视视角为：预设的用户头部可转动的最大角度；第一确定模块，用于将所述可显示矩形区域中的画面，确定为显示矩形画面；第二提取模块，用于根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域；第二确定模块，用于将所述视觉中心矩形区域中的画面，确定为视口矩形画面；合并模块，用于将所述显示矩形画面缩小至与所述视口矩形画面相同，并将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面；编码模块，用于对所述待编码的当前帧画面进行编码。如上所述的装置，其中，所述第一提取模块具体用于：根据用户的最大可视视角，从所述原始全景球视频的当前帧画面中确定出所述当前帧画面的前半球画面和后半球画面；将所述当前帧画面的后半球画面切掉，并根据等距投影原理，从所述当前帧画面的前半球画面中提取与所述最大可视视角对应的可显示矩形区域。如上所述的装置，其中，所述第二提取模块具体用于：根据所述视场角以及等距投影原理，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域。如上所述的装置，其中，所述合并模块具体用于：将缩小后的所述显示矩形画面合并至所述视口矩形画面的下面，得到所述待编码的当前帧画面。如上所述的装置，其中，所述视场角包括水平视场角和垂直视场角；所述水平视场角的取值范围为60°～120°；所述垂直视场角的取值范围为60°～120°。一种虚拟现实全景视频的解码装置，包括：获取模块，用于获取待解码的当前帧画面；分割模块，用于从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面；所述显示矩形画面为所述当前帧画面中与用户的最大可视视角对应的可显示矩形区域，所述视口矩形画面为所述当前帧画面中与预设的用户眼睛的视场角对应的视觉中心矩形区域；其中，所述最大可视视角为预设的用户头部可转动的最大角度；放大模块，用于将所述显示矩形画面的放大至与原图相同；合并模块，用于将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面。如上所述的装置，其中，所述待解码的当前帧画面中显示矩形画面与视口矩形画面大小相同，且显示矩形画面位于视口矩形画面下方；所述分割模块具体用于：沿着所述待解码的当前帧画面的水平线将所述待解码的当前帧画面平均分割为上半部分画面和下半部分画面，所述上半部分画面作为所述视口矩形画面，所述下半部分画面作为所述显示矩形画面。如上所述的装置，其中，所述合并模块具体用于：将所述视口矩形画面合并至放大后的所述显示矩形画面的中心点位置，得到所述待播放的当前帧画面。本专利技术实施例提供的虚拟现实全景视频的编解码方法及装置，根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与最大可视视角对应的可显示矩形区域；最大可视视角为：预设的用户头部可转动的最大角度；将可显示矩形区域中的画面，确定为显示矩形画面；根据预设的用户眼睛的视场角，从显示矩形画面中提取与视场角对应的视觉中心矩形区域；将视觉中心矩形区域中的画面，确本文档来自技高网...

【技术保护点】
一种虚拟现实全景视频的编码方法，其特征在于，包括：根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域；所述最大可视视角为：预设的用户头部可转动的最大角度；将所述可显示矩形区域中的画面，确定为显示矩形画面；根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域；将所述视觉中心矩形区域中的画面，确定为视口矩形画面；将所述显示矩形画面缩小至与所述视口矩形画面相同，并将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面；对所述待编码的当前帧画面进行编码。

【技术特征摘要】
1.一种虚拟现实全景视频的编码方法，其特征在于，包括：根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域；所述最大可视视角为：预设的用户头部可转动的最大角度；将所述可显示矩形区域中的画面，确定为显示矩形画面；根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域；将所述视觉中心矩形区域中的画面，确定为视口矩形画面；将所述显示矩形画面缩小至与所述视口矩形画面相同，并将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面；对所述待编码的当前帧画面进行编码。2.根据权利要求1所述的方法，其特征在于，所述根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域，包括：根据用户的最大可视视角，从所述原始全景球视频的当前帧画面中确定出所述当前帧画面的前半球画面和后半球画面；将所述当前帧画面的后半球画面切掉，并根据等距投影原理，从所述当前帧画面的前半球画面中提取与所述最大可视视角对应的可显示矩形区域。3.根据权利要求2所述的方法，其特征在于，所述根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域，包括：根据所述视场角以及等距投影原理，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域。4.根据权利要求1所述的方法，其特征在于，所述将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面，包括：将缩小后的所述显示矩形画面合并至所述视口矩形画面的下面，得到所述待编码的当前帧画面。5.根据权利要求3所述的方法，其特征在于，所述视场角包括水平视场角和垂直视场角；所述水平视场角的取值范围为60°～120°；所述垂直视场角的取值范围为60°～120°。6.一种虚拟现实全景视频的解码方法，其特征在于，包括：获取待解码的当前帧画面；从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面；所述显示矩形画面为所述当前帧画面中与用户的最大可视视角对应的可显示矩形区域，所述视口矩形画面为所述当前帧画面中与预设的用户眼睛的视场角对应的视觉中心矩形区域；其中，所述最大可视视角为预设的用户头部可转动的最大角度；将所述显示矩形画面的放大至与原图相同；将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面。7.根据权利要求6所述的方法，其特征在于，所述待解码的当前帧画面中显示矩形画面与视口矩形画面大小相同，且显示矩形画面位于视口矩形画面下方；所述从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面，包括：沿着所述待解码的当前帧画面的水平线将所述待解码的当前帧画面平均分割为上半部分画面和下半部分画面，所述上半部分画面作为所述视口矩形画面，所述下半部分画面作为所述显示矩形画面。8.根据权利要求6所述的方法，其特征在于，所述将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面，包括：将所述视口矩形画面合...

【专利技术属性】
技术研发人员：张涛，项东涛，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：北京;11