一种全景视频传输方法及装置制造方法及图纸

本申请提供了一种全景视频传输方法及装置，将全景视频图像帧映射为立方体图像帧；再将立方体图像帧重新排列为一个矩形全景图像帧。将矩形全景图像帧划分为空间上连续的N个视角区域，并从中确定出主视角区域和非主视角区域；对于非主视角区域对应的图像进行下采样，得到非主视角采样图像；然后，对主视角区域对应的图像及各个非主视角采样图像进行编码，得到视频编码帧。获取VR终端的目标观看视角，并向VR终端发送以该目标观看视角为主视角区域的目标视频编码帧。该方法通过对非主视角区域对应的图像进行下采样后再进行编码显示大大降低了图像的数据量，从而降低了观看视角之外的视角范围内的图像的数据量，进而节省了传输所需的网络资源。

【技术实现步骤摘要】
一种全景视频传输方法及装置
本专利技术属于虚拟现实(VirtualReality，VR)
，尤其涉及一种全景视频传输方法及装置。
技术介绍
随着VR技术不断发展，VR设备已经进入普通用户的生活。随着VR设备的普及，人们对全景视频的需求越来越多。全景视频的视角范围为360°×180°，360°是水平视角，180°是垂直视角，可见，全景视频包含的视角范围很大，因此，全景视频的数据量很大。但是，全景视频的海量数据与有限的带宽相矛盾，利用传统的视频编解码方法处理全景视频，会出现视频画质差、用户体验差的问题，十分影响全景视频的网络传播。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种全景视频传输方法及装置，以解决传统的编解码方法处理全景视频导致画质差、用户体验差的技术问题。其具体实现方案如下：第一方面，本申请提供了一种全景视频传输方法，包括：获取全景视频图像帧；将所述全景视频图像帧转换为立方体全景图像帧；将所述立方体全景图像帧重新排列为一个矩形全景图像帧；将所述矩形全景图像帧划分为空间上连续的N个视角区域，并从所述N个视角区域中确定主视角区域和非主视角区域，其中，N为正整数；对所述非主视角区域对应的图像进行下采样，得到非主视角采样图像；对所述主视角区域对应的图像及各个所述非主视角采样图像进行编码，得到视频编码帧；确定虚拟现实终端的目标观看视角，并获取以所述目标观看视角为主视角区域的目标视频编码帧；发送所述目标视频编码帧。可选地，所述主视角区域的类型包括水平主视角区域和垂直主视角区域；所述从所述N个视角区域中确定主视角区域和非主视角区域，包括：将所述N个视角区域中的任意一个视角区域在水平视角范围左右分别扩展预设视角范围，得到水平主视角区域，以及，将所述N个视角区域中除所述主视角区域之外的其它视角区域确定为所述非主视角区域；或者，将所述N个视角区域中的任意一个视角区域在垂直视角范围上下分别扩展所述预设视角范围，得到垂直主视角区域，以及，将所述N个视角区域中除所述主视角区域之外的其它视角区域确定为所述非主视角区域。可选地，所述对所述主视角区域对应的图像及各个所述非主视角采样图像进行编码，得到视频编码帧，包括：对所述N视角区域中每一个视角区域作为主视角区域时所对应的主视角采样图像及全部非主视角采样图像进行拼接，得到待编码图像帧；分别对所述待编码图像帧进行编码，得到视频编码帧。可选地，所述获取以所述目标主视角区域为主视角区域的目标视频编码帧，包括：从所述2N个视频编码帧中查找以所述目标观看视角为主视角区域的视频编码帧确定为所述目标视频编码帧。可选地，所述确定虚拟现实终端的目标观看视角，包括：接收所述虚拟现实终端发送的观看视角信息，并根据所述观看视角信息确定所述目标观看视角，所述观看视角信息由所述虚拟现实终端通过传感器检测得到。可选地，所述方法还包括：获取所述虚拟现实终端的最新观看视角范围；获取所述最新观看视角范围与当前观看视角范围的重叠比例；当所述重叠比例小于预设阈值时，确定所述最新观看视角范围为最新目标观看视角范围；将以所述当前观看视角范围为主视角区域的目标视频编码帧切换为以所述最新目标观看视角范围为主视角区域的目标视频编码帧。可选地，所述获取所述最新观看视角范围与当前观看视角范围的重叠比例，包括：获取所述最新观看视角范围对应的第一主视角区域及所述当前观看视角范围对应的第二主视角区域；获取所述第一主视角区域与所述第二主视角区域的重叠面积；计算所述重叠面积与所述第二主视角区域的面积之间的比例，得到所述重叠比例。第二方面，本申请还提供了另一种全景视频传输方法，包括：接收目标视频编码帧，并对所述目标视频编码帧进行解码，得到解码后的视频图像帧；确定所述解码后的视频图像帧中的主视角区域和非主视角区域；对所述非主视角区域对应的视频图像帧分别进行上采样，得到上采样视频图像帧；将所述主视角区域对应的视频图像帧，以及，各个非主视角区域对应的上采样视频图像帧进行拼接，得到目标图像帧；将所述目标图像帧转换成目标三维模型图像；显示所述目标三维模型图像。第三方面，本申请还提供了一种全景视频传输装置，包括：第一获取单元，用于获取全景视频图像帧；转换单元，用于将所述全景视频图像帧转换为立方体全景图像帧；排列单元，用于将所述立方体全景图像帧重新排列为一个矩形全景图像帧；划分单元，用于将所述矩形全景图像帧划分为空间上连续的N个视角区域，其中，N为正整数；第一确定单元，用于从所述N个视角区域中确定主视角区域和非主视角区域；下采样单元，用于对所述非主视角区域对应的图像进行下采样，得到非主视角采样图像；编码单元，用于对所述主视角区域对应的图像及各个所述非主视角采样图像进行编码，得到视频编码帧；第二确定单元，用于确定虚拟现实终端的目标观看视角，并获取以所述目标观看视角为主视角区域的目标视频编码帧；发送单元，用于发送所述目标视频编码帧。可选地，所述主视角区域的类型包括水平主视角区域和垂直主视角区域；所述第一确定单元包括：第一确定子单元，用于将所述N个视角区域中的任意一个视角区域在水平视角范围左右分别扩展预设视角范围，得到水平主视角区域，以及，第二确定子单元，用于将所述N个视角区域中除所述主视角区域之外的其它视角区域确定为所述非主视角区域；或者，第三确定子单元，用于将所述N个视角区域中的任意一个视角区域在垂直视角范围上下分别扩展所述预设视角范围，得到垂直主视角区域，以及，第四确定子单元，用于将所述N个视角区域中除所述主视角区域之外的其它视角区域确定为所述非主视角区域。可选地，所述第二确定单元具体用于：接收所述虚拟现实终端发送的观看视角信息，并根据所述观看视角信息确定所述目标观看视角，所述观看视角信息由所述虚拟现实终端通过传感器检测得到。可选地，所述装置还包括：第二获取单元，用于获取所述虚拟现实终端的最新观看视角范围；第三获取单元，用于获取所述最新观看视角范围与当前观看视角范围的重叠比例；第三确定单元，用于当所述重叠比例小于预设阈值时，确定所述最新观看视角范围为最新目标观看视角范围；切换单元，用于将以所述当前观看视角范围为主视角区域的目标视频编码帧切换为以所述最新目标观看视角范围为主视角区域的目标视频编码帧。可选地，所述第三获取单元包括：第一获取子单元，用于获取所述最新观看视角范围对应的第一主视角区域及所述当前观看视角范围对应的第二主视角区域；第二获取子单元，用于获取所述第一主视角区域与所述第二主视角区域的重叠面积；计算子单元，用于计算所述重叠面积与所述第二主视角区域的面积之间的比例，得到所述重叠比例。第四方面，本申请还提供了另一种全景视频传输装置，包括：接收单元，用于接收目标视频编码帧，并对所述目标视频编码帧进行解码，得到解码后的视频图像帧；确定单元，用于确定所述解码后的视频图像帧中的主视角区域和非主视角区域；上采样单元，用于对所述非主视角区域对应的视频图像帧分别进行上采样，得到上采样视频图像帧；拼接单元，用于将所述主视角区域对应的视频图像帧，以及，各个非主视角区域对应的上采样视频图像帧进行拼接，得到目标图像帧；转换单元，用于将所述目标图像帧转换成目标三维模型图像；显示单元，用于显示所述目标三维模型图像。本实施例提供的全景视频传输方法，将获得的全景视本文档来自技高网...

【技术保护点】
1.一种全景视频传输方法，其特征在于，包括：获取全景视频图像帧；将所述全景视频图像帧转换为立方体全景图像帧；将所述立方体全景图像帧重新排列为一个矩形全景图像帧；将所述矩形全景图像帧划分为空间上连续的N个视角区域，并从所述N个视角区域中确定主视角区域和非主视角区域，其中，N为正整数；对所述非主视角区域对应的图像进行下采样，得到非主视角采样图像；对所述主视角区域对应的图像及各个所述非主视角采样图像进行编码，得到视频编码帧；确定虚拟现实终端的目标观看视角，并获取以所述目标观看视角为主视角区域的目标视频编码帧；发送所述目标视频编码帧。

【技术特征摘要】
1.一种全景视频传输方法，其特征在于，包括：获取全景视频图像帧；将所述全景视频图像帧转换为立方体全景图像帧；将所述立方体全景图像帧重新排列为一个矩形全景图像帧；将所述矩形全景图像帧划分为空间上连续的N个视角区域，并从所述N个视角区域中确定主视角区域和非主视角区域，其中，N为正整数；对所述非主视角区域对应的图像进行下采样，得到非主视角采样图像；对所述主视角区域对应的图像及各个所述非主视角采样图像进行编码，得到视频编码帧；确定虚拟现实终端的目标观看视角，并获取以所述目标观看视角为主视角区域的目标视频编码帧；发送所述目标视频编码帧。2.根据权利要求1所述的方法，其特征在于，所述主视角区域的类型包括水平主视角区域和垂直主视角区域；所述从所述N个视角区域中确定主视角区域和非主视角区域，包括：将所述N个视角区域中的任意一个视角区域在水平视角范围左右分别扩展预设视角范围，得到水平主视角区域，以及，将所述N个视角区域中除所述主视角区域之外的其它视角区域确定为所述非主视角区域；或者，将所述N个视角区域中的任意一个视角区域在垂直视角范围上下分别扩展所述预设视角范围，得到垂直主视角区域，以及，将所述N个视角区域中除所述主视角区域之外的其它视角区域确定为所述非主视角区域。3.根据权利要求1或2所述的方法，其特征在于，所述对所述主视角区域对应的图像及各个所述非主视角采样图像进行编码，得到视频编码帧，包括：对所述N视角区域中每一个视角区域作为主视角区域时所对应的主视角采样图像及全部非主视角采样图像进行拼接，得到待编码图像帧；分别对所述待编码图像帧进行编码，得到视频编码帧。4.根据权利要求3所述的方法，其特征在于，所述获取以所述目标主视角区域为主视角区域的目标视频编码帧，包括：从所述2N个视频编码帧中查找以所述目标观看视角为主视角区域的视频编码帧确定为所述目标视频编码帧。5.根据权利要求1所述的方法，其特征在于，所述确定虚拟现实终端的目标观看视角，包括：接收所述虚拟现实终端发送的观看视角信息，并根据所述观看视角信息确定所述目标观看视角，所述观看视角信息由所述虚拟现实终端通过传感器检测得到。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述虚拟现实终端的最新观看视角范围；获取所述最新观看视角范围与当前观看视角范围的重叠比例；当所述重叠比例小于预设阈值时，确定所述最新观看视角范围为最新目标观看视角范围；将以所述当前观看视角范围为主视角区域的目标视频编码帧切换为以所述最新目标观看视角范围为主视角区域的目标视频编码帧。7.根据权利要求6所述的方法，其特征在于，所述获取所述最新观看视角范围与当前观看视角范围的重叠比例，包括：获取所述最新观看视角范围对应的第一主视角区域及所述当前观看视角范围对应的第二主视角区域；获取所述第一主视角区域与所述第二主视角区域的重叠面积；计算所述重叠面积与所述第二主视角区域的面积之间的比例，得到所述重叠比例。8.一种全景视频传输方法，其特征在于，包括：接收目标视频编码帧，并对所述目标视频编码帧进行解码，得到解码后的视频图像帧；确定所述解码后的视频图像帧中的主视角区域和非主视角区域；对所述非主视角区域对应的视频图像帧分别进行上采样，得到上采样视频图像帧；将所述主视角区域对应的视频图像帧，以及，各个非主视角区域对应的上采样视频图像帧进行拼接，得...

【专利技术属性】
技术研发人员：马茜，
申请(专利权)人：北京搜狐新媒体信息技术有限公司，
类型：发明
国别省市：北京,11