一种视频生成方法、播放方法及视频生成装置、播放装置制造方法及图纸

本发明专利技术提供一种视频生成方法，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像；建立环境场景的空间球面模型；将多个摄像头采集的环境场景视频图像进行拼接，得到环境场景的空间球面模型对应的球面纹理图像；将球面纹理图像分割为多个预设尺寸的局部视频图像块；根据视频帧时序编码局部视频图像块。本发明专利技术同时提供一种视频播放方法、视频生成装置及视频播放装置。本发明专利技术有效地解决了现有的显示设备无法流畅播放高分辨率全景视频的缺陷，同时显著地降低了大容量视频实时传输对于网络带宽的要求，提升了全景视频播放技术在不同场景中的适用性。

Video generating method, playing method, video generating device and playing device

The present invention provides a video generation method, which comprises the following steps: video image preset multiple camera angle in different space environment; space sphere model establishment of environmental scene; environmental scene video images of multiple camera stitching, get spherical texture image corresponding to spherical model environment of the scene; sphere the texture image is divided into a plurality of predetermined size local video image block; according to the video frame sequence encoding the local video image block. The invention also provides a video playing method, a video generating device and a video playing device. The invention effectively solves the defects of display devices can not smooth playback of high resolution panoramic video available, while significantly reducing the large capacity video real-time transmission to the network bandwidth requirements, enhance the applicability of panoramic video technology in different scenarios.

【技术实现步骤摘要】
一种视频生成方法、播放方法及视频生成装置、播放装置
本专利技术涉及计算机视觉与图像处理
，尤其涉及一种视频生成方法、播放方法及视频生成装置、播放装置。
技术介绍
数字三维全景图像，是通过相机捕捉整个环境场景的图像信息，使用软件进行图像的拼接整合，将平面图像进行处理得到的三维全景图像。三维全景图像能够实现把二维的平面图像模拟成真实的三维空间，以达到模拟和再现真实环境场景的效果。随着计算机软硬件技术的不断发展，智能可穿戴设备日渐普及，头戴式虚拟现实设备通过图像显示屏将虚拟的环境图像展现在使用者眼前，为使用者营造一种置身于虚拟环境中的体验。使用者佩戴头戴式虚拟现实设备时，通过将使用者的视野范围完全限定在图像显示屏的显示范围内，能够隔绝图像显示屏显示范围以外的环境图像，从而让使用者获得沉浸于虚拟场景的体验。通过拍摄高画质的全景视频图像，保留环境场景中更多的图像细节，能够让使用者通过虚拟现实设备观看全景视频时获得更加真实的沉浸感。然而在现有技术中，一方面受限于虚拟现实设备的运算处理能力和显示器件的显示分辨率，无法解析播放高分辨率的全景视频图像，另一方面，视频图像的分辨率越高，单一视频文件的尺寸越大，对于实时视频传输过程中网络带宽的要求也越高。因此，如何有效提高虚拟现实设备的视频画质，同时保证实时视频传输的流畅性，是全景视频传输与显示过程中亟待解决的技术问题之一。
技术实现思路
本专利技术所要解决的技术问题在于全景视觉图像分辨率很高，图像信息量大，在解码播放过程中往往不能满足实时性的要求，尤其在连续视频图像上的处理存在延迟的问题。在鉴于此，本专利技术一方面提供一种视频生成方法，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像；建立所述环境场景的空间球面模型；将所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像；将所述球面纹理图像分割为多个预设尺寸的局部视频图像块；根据视频帧时序编码所述局部视频图像块。优选地，所述多个摄像头设置于球状设备表面，所述每个摄像头采集所述环境场景预设空间角度范围的视频图像，所述多个摄像头采集的环境场景视频图像覆盖所述环境场景的空间全景。优选地，所述建立所述环境场景的空间球面模型的步骤之前，还包括：对所述每个摄像头采集的环境场景视频图像进行畸变校正。优选地，所述建立所述环境场景的空间球面模型的步骤，具体为：以所述球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型。优选地，所述建立所述环境场景的空间球面模型的步骤，还包括：根据姿态估计算法，确定所述每个摄像头在所述笛卡尔坐标系中的姿态。优选地，所述将所述多个摄像头采集的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像的步骤，还包括：根据所述环境场景空间球面模型表面的经纬度坐标，建立所述环境场景空间球面模型对应的球面纹理图像的经纬度坐标系；根据所述每个摄像头在所述笛卡尔坐标系中的姿态，确定所述每个摄像头对应的视频图像在所述球面纹理图像的经纬度坐标系中的坐标区间。优选地，所述将所述球面纹理图像分割为多个预设尺寸的局部视频图像块的步骤，具体为：将所述球面纹理图像分割为多个预设尺寸的局部视频图像块，确定所述每个局部视频图像块在所述经纬度坐标系中的坐标区间。优选地，所述将所述球面纹理图像分割为多个预设尺寸的局部视频图像块的步骤，还包括：对所述局部视频图像块进行纹理压缩。优选地，所述根据视频帧时序编码所述局部视频图像块的步骤，具体为：根据视频帧时序分别编码所述每个摄像头对应的局部视频图像块。本专利技术同时提供一种视频生成装置，包括：图像采集模块：包括多个摄像单元，用于采集环境场景不同空间角度的视频图像；模型建立模块：用于建立所述环境场景的空间球面模型；图像拼接模块：用于将所述多个摄像单元对应的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像；图像分割模块：用于将所述图像拼接模块得到的球面纹理图像分割为多个预设尺寸的局部视频图像块；视频编码模块：用于根据视频帧时序编码所述图像分割模块得到的局部视频图像块。优选地，所述多个摄像单元设置于球状设备表面，所述每个摄像单元用于采集所述环境场景预设空间角度范围的视频图像，所述多个摄像单元采集的环境场景视频图像覆盖所述环境场景的空间全景。优选地，所述模型建立模块，包括：校正单元：用于对所述每个摄像单元采集的环境场景视频图像进行畸变校正；坐标系构建单元：用于以所述球状设备的球心为坐标原点，构建笛卡尔坐标系；姿态估计单元：用于根据姿态估计算法，确定所述每个摄像单元在所述坐标系构建单元构建的笛卡尔坐标系中的姿态。优选地，所述图像拼接模块，还包括：坐标转换单元，用于根据所述环境场景空间球面模型表面的经纬度坐标，建立所述环境场景空间球面模型对应的球面纹理图像的经纬度坐标系；图像映射单元，用于根据所述每个摄像单元在所述笛卡尔坐标系中的姿态，确定所述每个摄像单元对应的视频图像在所述球面纹理图像的经纬度坐标系中的坐标区间。优选地，图像分割模块，还包括：纹理压缩单元，用于对所述局部视频图像块进行纹理压缩。优选地，所述图像映射单元，还用于确定所述每个局部视频图像块在所述经纬度坐标系中的坐标区间。优选地，所述编码模块，还用于根据视频帧时序分别编码所述每个摄像单元对应的局部视频图像块。本专利技术另一方面提供一种视频播放方法，包括以下步骤：获取局部视频图像块及对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在所述环境场景的空间球面模型表面的投影区域；根据所述显示区域在所述环境场景空间球面模型表面的投影区域，确定所述投影区域在所述环境场景的空间球面模型对应的经纬度坐标系中的坐标区间；根据所述局部视频图像块在所述经纬度坐标系中的坐标区间，确定所述投影区域对应的局部视频图像块；对根据视频帧时序编码的所述投影区域对应的局部视频图像块进行解码；在所述显示区域显示所述投影区域对应的局部视频图像块。优选地，所述获取局部视频图像块及对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在所述环境场景的空间球面模型表面的投影区域的步骤，还包括：根据用户指令调整所述显示区域在所述环境场景的空间球面模型表面的投影区域。优选地，所述在所述显示区域显示所述投影区域对应的局部视频图像块的步骤，具体为：在所述显示区域中，根据所述视频帧时序显示所述投影区域对应的局部视频图像块。本专利技术还提供一种视频播放装置，包括：获取模块：用于获取局部视频图像块及对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在所述环境场景的空间球面模型表面的投影区域；定位模块：用于根据所述显示区域在所述环境场景空间球面模型表面的投影区域，确定所述投影区域在所述环境场景的空间球面模型对应的经纬度坐标系中的坐标区间；映射模块：用于根据每个所述局部视频图像块在所述经纬度坐标系中的坐标区间，确定所述投影区域对应的局部视频图像块；解码模块：用于对根据视频帧时序编码的所述投影区域对应的局部视频图像块进行解码；显示模块：用于在所述显示区域显示所述投影区域对应的局部视本文档来自技高网...

【技术保护点】
一种视频生成方法，其特征在于，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像；建立所述环境场景的空间球面模型；将所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像；将所述球面纹理图像分割为多个预设尺寸的局部视频图像块；根据视频帧时序编码所述局部视频图像块。

【技术特征摘要】
1.一种视频生成方法，其特征在于，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像；建立所述环境场景的空间球面模型；将所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像；将所述球面纹理图像分割为多个预设尺寸的局部视频图像块；根据视频帧时序编码所述局部视频图像块。2.根据权利要求1所述的视频生成方法，其特征在于，所述预设多个摄像头采集环境场景不同空间角度的视频图像的步骤，具体为：所述多个摄像头设置于球状设备表面，所述每个摄像头采集所述环境场景预设空间角度范围的视频图像，所述多个摄像头采集的环境场景视频图像覆盖所述环境场景的空间全景。3.根据权利要求2所述的视频生成方法，其特征在于，所述建立所述环境场景的空间球面模型的步骤之前，还包括：对所述每个摄像头采集的环境场景视频图像进行畸变校正。4.根据权利要求3所述的视频生成方法，其特征在于，所述建立所述环境场景的空间球面模型的步骤，具体为：以所述球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型。5.根据权利要求4所述的视频生成方法，其特征在于，所述建立所述环境场景的空间球面模型的步骤，还包括：根据姿态估计算法，确定所述每个摄像头在所述笛卡尔坐标系中的姿态。6.根据权利要求5所述的视频生成方法，其特征在于，所述将所述多个摄像头采集的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像的步骤，还包括：根据所述环境场景空间球面模型表面的经纬度坐标，建立所述环境场景空间球面模型对应的球面纹理图像的经纬度坐标系；根据所述每个摄像头在所述笛卡尔坐标系中的姿态，确定所述每个摄像头对应的视频图像在所述球面纹理图像的经纬度坐标系中的坐标区间。7.根据权利要求6所述的视频生成方法，其特征在于，所述将所述球面纹理图像分割为多个预设尺寸的局部视频图像块的步骤，具体为：将所述球面纹理图像分割为多个预设尺寸的局部视频图像块，确定所述每个局部视频图像块在所述经纬度坐标系中的坐标区间。8.根据权利要求6或7所述的视频生成方法，其特征在于，所述将所述球面纹理图像分割为多个预设尺寸的局部视频图像块的步骤，还包括：对所述局部视频图像块进行纹理压缩。9.根据权利要求8所述的视频生成方法，其特征在于，所述根据视频帧时序编码所述局部视频图像块的步骤，具体为：根据视频帧时序分别编码所述每个摄像头对应的局部视频图像块。10.一种视频生成装置，其特征在于，包括：图像采集模块：包括多个摄像单元，用于采集环境场景不同空间角度的视频图像；模型建立模块：用于建立所述环境场景的空间球面模型；图像拼接模块：用于将所述多个摄像单元对应的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像；图像分割模块：用于将所述图像拼接模块得到的球面纹理图像分割为多个预设尺寸的局部视频图像块；视频编码模块：用于根据视频帧时序编码所述图像分割模块得到的局部视频图像块。11.根据权利要求10所述的视频生成装置，其特征在于，所述多个摄像单元设置于球状设备表面，所述每个摄像单元用于采集所述环境场景预设空间角度范围的视频图像，所述多个摄像单元采集的环境场景视频图像覆盖所述环境场景的空间全景。12.根据权利要求11所述的视频生成装置，其特征在于，所述模型建立模块，包括：校正单元：用于对所述每个摄像单元采集的环境场景视频图像进行畸变校正；坐标系构建单元：用于以所述球状设备的球心为坐标原点，...

【专利技术属性】
技术研发人员：陈卓，
申请(专利权)人：成都理想境界科技有限公司，
类型：发明
国别省市：四川,51