全景视频图像融合方法及装置制造方法及图纸

本发明专利技术一方面提供一种全景视频图像融合方法，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像，建立环境场景的空间球面模型；根据环境场景的空间球面模型，对多个摄像头对应的环境场景视频图像进行拼接，得到环境场景空间球面模型对应的球面纹理图像；根据多个摄像头的姿态矩阵，建立球面纹理图像中的图像像素点与摄像头对应的环境场景视频图像中的图像像素点之间的关联映射；根据关联映射，对球面纹理图像中符合图像融合条件的图像像素点进行图像融合。本发明专利技术另一方面提供一种全景视频图像融合装置。本发明专利技术有效地解决了现有的显示设备无法流畅播放高分辨率全景视频的缺陷，显著地提升了全景视频播放技术在不同场景中的适用性。

Panoramic video image fusion method and device

One aspect of the invention provides a panoramic image fusion method, which comprises the following steps: Video preset multiple camera angle in different space environment, space environment model of spherical spherical model; according to the environment, multi camera environment scene video head corresponding to the stitching, get spherical the texture image scene space corresponding to the spherical model; according to the attitude matrix of multiple cameras, mapping between scene video image to establish image pixels in the image and camera sphere texture in the corresponding image pixels; according to the relevance of mapping, image fusion with image pixel image fusion of sphere texture image in. Another aspect of the invention provides a panoramic image fusion device. The invention effectively solves the defects that the existing display device can not play the high resolution panoramic video smoothly, and remarkably improves the applicability of the panoramic video playing technology in different scenes.

【技术实现步骤摘要】
全景视频图像融合方法及装置
本专利技术涉及计算机视觉与图像处理
，尤其涉及一种全景视频图像融合方法及装置。
技术介绍
数字三维全景图像，是通过相机捕捉整个环境场景的图像信息，使用软件进行图像的拼接整合，将平面图像进行处理得到的三维全景图像。三维全景图像能够实现把二维的平面图像模拟成真实的三维空间，以达到模拟和再现真实环境场景的效果。随着计算机软硬件技术的不断发展，智能可穿戴设备日渐普及，头戴式虚拟现实设备通过图像显示屏将虚拟的环境图像展现在使用者眼前，为使用者营造一种置身于虚拟环境中的体验。使用者佩戴头戴式虚拟现实设备时，通过将使用者的视野范围完全限定在图像显示屏的显示范围内，能够隔绝图像显示屏显示范围以外的环境图像，从而让使用者获得沉浸于虚拟场景的体验。通过多个摄像机拍摄高画质的全景视频图像，保留环境场景中更多的图像细节，能够让使用者通过虚拟现实设备观看全景视频时获得更加真实的沉浸感。在现有技术中，通过多个摄像机采集环境场景的全景视频图像时，相邻摄像机获取的图像之间存在重叠区域，由于拍摄时间与角度差异，重叠区域通常存在色彩亮度及形变程度的差异。在对多个摄像机采集的图像进行拼接得全景图像时，如果将重叠区域的图像只进行简单的叠加处理，将严重影响全景图像的视觉效果。因此，如何使拼接融合后的图像更加平滑自然、过渡清晰，有效地提高全景图像拼接效果，是全景图像拼接合成过程中亟待解决的技术问题之一。
技术实现思路
本专利技术所要解决的技术问题在于全景图像分辨率高，图像信息量大，图像拼接融合过程运算复杂度高、耗时长，在解码播放过程中往往不能满足实时性的要求，尤其在连续视频图像上的处理存在延迟的问题。在鉴于此，本专利技术一方面提供一种全景视频图像融合方法，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像，建立所述环境场景的空间球面模型；根据所述环境场景的空间球面模型，对所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景空间球面模型对应的球面纹理图像；根据所述多个摄像头的姿态矩阵，建立所述球面纹理图像中的图像像素点与所述摄像头对应的环境场景视频图像中的图像像素点之间的关联映射；根据所述关联映射，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。优选地，所述预设多个摄像头采集环境场景不同空间角度的视频图像，建立所述环境场景的空间球面模型的步骤，具体为：所述多个摄像头设置于球状设备表面，所述每个摄像头采集所述环境场景预设空间角度范围的视频图像，所述多个摄像头采集的环境场景视频图像覆盖所述环境场景的空间全景；以所述球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型。优选地，所述预设多个摄像头采集环境场景不同空间角度的视频图像，建立所述环境场景的空间球面模型的步骤，还包括：根据姿态估计算法，确定所述多个摄像头在所述笛卡尔坐标系中的姿态，得到所述多个摄像头的姿态矩阵。优选地，所述根据所述环境场景的空间球面模型，对所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景空间球面模型对应的球面纹理图像的步骤，还包括：建立所述环境场景空间球面模型的经纬度坐标系，确定所述球面纹理图像中的图像像素点在所述经纬度坐标系中的坐标。优选地，所述根据所述多个摄像头的姿态矩阵，建立所述球面纹理图像中的图像像素点与所述摄像头对应的环境场景视频图像中的图像像素点之间的关联映射的步骤，具体为：根据所述多个摄像头的姿态矩阵，建立所述球面纹理图像中的图像像素点的经纬度坐标与所述至少一个摄像头对应的视频图像中的图像像素点的坐标之间的关联映射。优选地，所述根据所述关联映射，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合的步骤，具体为：根据所述关联映射，获取所述球面纹理图像中符合图像融合条件的图像像素点，所述球面纹理图像中符合图像融合条件的图像像素点的经纬度坐标分别与所述两个或两个以上摄像头对应的环境场景视频图像中的图像像素点坐标存在关联映射；根据与所述球面纹理图像中符合图像融合条件的图像像素点存在关联映射的所述两个或两个以上摄像头对应的环境场景视频图像中的图像像素点，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。本专利技术另一方面提供一种全景视频图像融合装置，包括：图像采集模块：包括多个摄像单元，用于采集环境场景不同空间角度的视频图像；模型建立模块：用于建立所述环境场景的空间球面模型；图像拼接模块：用于根据所述环境场景的空间球面模型，对所述多个摄像单元对应的环境场景视频图像进行拼接，得到所述环境场景空间球面模型对应的球面纹理图像；关联映射模块：用于根据所述多个摄像单元的姿态矩阵，建立所述球面纹理图像中的图像像素点与所述摄像单元对应的环境场景视频图像中的图像像素点之间的关联映射；图像融合模块：用于根据所述关联映射，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。优选地，所述多个摄像单元设置于球状设备表面，所述每个摄像单元采集所述环境场景预设空间角度范围的视频图像，所述多个摄像单元采集的环境场景视频图像覆盖所述环境场景的空间全景。优选地，所述模型建立模块，包括：坐标系构建单元：用于以所述球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型；姿态估计单元：用于根据姿态估计算法，确定所述多个摄像单元在所述笛卡尔坐标系中的姿态，得到所述多个摄像单元的姿态矩阵。优选地，所述坐标系建立单元，还用于建立所述环境场景空间球面模型的经纬度坐标系，确定所述球面纹理图像中的图像像素点在所述经纬度坐标系中的坐标；以及，所述关联映射模块根据所述姿态估计单元确定的所述多个摄像单元的姿态矩阵，建立所述球面纹理图像中的图像像素点的经纬度坐标与所述至少一个摄像单元对应的视频图像中的图像像素点的坐标之间的关联映射。优选地，所述图像融合模块，包括：获取单元：用于根据所述关联映射模块确定的关联映射，获取所述球面纹理图像中符合图像融合条件的图像像素点，所述符合图像融合条件的图像像素点的经纬度坐标分别与所述两个或两个以上摄像单元对应的环境场景视频图像中的图像像素点坐标存在关联映射；融合单元：用于根据与所述球面纹理图像中符合图像融合条件的图像像素点存在关联映射的所述两个或两个以上摄像单元对应的环境场景视频图像中的图像像素点，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。以上本专利技术的技术方案，通过多个摄像头采集环境场景的视频图像，得到环境场景的空间球面模型，根据多个摄像头对应的环境场景视频图像拼接得到环境场景球面纹理图像，建立球面纹理图像中的图像像素点与多个摄像头对应的环境场景视频图像中的图像像素点之间的关联映射，生成关联映射表。根据关联映射表中的关联映射关系，对球面纹理图像中符合图像融合条件的图像像素点进行图像融合。通过本专利技术技术方案的图像融合方式，能够实现简捷高效的图像融合操作，有效地解决了现有技术方案无法流畅播放高分辨率全景视频图像的缺陷，同时显著地降低了大容量视频实时传输对于网络带宽的要求，提升了全景视频播放技术在不同场景中的适用性。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术的技术方案而本文档来自技高网...

【技术保护点】
一种全景视频图像融合方法，其特征在于，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像，建立所述环境场景的空间球面模型；根据所述环境场景的空间球面模型，对所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景空间球面模型对应的球面纹理图像；根据所述多个摄像头的姿态矩阵，建立所述球面纹理图像中的图像像素点与所述摄像头对应的环境场景视频图像中的图像像素点之间的关联映射；根据所述关联映射，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。

【技术特征摘要】
1.一种全景视频图像融合方法，其特征在于，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像，建立所述环境场景的空间球面模型；根据所述环境场景的空间球面模型，对所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景空间球面模型对应的球面纹理图像；根据所述多个摄像头的姿态矩阵，建立所述球面纹理图像中的图像像素点与所述摄像头对应的环境场景视频图像中的图像像素点之间的关联映射；根据所述关联映射，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合。2.根据权利要求1所述的全景视频图像融合方法，其特征在于，所述预设多个摄像头采集环境场景不同空间角度的视频图像，建立所述环境场景的空间球面模型的步骤，具体为：所述多个摄像头设置于球状设备表面，所述每个摄像头采集所述环境场景预设空间角度范围的视频图像，所述多个摄像头采集的环境场景视频图像覆盖所述环境场景的空间全景；以所述球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型。3.根据权利要求2所述的全景视频图像融合方法，其特征在于，所述预设多个摄像头采集环境场景不同空间角度的视频图像，建立所述环境场景的空间球面模型的步骤，还包括：根据姿态估计算法，确定所述多个摄像头在所述笛卡尔坐标系中的姿态，得到所述多个摄像头的姿态矩阵。4.根据权利要求3所述的全景视频图像融合方法，其特征在于，所述根据所述环境场景的空间球面模型，对所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景空间球面模型对应的球面纹理图像的步骤，还包括：建立所述环境场景空间球面模型的经纬度坐标系，确定所述球面纹理图像中的图像像素点在所述经纬度坐标系中的坐标。5.根据权利要求4所述的全景视频图像融合方法，其特征在于，所述根据所述多个摄像头的姿态矩阵，建立所述球面纹理图像中的图像像素点与所述摄像头对应的环境场景视频图像中的图像像素点之间的关联映射的步骤，具体为：根据所述多个摄像头的姿态矩阵，建立所述球面纹理图像中的图像像素点的经纬度坐标与所述至少一个摄像头对应的视频图像中的图像像素点的坐标之间的关联映射。6.根据权利要求5所述的全景视频图像融合方法，其特征在于，所述根据所述关联映射，对所述球面纹理图像中符合图像融合条件的图像像素点进行图像融合的步骤，具体为：根据所述关联映射，获取所述球面纹理图像中符合图像融合条件的图像像素点，所述球面纹理图像中符合图像融合条件的图像像素点的经纬度坐标分别与所述两个或两个以上摄像头对应的环境场景视频图像中的图像像素点坐标存在关联映射；根据与所述球面纹理图像...

【专利技术属性】
技术研发人员：陈卓，
申请(专利权)人：成都理想境界科技有限公司，
类型：发明
国别省市：四川,51