一种全景图像展示方法、系统及存储介质技术方案

本发明专利技术涉及一种全景图像展示方法、系统及存储介质，该方法包括如下步骤：获取多张初始图像；对多张所述初始图像进行合成，获得全景图像；获取用户的手势信息；在预先存储的多个控制指令中确定与所述手势信息对应的所述控制指令；根据所述控制指令控制所述全景图像进行展示。本发明专利技术的技术方案采用体感交互的方式控制全景图像进行全方位的展示，不需要和输入设备进行接触就能实现对全景图像的控制，简单便捷，实用高效。

A Panoramic Image Display Method, System and Storage Media

The invention relates to a panoramic image display method, system and storage medium, which comprises the following steps: acquiring multiple initial images; synthesizing multiple initial images to obtain panoramic images; acquiring user's gesture information; determining the control instructions corresponding to the gesture information in a plurality of pre-stored control instructions; and controlling according to the control instructions. The panoramic image is displayed. The technical scheme of the invention adopts a somatosensory interactive way to control panoramic image for omni-directional display, and can realize panoramic image control without contacting the input device, which is simple, convenient, practical and efficient.

【技术实现步骤摘要】
一种全景图像展示方法、系统及存储介质
本专利技术涉及计算机应用
，尤其涉及一种全景图像展示方法、系统及存储介质。
技术介绍
全景图像能够为用户提供全方位的视角、浸入式观看体验，已逐渐成为虚拟现实的热点。主要是通过相机拍摄多个方向的图像，再将多个方向的图像经过合成，得到全景图像全景图像在显示时，由于屏幕等显示设备无法对全景图像进行完整显示，需要用户根据需要控制全景图像滑动或旋转以显示全景图像的各个区域，目前，大多通过滑动触摸屏或移动鼠标来控制全景图像进行展示，但是这些方式不够便捷，当用户不方便操作鼠标或滑动触摸屏时，无法获得最优的全景图像展示效果，例如当用户在进行房间装修，需要查看装修后的全景效果图时，由于不便于操作鼠标或滑动触摸屏，因此就无法查看到完整的全景效果图。
技术实现思路
本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种全景图像展示方法、系统及存储介质。本专利技术解决上述技术问题的技术方案如下：第一方面，本专利技术提供了一种一种全景图像展示方法，该方法包括如下步骤：获取多张初始图像。对多张所述初始图像进行合成，获得全景图像。获取用户的手势信息。在预先存储的多个控制指令中确定与所述手势信息对应的所述控制指令。根据所述控制指令控制所述全景图像进行展示。第二方面，本专利技术提供了一种全景图像展示系统，包括：第一获取模块，获取多张初始图像。图像合成模块，对多张所述初始图像进行合成，获得全景图像。第二获取模块，获取用户的手势信息。处理模块，在预先存储的多个控制指令中确定与所述手势信息对应的所述控制指令。展示模块，根据所述控制指令控制所述全景图像进行展示。第三方面，本专利技术提供了一种全景图像展示系统，所述系统包括存储器和处理器。所述存储器，用于存储计算机程序。所述处理器，用于当执行所述计算机程序时，实现如上所述的全景图像展示方法。第四方面，本专利技术提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的全景图像展示方法。本专利技术的全景图形展示方法、系统及存储介质有益效果是：首先获取用于合成全景图像的多张初始图像，多张初始图像按顺序排列且相邻间互有重叠区域，对多张初始图像进行合成获得用于展示的全景图像，可将全景图像输出到屏幕等显示设备进行显示，获取用户的手势信息，可通过Kinect摄像头拍摄用户的深度图像以获取用户的手势信息，根据手势信息判断用户的控制意图，获得控制指令，根据控制指令控制全景图像滑动或旋转等，展示全景图像中用户想要查看的区域。本专利技术的技术方案采用体感交互的方式控制全景图像进行全方位的展示，不需要和输入设备进行接触就能实现对全景图像的控制，简单便捷，实用高效。附图说明图1为本专利技术实施例的一种全景图像展示方法的流程示意图；图2为本专利技术实施例的一种全景图像展示系统的结构示意图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，本专利技术实施例提供了一种全景图像展示方法，所述方法包括如下步骤：110，获取多张初始图像。120，对多张所述初始图像进行合成，获得全景图像。130，获取用户的手势信息。140，在预先存储的多个控制指令中确定与所述手势信息对应的所述控制指令。150，根据所述控制指令控制所述全景图像进行展示。本实施例中，首先获取用于合成全景图像的多张初始图像，多张初始图像按顺序排列且相邻间互有重叠区域，对多张初始图像进行合成获得用于展示的全景图像，可将全景图像输出到屏幕等显示设备进行显示，获取用户的手势信息，可通过Kinect摄像头拍摄用户的深度图像以获取用户的手势信息，根据手势信息判断用户的控制意图，获得控制指令，根据控制指令控制全景图像滑动或旋转等，展示全景图像中用户想要查看的区域。本专利技术的技术方案采用体感交互的方式控制全景图像进行全方位的展示，不需要和输入设备进行接触就能实现对全景图像的控制，简单便捷，实用高效。优选地，多张所述初始图像为多张按顺序排列且相邻间互有重叠区域的图像。具体地，初始图像可为鱼眼镜头拍摄的图像，多张图像按顺序排列且相邻间互有重叠区域，多张图像可收尾相连，覆盖360度场景，通过合成就能够获得360度全景图像。优选地，所述对多张所述初始图像进行合成，获得全景图像具体包括如下步骤：对多张所述初始图像进行噪声消除和畸变还原，获得多张预处理图像。具体地，鱼眼镜头拍出来的图像可以达到180度的视角，但成像图片是相对失真的，存在几何畸变，图像的几何畸变不利于图像配准，首先对图像进行噪声过滤，并可通过改变相机的径向畸变参数直至图像中的线成直线且平行，校正畸变，可通过相机标定修正径向畸变参数。通过畸变校正后的原像素映射到的校正位置不一定是所需要的点，通常需要使用插值的方法来求得最接近校正位置的像素值，插值可采用最近邻插值法、双线性插值法或双三次卷积法。基于SURF特征提取算法，对多张所述预处理图像进行配准，获得多张配准图像。具体地，图像配准是针对同一场景，对不同传感器或不同时间、不同角度、不同位置获得的多张图形进行最佳对齐的过程。对于任意两张互有重叠区域的图像，以一张图像作为匹配的基准，称为参考图像，另一张用作形变以实现配准，称为待配准图像。首先提取两张配准图像的共有特征点，建立特征空间，特征空间是由参与匹配的图像特征构成，这些图像特征可以是像素的灰度特征，也可以是一些易于检测的显著的特征结构，如边缘、轮廓、角点等。根据特征空间中的特征点进行特征匹配，可基于相似度计算函数，采用基于最近距离比的特征匹配法进行匹配，根据匹配结果得到变换模型，变换模型是一个参数化的映射函数，最后使用变换模型将待配准图像形变使得其与基准图像相互匹配。其中，SURF主要包括特征提取和特征描述两个步骤，相对于其他的特征提取算法，在重复读、独特性和鲁棒性上都有更好的效果，并且坚持和匹配速度有明显的优势。基于图割能量优化算法，对多张所述配准图像进行拼接，获得所述全景图像。具体地，采用图割(Graph-Cuts)能量优化方法，对重叠区域影像的数据能量项、平滑能量项和能量项进行优化，优化方法包括α-expansion算法和α-β-swap算法，整个算法循环迭代直至能量项最小不再减少，获取最优拼接线，根据最优拼接线进行拼接，就能获得全景图像，采用图割能量优化算法得到的全景图像能够减少锯齿，不会留有分割痕迹。优选地，所述获取用户的手势信息的具体实现为：获取Kinect摄像头拍摄的多张不同的骨骼图像，所述Kinect摄像头用于对用户进行骨骼追踪，根据多张所述骨骼图像中骨骼的相对位置确定所述手势信息。具体地，可采用Kinect获取用户的深度图，通过Kinect中的e.OpenSkeletonFrame()函数开启Kinect骨骼数据流，通过Skeleton对象的TrackingState属性判断摄像头的有效视角场内是否有人体骨骼，通过PolylineCreateFigure()函数将追踪到的骨骼绘制成多张不同骨骼图像，对比多张骨骼图像中手的相对位置，获得手势信息。例如：手判定为向左移动时，全景图像向左滑动；手判定为向右移动时，全景图像向右滑动；手判定为向上移动时，全景图像向上滑动；手判定为向下移动时，全景图本文档来自技高网...

【技术保护点】
1.一种全景图像展示方法，其特征在于，所述方法包括如下步骤：获取多张初始图像；对多张所述初始图像进行合成，获得全景图像；获取用户的手势信息；在预先存储的多个控制指令中确定与所述手势信息对应的所述控制指令；根据所述控制指令控制所述全景图像进行展示。

【技术特征摘要】
1.一种全景图像展示方法，其特征在于，所述方法包括如下步骤：获取多张初始图像；对多张所述初始图像进行合成，获得全景图像；获取用户的手势信息；在预先存储的多个控制指令中确定与所述手势信息对应的所述控制指令；根据所述控制指令控制所述全景图像进行展示。2.根据权利要求1所述的全景图像展示方法，其特征在于，多张所述初始图像为多张按顺序排列且相邻间互有重叠区域的图像。3.根据权利要求2所述的全景图像展示方法，其特征在于，所述对多张所述初始图像进行合成，获得全景图像具体包括如下步骤：对多张所述初始图像进行噪声消除和畸变还原，获得多张预处理图像；基于SURF特征提取算法，对多张所述预处理图像进行配准，获得多张配准图像；基于图割能量优化算法，对多张所述配准图像进行拼接，获得所述全景图像。4.根据权利要求1所述的全景图像展示方法，其特征在于，所述获取用户的手势信息的具体实现为：获取Kinect摄像头拍摄的多张不同的骨骼图像，所述Kinect摄像头用于对用户进行骨骼追踪，根据多张所述骨骼图像中骨骼的相对位置确定所述手势信息。5.根据权利要求1至4任一项所述的全景图像展示方法，其特征在于，所述在预先存储的多个控制指令中确定与所述手势信息对应的所述控制指令的具体实现为：将所述手势信息与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的控制指令，...

【专利技术属性】
技术研发人员：童毅，周波依，
申请(专利权)人：博拉网络股份有限公司，
类型：发明
国别省市：重庆,50