基于增强现实的全景视频交互方法和系统技术方案

本发明专利技术公开了一种基于增强现实的全景视频交互方法，包括：通过全景摄像设备采集真实景物的视频数据，将视频数据输入到图像处理器中进行处理；图像处理器将视频数据转化为连续的单帧图像，并记录每帧单帧图像之间的先后顺序关系；在单帧图像中选定交互热区，设定交互热区的坐标及范围；图像处理器根据先后顺序关系将单帧图像转换为全景图像三维场景；将全景图像三维场景传输至终端设备；终端设备根据全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将球面全景图像输出至终端设备的屏幕上进行显示。本发明专利技术还提供了一种基于增强现实的全景视频交互系统，改善全景连续浏览体验，实现人机互动。

【技术实现步骤摘要】
基于增强现实的全景视频交互方法和系统
本专利技术涉及视频展示
，尤其涉及一种基于增强现实的全景视频交互方法和系统。
技术介绍
目前全景图像处理技术得到了快速发展，可以建立全景视频展示系统应用于旅游景点虚拟导览、企业展示宣传以及商业空间展示等方面。现有的全景图像或全景视频技术，可以先摄取现实世界中的景物图片，利用专业设备或者软件将拍摄的图片转换为全景图像，从而形成全景视频。现有技术主要存在如下两种具体实现方式：(1)通过摄像机、鱼眼镜头等硬件设施进行拍摄，利用全景拍摄拼接软件将图片拼接为全景图像，之后将多张全景图像导入全景制作软件中进行全景制作，并可添加一些功能如：缩略图、地图导航、热点弹出图片或者文字介绍等，最后对全景视频进行发布。(2)利用三维建模软件建立场景模型。第一种实现方式可以使用有限的图片实现全景视频，但是，这种全景技术通常仅在一个大场景中采集一个或者几个视点，因而用户只能在选定的视点中观察到该全景场景中的细节，而不能在其他三维场景中进行漫游。由于用户坐标相对固定，只能在几个固定的点进行视角与视野的变换，切换场景只能点击其他三维全景的链接，因而无法实现连续的浏览体验，增加了漫游的局限性。同时，该方式实现的全景场景无法加入虚拟物体进行展示以及交互，因此系统的交互性、可操作性以及扩展性较差。第二种实现方式使用三维软件建模，可以实现视点的自由移动，但是其开发工作量及其所需处理的数据量较大，模型精度相对较低。
技术实现思路
本专利技术所要解决的技术问题是，提供一种基于增强现实的全景视频交互方法和系统，实现视点的自由移动，改善全景连续浏览体验，在全景视频中增加交互热区实现人机互动。为解决以上技术问题，一方面，本专利技术实施例提供一种基于增强现实的全景视频交互方法，包括：通过全景摄像设备采集真实景物的视频数据，将所述视频数据输入到图像处理器中进行处理；所述图像处理器将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之间的先后顺序关系；在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景；将所述全景图像三维场景传输至终端设备；所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示。进一步地，所述的基于增强现实的全景视频交互方法，还包括：所述终端设备实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。进一步地，所述的基于增强现实的全景视频交互方法，还包括：所述终端设备实时监测用户对所述交互区域的点击状态，并在所述交互区域接收到点击信号时，启动与所述交互区域相关联的三维立体控件的运行和/或三维立体视频的播放。优选地，所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景，包括：通过以下方程，将每一帧所述单帧图像上的任意一个像素点P的坐标(x,y)转换为三维坐标P1(u,v,w)：其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系和世界坐标系纵轴夹角；W为所述单帧图像宽度，H为所述单帧图像高度，f为所述全景摄像设备以像素为度量单位时的焦距，且f＝W/(2tan(hfov/2))，其中，hfov为所述全景摄像设备的水平视角。进一步地，所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示，具体为：将每一帧单帧图像上的任意像素点P的坐标(x,y)转换为在所述球面全景图像上对应的像素点P’的坐标(x’,y’)，包括：计算判别因子：△＝(y-H/2)sinαcosβ-(x-W/2)sinβ-fcosαcosβ；当所述判别因子△＞0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：当所述判别因子△＜0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：将进行坐标映射转换后的球面全景图像输出至所述终端设备的屏幕上进行显示。另一方面，本专利技术实施例还提供了一种基于增强现实的全景视频交互系统，包括：全景摄像设备、图像处理器和终端设备；所述全景摄像设备，用于采集真实景物的视频数据，将所述视频数据输入到所述图像处理器中进行处理；所述图像处理器，用于将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之间的先后顺序关系；在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；所述图像处理器，还用于根据先后顺序关系将所述单帧图像转换为全景图像三维场景；将所述全景图像三维场景传输至所述终端设备；所述终端设备，用于根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示。进一步地，所述终端设备，还用于实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。进一步地，所述终端设备，还用于实时监测用户对所述交互区域的点击状态，并在所述交互区域接收到点击信号时，启动与所述交互区域相关联的三维立体控件的运行和/或三维立体视频的播放。优选地，所述图像处理器，还用于：通过以下方程，将每一帧所述单帧图像上的任意一个像素点P的坐标(x,y)转换为三维坐标P1(u,v,w)：其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系和世界坐标系纵轴夹角；W为所述单帧图像宽度，H为所述单帧图像高度，f为所述全景摄像设备以像素为度量单位时的焦距，且f＝W/(2tan(hfov/2))，其中，hfov为所述全景摄像设备的水平视角。进一步地，所述终端设备，还用于将每一帧单帧图像上的任意像素点P的坐标(x,y)转换为在所述球面全景图像上对应的像素点P’的坐标(x’,y’)，包括：计算判别因子：△＝(y-H/2)sinαcosβ-(x-W/2)sinβ-fcosαcosβ；当所述判别因子△＞0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：当所述判别因子△＜0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：将进行坐标映射转换后的球面全景图像输出至所述终端设备的屏幕上进行显示。本专利技术实施例提供的基于增强现实的全景视频交互方法和系统，通过全景摄像设备采集真实景物的视频数据，将该视频数据转换为连续的单帧图像和记录单帧图像之间的顺序关系，因而通过这些连续的单帧图像组成的全景图像三维场景可以实现视点的自由移动，对全景图像三维场景进行顺序连续播放，改善全景连续浏览体验；并且，由于在所述单帧图像中选定交互热区，并将单帧图像中的交互热区一同转换为全景图像三维场景后传输至终端设备，经过坐标转换后输出至屏幕上进行显示，用户可以自定义图像移动轨迹在全景图像三维场景中进行漫游，将所述球面全景图像逐帧投影在显示屏幕上，实现场景的来回切换；并可通过交互热区驱动计算机本文档来自技高网...

【技术保护点】
一种基于增强现实的全景视频交互方法，其特征在于，包括：通过全景摄像设备采集真实景物的视频数据，将所述视频数据输入到图像处理器中进行处理；所述图像处理器将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之间的先后顺序关系；在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景；将所述全景图像三维场景传输至终端设备；所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示。

【技术特征摘要】
1.一种基于增强现实的全景视频交互方法，其特征在于，包括：通过全景摄像设备采集真实景物的视频数据，将所述视频数据输入到图像处理器中进行处理；所述图像处理器将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之间的先后顺序关系；在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景；将所述全景图像三维场景传输至终端设备；所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示；所述终端设备实时监测用户对所述交互热区的点击状态，并在所述交互热区接收到点击信号时，启动与所述交互热区相关联的三维立体控件的运行和/或三维立体视频的播放；其中，单帧全景图允许进行视角和视野变换，显示与视角和视野对应的二维投影，且所述交互热区的坐标随视角和视野的改变而变化；所述终端设备实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。2.如权利要求1所述的基于增强现实的全景视频交互方法，其特征在于，所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景，包括：通过以下方程，将每一帧所述单帧图像上的任意一个像素点P的坐标(x，y)转换为三维坐标P1(u，v，w)：其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系和世界坐标系纵轴夹角；W为所述单帧图像宽度，H为所述单帧图像高度，f为所述全景摄像设备以像素为度量单位时的焦距，且f＝W/(2tan(hfov/2))，其中，hfov为所述全景摄像设备的水平视角。3.如权利要求2所述的基于增强现实的全景视频交互方法，其特征在于，所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示，具体为：将每一帧单帧图像上的任意像素点P的坐标(x,y)转换为在所述球面全景图像上对应的像素点P’的坐标(x’,y’)，包括：计算判别因子：△＝(y-H/2)sinαcosβ-(x-W/2)sinβ-fcosαcosβ；当所述判别因子△＞0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：当所述判别因子△＜0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：将进行坐标映射...

【专利技术属性】
技术研发人员：黄成文，梁泳山，
申请(专利权)人：广州市联文信息科技有限公司，
类型：发明
国别省市：广东;44