一种全景视频信息交互方法及系统技术方案

本发明专利技术涉及虚拟现实领域，提供了一种全景视频信息交互方法，该方法步骤包括：用户上传全景视频；采用OpenGL技术结合曲面函数、球面函数计算球体内表面的曲率，把全景视频绘制到球体内表面；将使用曲面函数、球面函数构造且完全适配球体内表面弧度的内嵌模块框选全景视频中的待框选运动目标；采用TLD算法将内嵌模块与已框选运动目标进行像素匹配，于视频每一帧中判断已框选运动目标像素位置，实现内嵌模块对已框选运动目标的实时跟踪；于内嵌模块中设置或选择点击事件命令；将资源打包成APK映射到虚拟现实设备中；激活点击事件命令，针对点击事件命令做出相应交互响应。本发明专利技术可以实现对全景视频中信息载体的交互，读取信息载体上面有价值的信息。

Panoramic video information interaction method and system

The present invention relates to the field of virtual reality, provides a panoramic video information interaction method, the method comprises the following steps: the user to upload panoramic video; using OpenGL technology to calculate curvature of the inner surface of a sphere with surface function, the spherical function, the panoramic video rendering to the ball body surface; will use the embedded module function, structure and function of spherical surface completely matched with the inner surface of the ball arc frame selection in panoramic video to select target; embedded module and frame selection target pixel matching algorithm using TLD, in each frame of video frame selection has judge moving target pixel position, realize the embedded module real-time tracking of moving target has frame selection; in the embedded module set or click event command; resources will be packaged into a APK is mapped to a virtual reality device; activate the click event command, click on The event command responds accordingly. The invention can realize the interaction of the information carrier in the panoramic video, and read the valuable information on the information carrier.

【技术实现步骤摘要】
一种全景视频信息交互方法及系统
本专利技术涉及虚拟现实领域，具体涉及全景视频信息交互领域。
技术介绍
虚拟现实技术是一种计算机仿真系统，在该系统中可以创建和体验虚拟世界。本质上，该系统利用计算机生成一种模拟环境，该模拟环境是一种多源信息融合的交互式的三维动态视景和对实体行为的系统仿真，可以达到沉浸式体验。虚拟现实涉及的多源信息包括实时三维计算机图形技术、广角(宽视野)立体显示技术、对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。除此之外，还涉及双目立体视觉，双目立体视觉起了较大的作用。在双目立体视觉技术中，两只眼睛看到的不同图像是分别产生的，分别显示在两个不同的显示器上。另外，也有虚拟现实系统采用单个显示器，但带上特殊的眼镜后，一只眼睛只能看到奇数帧图像，另一只眼睛只能看到偶数帧图像，由于奇、偶帧之间不同即存在视差，从而产生了立体感。全景图片和全景视频是虚拟现实技术中常见的表现形式，尤其是全景视频，由于其本身的动态特性，能够给用户带来更加真实的沉浸式体验，已经成为虚拟现实设备中常见的信息载体。很多厂家都已经拍摄或正在拍摄自己的全景视频，从而通过全景视频向用户传达更加丰富的信息，如全景视频广告、全景视频旅游宣传片等等。但是目前而言，由于视频时刻处于运动状态，不像图片那样处于静止状态，用户无法很好地实时跟踪视频中的信息载体，进而无法与其形成像全景图片那样的交互，故无法很好地获取动态全景视频上有用的信息。比如全景视频运动鞋广告中所包含的运动鞋的相关信息。当用户佩戴上虚拟现实设备(如VR眼镜)，全景视频在用户面前动态展开，用户沉浸在全景视频中，此时，用户想了解有关此运动鞋的信息(如售价、颜色、材质等)，于是凝视运动鞋，这时候光标对准运动鞋，但是由于视频中的运动鞋处于不断运动状态，光标无法很好地实时跟踪运动鞋，而要求用户眼睛一直盯着运动鞋从而实现光标对运动鞋的实时跟踪显然是不太现实的。这样一来，运动鞋的相关信息就无法通过光标和运动鞋的交互显示出来，用户便无法得知运动鞋的相关信息，这对于一些想通过全景视频广告来宣传自己产品的经销商是不利的。
技术实现思路
针对上述存在的现实问题，本专利技术提供了一种全景视频信息交互方法及系统，用以解决当前全景视频中存在的无法实时跟踪信息载体进而与其形成交互获取信息载体上所包含信息的问题。本专利技术提供了一种全景视频信息交互方法，该方法步骤包括：用户上传全景视频；采用OpenGL技术结合曲面函数、球面函数计算球体内表面的曲率，把全景视频绘制到球体内表面；将使用曲面函数、球面函数构造且完全适配球体内表面弧度的内嵌模块框选全景视频中的待框选运动目标；采用TLD算法将内嵌模块与已框选运动目标进行像素匹配，于视频每一帧中判断已框选运动目标像素位置，实现内嵌模块对已框选运动目标的实时跟踪；于内嵌模块中设置或选择点击事件命令；将资源打包成APK映射到虚拟现实设备中；激活点击事件命令，针对点击事件命令做出相应交互响应。本专利技术提供的方法，首先用户将拍摄的全景视频上传到Unity软件或者浏览器中，Unity软件采用OpenGL技术结合曲面函数、球面函数计算球体内表面的曲率，将用户上传的全景视频绘制到球体内表面；此后用户于球体内的全景视频中拖入若干完全适配球体内表面弧度的内嵌模块，用于框选待框选运动目标。被内嵌模块框选后的运动目标此时为已框选运动目标，由于已框选运动目标处于不间断的运动状态中，而内嵌模块仍处于静止状态，无法对运动目标进行跟踪从而实现交互，所以采用TLD算法将内嵌模块与已框选运动目标进行像素匹配，于视频每一帧中判断已框选运动目标像素位置，从而实现内嵌模块对已框选运动目标的实时跟踪，这样便可以在内嵌模块中设置或者选择点击事件命令，从而对全景视频中的运动目标进行信息交互。此后将资源打包成APK映射到需拟现实设备中，用户佩戴上虚拟现实设备，在需拟现实设备中激活所设置或选择的点击事件命令，需拟现实设备针对用户所激活的点击事件命令给出相应的交互响应。本专利技术还提供了一种全景视频交互系统，包括全景视频还原系统、目标跟踪系统和全景视频显示系统，其中所述全景视频还原系统包括：视频接收单元，用于接收、存储全景视频；视频绘制单元，用于将全景视频绘制与球体内表面；命令设置单元，用于储存用户设置或选择的点击事件命令；所述目标跟踪系统包括：目标框选单元，用于框选全景视频中需要交互的信息载体；像素匹配单元，用于匹配播放中的全景视频信息载体的移动位置，进行像素匹配和跟踪；所述全景视频显示系统包括：命令判断单元，用于判断用户激发的点击事件命令；显示单元，用于显示用户激发的点击事件命令相应的交互响应。本专利技术提供的系统，包括全景视频还原系统、目标跟踪系统和全景视频显示系统，其中全景视频还原系统包括视频接收单元、视频绘制单元和命令设置单元，目标跟踪系统包括目标框选单元和像素匹配单元，全景视频显示系统包括命令判断单元和显示单元。全景视频还原系统用于将全景视频在Unity软件中还原，视频接收单元接收并储存用户上传的全景视频，视频绘制单元将全景视频绘制于球体内表面，然后命令设置单元保存用户设置或选择的点击事件命令。目标跟踪系统用于实现内嵌模块对运动目标的实时跟踪，从而可以实现对运动目标的信息交互，目标框选单元可以实现内嵌模块对待框选运动目标的框选，使其成为已框选运动目标，像素匹配单元可以实现对动态运动目标的实时跟踪。全景视频显示系统用于将Unity软件中还原的全景视频在虚拟现实设备中呈现给用户，并显示用户于内嵌模块中设置或选择的交互信息。因为虚拟现实设备中已经储存有用户所设置或选择的点击事件命令，此时用户佩戴上虚拟现实设备，命令判断单元可以判断用户激发的点击事件命令，显示单元可以显示用户激发的点击事件命令相应的交互响应，从而用户可以感受到Unity软件中所设置或选择的点击事件命令在眼前所给出的相应的点击事件命令交互响应，进而可以获取信息载体上的相应信息。附图说明图1是本专利技术提供的一种全景视频信息交互方法流程图。图2是本专利技术提供的一种全景视频信息交互系统结构图。图3是本专利技术提供的一种全景视频信息交互应用场景图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步的详细描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域的普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术提供的一种全景视频信息交互方法流程图，该方法步骤包括：步骤S101：用户上传全景视频；步骤S102：采用OpenGL技术结合曲面函数、球面函数计算球体内表面的曲率，把全景视频绘制到球体内表面；步骤S103：将使用曲面函数、球面函数构造且完全适配球体内表面弧度的内嵌模块框选全景视频中的待框选运动目标；步骤S104：采用TLD算法将内嵌模块与已框选运动目标进行像素匹配，于视频每一帧中判断已框选运动目标像素位置，实现内嵌模块对已框选运动目标的实时跟踪；步骤S105：于内嵌模块中设置或选择点击事件命令；步骤S106：将资源打包成APK映射到虚拟现实设备中；步骤S107：激活点击事件命令，针对点击事件命令做出相本文档来自技高网...

【技术保护点】
一种全景视频信息交互方法，其特征在于，该方法步骤包括：步骤一：用户上传全景视频；步骤二：采用OpenGL技术结合曲面函数、球面函数计算球体内表面的曲率，把所述全景视频绘制到球体内表面；步骤三：将使用曲面函数、球面函数构造且完全适配所述球体内表面弧度的内嵌模块框选所述全景视频中的待框选运动目标；步骤四：采用TLD算法将所述内嵌模块与已框选的所述运动目标进行像素匹配，于视频每一帧中判断已框选所述运动目标像素位置，实现所述内嵌模块对已框选所述运动目标的实时跟踪；步骤五：于所述内嵌模块中设置或选择点击事件命令；步骤六：将资源打包成APK映射到虚拟现实设备中；步骤七：激活所述点击事件命令，针对所述点击事件命令做出相应交互响应。

【技术特征摘要】
1.一种全景视频信息交互方法，其特征在于，该方法步骤包括：步骤一：用户上传全景视频；步骤二：采用OpenGL技术结合曲面函数、球面函数计算球体内表面的曲率，把所述全景视频绘制到球体内表面；步骤三：将使用曲面函数、球面函数构造且完全适配所述球体内表面弧度的内嵌模块框选所述全景视频中的待框选运动目标；步骤四：采用TLD算法将所述内嵌模块与已框选的所述运动目标进行像素匹配，于视频每一帧中判断已框选所述运动目标像素位置，实现所述内嵌模块对已框选所述运动目标的实时跟踪；步骤五：于所述内嵌模块中设置或选择点击事件命令；步骤六：将资源打包成APK映射到虚拟现实设备中；步骤七：激活所述点击事件命令，针对所述点击事件命令做出相应交互响应。2.根据权利要求1所述的全景视频信息交互方法，其特征在于，所述步骤一至步骤五中的任一步骤均可进行于3D建模软件或浏览器中。3.根据权利要求2所述的全景视频信息交互方法，其特征在于，所述3D建模软件包括Unity软件。4.根据权利要求1所述的全景视频信息交互方法，其特征在于，所述将APK映射到虚拟现实设备中的方法包括使用数据线直接传输。5.根据权利要求1所述的全景视频信息交互方法，其特征在于，所述将APK映射到虚拟现实设备中的方法包括链接到包含所述APK...

【专利技术属性】
技术研发人员：杨浩，代小林，
申请(专利权)人：四川赞星科技有限公司，
类型：发明
国别省市：四川,51