一种虚拟现实领域多媒体呈现和交互的方法技术

本发明专利技术公开了一种虚拟现实领域多媒体呈现和交互的方法，属于虚拟现实技术领域，该方法包括以下步骤：步骤一、定义虚拟现实中多媒体元素的类型和属性；步骤二、定义多媒体元素在虚拟现实全景3D空间的呈现方式和实现脚本；步骤三、确定用户与虚拟现实中多媒体元素的交互；步骤四、记录和分析交互中用户的行为数据。该方法使内容创作者可以自由定义多媒体元素，包括视频、图像、声音、文字等，以及在全景3D空间的方向、距离、大小、运动轨迹和生命周期等，还能记录用户的行为数据，用于大数据分析；同时用户可以自由选择观看的方向，并与多媒体元素进行交互。

【技术实现步骤摘要】

本专利技术涉及虚拟现实
，特别涉及一种虚拟现实应用中多媒体的呈现和交互方法。
技术介绍
虚拟现实技术(Virtual Reality，简称VR)是一种可以创建和体验虚拟世界的计算机仿真系统。该仿真系统利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该模拟环境中。虚拟现实技术是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术和网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术主要包括模拟环境、动作、感知和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体全景图像和声音。感知是指理想的VR应该具有一切人所具有的感知，除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知。动作是指人的头部转动、眼睛的动作、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指虚拟现实交互设备，比如带头部跟踪的显示设备或者只是一部带头部跟踪传感器的立体声耳机。实现头部跟踪也有多种方法，比较常见的是使用多种传感器。运动传感器套件通常包括加速度计、陀螺仪和磁力传感器。在运动跟踪和绝对方向方面每种传感器都有自己固有的强项和弱点。因此常用做法是采用传感器“融合”(sensor fusion)，将来自各传感器的信号组合在一起，产生一个更加精确的运动检测结果。多媒体(Multimedia)是多种媒体的综合，一般包括文本、声音和图像等多种媒体形式。在计算机系统中，多媒体指组合两种或两种以上媒体的一种人机交互式信息交流和传播媒体。使用的媒体包括文字、图片、照片、声音、动画和影片，以及程序所提供的互动功能。在虚拟现实领域，由于用户置身于一个360度全景3D空间，多媒体的呈现和交互方式相比传统方法会有很大的不同。现有技术中，针对多媒体的呈现的研究较多，而对多媒体的交互方式研究不足，导致用户与多媒体元素进行交互的过程不够顺畅，影响用户的使用体验。另外，现有技术普遍忽视了用户在虚拟现实空间与多媒体元素交互时的行为数据所包含的信息的价值，没有充分利用这些交互时的行为数据，不利于对用户的个性化特征进行分析。有鉴于此，在虚拟现实领域需要一种多媒体呈现和交互标准的解决方案。
技术实现思路
本专利技术的目的在于提供一种应用于虚拟现实领域的多媒体呈现和交互方法。为实现上述目的，本专利技术所述的虚拟现实领域多媒体呈现和交互的方法包括以下步骤：步骤一、定义虚拟现实中多媒体元素的类型和属性；步骤二、定义多媒体元素在虚拟现实全景3D空间的呈现方式和实现脚本；步骤三、确定用户与虚拟现实中多媒体元素的交互；步骤四、记录和分析交互中用户的行为数据。步骤一中所述的虚拟现实中多媒体元素的类型包括视频、图像、声音、模型、文字或弹幕；其中视频包括主线索视频、分支剧情视频或画中画视频；图像包括海报图片、场景中提示图片或商品图片；声音包括全景3D音乐、音效或提示语音；模型包括添加到场景中的电脑图形3D模型；文字包括字幕、场景中的提示文字或商品介绍文字；弹幕为用户在互动中的评论，包括文字弹幕或语音弹幕。步骤一中所述的虚拟现实中多媒体元素的属性包括：元素的唯一标识、元素的存储路径、元素的名称、元素的类型、元素的距离、元素的大小、元素的水平角方位、元素的仰角方位、元素生命周期起点、元素生命周期终点或元素是否需要被触发启动。步骤二中所述的多媒体元素在虚拟现实全景3D空间的呈现方式由所述的多媒体元素的属性决定，通过程序对其属性的数据做解析，从而确定多媒体元素在场景中出现的时间、位置或大小。步骤二中所述的实现脚本采用json格式或xml格式。步骤二中所述的实现脚本定义了元素的距离和元素的大小这两个属性，对于图片来说，元素的大小定义了图片的原始大小，元素的距离定义了图片的距离远近；对于声音来说，元素的大小定义了声源的面积，元素的距离定义了声源的距离，声音的音量与声源的距离的平方成反比。步骤二中所述的实现脚本定义了元素的水平角方位和元素的仰角方位，对于图片，通过openGL渲染到全景3D可视空间里；对于声音，通过HRTF技术渲染到全景3D声场空间里。步骤二中所述的实现脚本还定义了元素的生命周期起点和生命周期终点，对于图片，元素的生命周期起点是指图像开始显示；元素的生命周期终点是指图像终止显示；对于声音，元素的生命周期起点是指声音开始播放，元素的生命周期终点是指声音终止播放。步骤二中所述的实现脚本定义了元素是否需要被触发启动，需要被触发启动的多媒体元素为可交互元素；步骤三中所述的用户与虚拟现实中多媒体元素的交互包括用户触发启动可交互元素，从而使可交互元素在其生命周期内得以呈现。所述的触发包括蓝牙手柄触发、语音触发、手势触发、眼球触发和凝视触发；触发的一个必要条件是用户的视线在触发区域内；所述的触发区域是由可交互元素在全景3D空间中覆盖的范围决定的；通过程序来确定用户视线与触发区域是否相交；然后用户通过触发蓝牙手柄触发器，或者语音指令，或者通过手势识别技术，或者通过眼球追踪技术，或者通过凝视一定时间来触发启动可交互元素，从而使可交互元素在其生命周期内得以呈现；其中手势识别技术包括利用光学追踪、传感器追踪或者光学追踪与传感器追踪结合的方式。步骤四中所述的记录和分析交互中用户的行为数据包括以下步骤：首先记录用户在整个交互过程中头部或除了头部以外的可动身体部位的位置和角度；通过每个时间点头部或除了头部以外的可动身体部位的位置和角度，分析场景中各个多媒体元素的位置，得出用户感兴趣的区域和多媒体元素；然后记录用户在交互过程中触发的多媒体元素；用户的行为数据根据脚本预先的定义记录在指定的数据库中用于分析或结算。本专利技术具有如下优点：本专利技术所述的虚拟现实领域多媒体呈现和交互的方法与现有技术相比，使内容创作者可以自由定义多媒体元素，包括视频、图像、声音、文字等，以及在全景3D空间的方向、距离、大小、运动轨迹和生命周期等，还能记录用户的行为数据，用于大数据分析。同时用户可以自由选择观看的方向，并与多媒体元素进行交互。附图说明图1是本专利技术所述的虚拟现实领域多媒体呈现和交互的方法的流程框图。具体实施方式以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。如图1所示，本专利技术所述的虚拟现实领域多媒体呈现和交互的方法包括以下步骤：步骤一、定义虚拟现实中多媒体元素的类型和属性；步骤二、定义多媒体元素在虚拟现实全景3D空间的呈现方式和实现脚本；步骤三、确定用户与虚拟现实中多媒体元素的交互；步骤四、记录和分析交互中用户的行为数据。步骤一中所述的虚拟现实中多媒体元素的类型包括视频、图像、声音、模型、文字或弹幕等；其中视频包括主线索视频、分支剧情视频或画中画视频等；图像包括海报图片、场景中提示图片或商品图片等；声音包括全景3D音乐、音效或提示语音等；模型主要指添加到场景中的电脑图形(CG，Computer Graphics)3D模型；文字指字幕、场景中的提示文字或商品介绍文字等(2D文字，3D文字)；弹幕指用户在互动中的一些评论，可以是文字弹幕，也可以是语音弹幕(包括固定弹幕、实时弹幕)。步骤一中所述的虚拟现实中多媒体元素的属性包括：ID：元本文档来自技高网...

【技术保护点】
一种虚拟现实领域多媒体呈现和交互的方法，其特征在于，所述方法包括以下步骤：步骤一、定义虚拟现实中多媒体元素的类型和属性；步骤二、定义多媒体元素在虚拟现实全景3D空间的呈现方式和实现脚本；步骤三、确定用户与虚拟现实中多媒体元素的交互；步骤四、记录和分析交互中用户的行为数据。

【技术特征摘要】
1.一种虚拟现实领域多媒体呈现和交互的方法，其特征在于，所述方法包括以下步骤：步骤一、定义虚拟现实中多媒体元素的类型和属性；步骤二、定义多媒体元素在虚拟现实全景3D空间的呈现方式和实现脚本；步骤三、确定用户与虚拟现实中多媒体元素的交互；步骤四、记录和分析交互中用户的行为数据。2.如权利要求1所述的方法，其特征在于，步骤一中所述的虚拟现实中多媒体元素的类型包括视频、图像、声音、模型、文字或弹幕；其中视频包括主线索视频、分支剧情视频或画中画视频；图像包括海报图片、场景中提示图片或商品图片；声音包括全景3D音乐、音效或提示语音；模型包括添加到场景中的电脑图形3D模型；文字包括字幕、场景中的提示文字或商品介绍文字；弹幕为用户在互动中的评论，包括文字弹幕或语音弹幕。3.如权利要求2所述的方法，其特征在于，步骤一中所述的虚拟现实中多媒体元素的属性包括：元素的唯一标识、元素的存储路径、元素的名称、元素的类型、元素的距离、元素的大小、元素的水平角方位、元素的仰角方位、元素生命周期起点、元素生命周期终点或元素是否需要被触发启动。4.如权利要求3所述的方法，其特征在于，步骤二中所述的多媒体元素在虚拟现实全景3D空间的呈现方式由所述的多媒体元素的属性决定，通过程序对其属性的数据做解析，从而确定多媒体元素在场景中出现的时间、位置或大小。5.如权利要求4所述的方法，其特征在于，步骤二中所述的实现脚本采用json格式或xml格式。6.如权利要求5所述的方法，其特征在于，步骤二中所述的实现脚本定义了元素的距离和元素的大小两个属性，对于图片来说，元素的大小定义了图片的原始大小，元素的距离定义了图片的距离远近；对于声音来说，元素的大小定义了声源的面积，元素的距离定义了声源的距离，声音的音量与声源的距离的平方成反比。7.如权利要求6所述的方法，其特征在于，步骤二...

【专利技术属性】
技术研发人员：张晨，孙学京，刘恩，李旭阳，
申请(专利权)人：北京时代拓灵科技有限公司，
类型：发明
国别省市：北京;11