一种基于虚拟现实的文物交互系统及操作方法技术方案

本发明专利技术公开了一种基于虚拟现实的文物交互系统及操作方法，该系统包括摄像头和人机交互模块。摄像头将采集到的视频信息传输至人机交互模块，人机交互模块对所得到的视频信息进行处理，识别出用户的手势类型，生成控制文物的效果并将结果通过VR显示单元显示出来。该系统摒弃现有博物馆交互系统对情境的大力渲染，将人机交互技术应用于博物馆文物，实现了人与文物的互动，包括人控制文物进行放大、缩小等操作，也包括人主动去了解文物的相关历史知识等；同时系统将手势识别技术与虚拟现实技术结合，并集成为可以携带的一体机，改变了传统的博物馆排队游览模式，极大的方便了个人用户使用。

【技术实现步骤摘要】
一种基于虚拟现实的文物交互系统及操作方法
本专利技术属于人机交互
，具体涉及一种基于虚拟现实的文物交互系统及操作方法。
技术介绍
现今博物馆普遍存在一种现象：历史文物资料记载虽然完备，但人们在游览的时候却无法进行翻阅了解；历史文物放在展柜进行展览的模式，让人与历史文物之间产生一种很强的距离感，这让人们直观了解文物历史存在困难。上述问题一直未得到很好的解决，同时，新兴的科技博物馆却因其互动性强、科技色彩浓厚，吸引了越来越多的人，人们发现在人机互动的情况下，不但可以真正把自己融入进去了解知识，还不会产生传统历史博物馆带来的隔阂感。目前人们提出的方案，一种是对博物馆文物进行三维成像，给用户展现虚拟场景；一种是将博物馆文物信息进行数字化展示，将文物等形成图文知识展现给用户；这些方案要么专注于用户的体验效果，以渲染场景气氛为主旋律，偏离文物主体；要么罗列文物知识，毫无互动感，无法引起人们共鸣。人们对文物本身的专注是当今博物馆交互系统未能满足的，博物馆的真正意义是呈现历史，解决人们无法近距离接触历史文物的问题才是我们提出本文物交互系统的出发点。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供了一种基于虚拟现实的文物交互系统及操作方法，解决人们无法近距离接触历史文物的问题。本专利技术采用以下技术方案：一种基于虚拟现实的文物交互系统，包括摄像头、人机交互单元和显示单元，所述摄像头设置在所述人机交互单元的下部，用于采集用户的手势动作，所述人机交互单元包括手势识别单元和效果匹配单元，所述手势识别单元用于识别人体的手势动作并发送给所述效果匹配单元，所述效果匹配单元根据所述手势动作生成控制效果，对文物进行虚拟控制并将结果传输至所述显示单元。进一步的，所述手势识别单元包括数据预处理单元和预测单元，所述数据预处理单元将所述摄像头采集的手势动作视频数据进行处理后发送给所述预测单元，所述预测单元接收处理后的所述视频数据进行手势预测。进一步的，所述显示单元采用头戴式VR眼镜。进一步的，所述摄像头、人机交互单元与所述VR眼镜为一体式结构。一种基于虚拟现实的文物交互系统的控制方法，包括以下步骤：S1、摄像头采集用户的手势动作视频数据，并将视频数据传输至人机交互单元；S2、数据预处理单元对所述视频数据进行预处理，再将处理过的数据送入预测单元进行手势判断；S3、效果匹配单元根据预测的所述手势类型匹配对应的控制效果，使文物产生相应变化效果；S4、将步骤S3产生的效果传输至显示单元并以虚拟现实的方式呈现文物变化效果。进一步的，步骤S2中，采用深度递归神经网络进行手势识别，使用预先标定好的手势视频集当作训练数据进行网络参数训练，然后将训练好的网络模型和参数保存至预测单元；在进行实际使用时，数据预处理单元首先对摄像头传来的视频按帧取数据，进行去噪和下采样处理，再将处理过的数据送入预测单元，预测单元使用预训练好的模型和参数进行手势预测，从而识别出当前手势类型。进一步的，所述控制效果包括放大效果、缩小效果、旋转效果，查看内部结构效果，浏览历史记载效果和文物制作流程效果。与现有技术相比，本专利技术至少具有以下有益效果：本专利技术一种基于虚拟现实的文物交互系统，通过在人机交互单元上设置摄像头实时采集用户的视频数据，经过手势识别和效果匹配后，将结果传输至显示单元对文物进行虚拟控制实现交互，将当下最流行的手势识别技术与虚拟现实技术结合起来，提供了一种更加具有“沉浸式”的用户体验。进一步的，摄像头、人机交互单元和显示单元为一体机式结构，用户无需其余设备即可使用，易于携带、操作简单、设备价格低廉，方便个人用户使用。本专利技术还提供一种基于虚拟现实的文物交互系统的控制方法，以文物为主体，通过人机交互单元和显示单元，让用户通过控制文物模型看到文物细节，了解历史知识，又不失娱乐性，通过深度递归神经网络的方式实现手势识别，使得手势识别的抗干扰性得到很大提高，通过深度网络的训练改善了复杂环境下的识别率。进一步的，预测单元通过调用提前训练好的网络模型和参数对视频流数据进行处理，可以直接得到视频中手势类别。流程简单，预测准确率高进一步的，本专利技术围绕现有博物馆存在的问题，摒弃现有的博物馆交互系统注重历史情境渲染、单一罗列历史知识等问题，让用户对历史文物进行深入了解，易于推广使用。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。【附图说明】图1为本专利技术的整体结构框图；图2为本专利技术的工作流程图；图3为本专利技术的用户使用示意图。其中：100.摄像头；200.人机交互单元；210.手势识别单元；211.数据预处理单元；212.预测单元；220.效果匹配单元；400.显示单元；300.手势动作。【具体实施方式】请参阅图1和图3所示，本专利技术一种基于虚拟现实的文物交互系统，包括摄像头100，人机交互单元200和显示单元400，所述摄像头100设置在所述人机交互单元200的上部，用于采集用户的手势动作300，所述人机交互单元200包括手势识别单元210和效果匹配单元220，所述手势识别单元210用于识别人体的手势动作并发送给所述效果匹配单元220，所述效果匹配单元220根据所述手势动作生成控制效果，对文物进行虚拟控制并将结果传输至所述显示单元400实现交互。具体的，显示单元400采用头戴式VR眼镜，在用户使用时，戴上VR眼镜后选择文物，根据想要对文物进行的控制做出手势动作，摄像头100首先采集用户手势动作视频数据，接着人机交互单元200便通过一系列数据处理分析预测出用户手势类型，并匹配相应文物效果，最后将结果传输至VR眼镜进行显示，实现虚拟现实下的人与文物交互。其中，人机交互单元200包括手势识别单元210和效果匹配单元220，手势识别单元210包括数据预处理单元211和预测单元212。上述人机交互单元200通过深深度递归神经网络进行手势识别，数据处预理程序2111首先对摄像头传来的视频按帧取数据，进行去噪预处理和下采样处理，再将处理过的数据送入入测单元进行手势预测，从而预测出手势类型。上述人机交互单元200通过效果匹配单元220进行手势动作效果匹配，效果匹配单元能够根据预测的手势类型匹配相应的文物效果，使文物产生相应的变化效果。文物效果包括文物放大效果、文物缩小效果、文物进行旋转效果，查看文物内部结构效果，浏览文物历史记载效果和浏览文物制作流程效果。例如，若判断出用户做出将文物顺时针旋转的手势动作，则将文物进行顺时针旋转，使得用户可以观察到文物另一面。其中，手势动作与文物产生的变化效果一一对应，即包括将文物进行放大、缩小、逆时针旋转、顺时针旋转、查看文物内部结构效果、浏览文物历史记载效果和浏览文物制作流程效果的手势动作。上述人机交互单元200将生成的结果传输至VR眼镜进行显示，以虚拟现实的方式呈现文物效果。需要说明的是，虽然上述将本专利技术的基于虚拟现实的文物交互系统分为三大模块，并细分为各工作单元，但本专利技术将各部分集成设计，所述摄像头100、人机交互单元200与所述VR眼镜为一体式结构，用户使用的为一体机设备。请参阅图2所示，本专利技术还提供一种基于虚拟现实的文物交互系统的控制方法，包括以下步骤：S1、摄像头采集视频数据。用户使用时，首先戴上VR眼镜选择文物本文档来自技高网...

【技术保护点】
一种基于虚拟现实的文物交互系统，其特征在于：包括摄像头(100)、人机交互单元(200)和显示单元(400)，所述摄像头(100)设置在所述人机交互单元(200)的下部，用于采集用户的手势动作(300)，所述人机交互单元(200)包括手势识别单元(210)和效果匹配单元(220)，所述手势识别单元(210)用于识别人体的手势动作并发送给所述效果匹配单元(220)，所述效果匹配单元(220)根据所述手势动作生成控制效果，对文物进行虚拟控制并将结果传输至所述显示单元(400)。

【技术特征摘要】
1.一种基于虚拟现实的文物交互系统，其特征在于：包括摄像头(100)、人机交互单元(200)和显示单元(400)，所述摄像头(100)设置在所述人机交互单元(200)的下部，用于采集用户的手势动作(300)，所述人机交互单元(200)包括手势识别单元(210)和效果匹配单元(220)，所述手势识别单元(210)用于识别人体的手势动作并发送给所述效果匹配单元(220)，所述效果匹配单元(220)根据所述手势动作生成控制效果，对文物进行虚拟控制并将结果传输至所述显示单元(400)。2.根据权利要求1所述的一种基于虚拟现实的文物交互系统，其特征在于：所述手势识别单元(210)包括数据预处理单元(211)和预测单元(212)，所述数据预处理单元(211)将所述摄像头(100)采集的手势动作视频数据进行处理后发送给所述预测单元(212)，所述预测单元(212)接收处理后的所述视频数据进行手势预测。3.根据权利要求1所述的一种基于虚拟现实的文物交互系统，其特征在于：所述显示单元(400)采用头戴式VR眼镜。4.根据权利要求3所述的一种基于虚拟现实的文物交互系统，其特征在于：所述摄像头(100)、人机交互单元(200)与所述...

【专利技术属性】
技术研发人员：孙其功，焦李成，王浩然，张丹，李秀芳，马文萍，马晶晶，杨淑媛，侯彪，王爽，张向荣，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61