【技术实现步骤摘要】
本专利技术涉及增强现实和智慧博物馆，特别涉及一种博物馆文物ar交互方法、系统、设备与存储介质。
技术介绍
1、增强现实技术是一种旨在将数字化信息资源添加在真实的物理世界中的技术(下文统称ar技术)，以全新的方式增强人类的感知和认知。随着移动信息技术和智能设备的高速发展，近些年ar技术被广泛应用各领域，ar技术拥有实时交互、虚实结合、娱乐性强等优势，可以为用户带来更真实的体验。
2、从20世纪80年代开始，国家博物馆的数字化工作启动，开始进入信息化、数字化、智慧化等过程。目前国内博物馆纷纷开启智慧博物馆的建设，其中包括智慧化管理、智慧化保护以及智慧化服务等等。在内容展示服务中，大多数博物馆采用ar技术手段，将资源进行动态化展示，让用户可以清晰地观看到文物的高精度三维模型并与之进行交互，由此可见，ar是当前以及未来文物数字化展示、博物馆智慧化建设的主要技术手段。
3、2018年，华盛顿特区的大屠杀纪念博物馆展示了一款ar应用程序，使用ar的方式来描述eisiskes镇民的生活；张少博等提出了一种基于物体6d姿态估计算法的增强现实博物馆展示系统，能够满足ar应用的及时性需求，有效提高了用户与文物的交互方式。
4、但是现有博物馆在通过ar技术对文物进行展示时，只是纯粹的将文物进行虚拟展示，描述文物的大体外况，且在场景在现中对虚拟的文物随意放置，导致展览过程中与空间场景融合不能统一，造成ar展览方式单一且不真实，导致参观者的观感不佳，不利于我国农业文明的传承。
技术实现思路<
1、本专利技术的目的在于针对上述现有技术的不足，提供一种博物馆文物ar交互方法、系统、设备与存储介质，以解决现有技术中在场景在现中对虚拟的文物随意放置，导致展览过程中与空间场景融合不能统一，造成ar展览方式单一且不真实，导致参观者的观感不佳的问题。
2、本专利技术具体提供如下技术方案：一种博物馆文物ar交互方法，包括如下步骤：
3、采集博物馆中的各类文物图像信息，根据各类所述文物图像信息进行三维重建获得虚拟文物模型；
4、用户端获取博物馆中的文物照片后，调取与所述文物照片对应的虚拟文物模型；通过用户端实时采集现实场景，识别现实场景平面，并将所述虚拟文物模型摆放在所述现实场景平面上，进行ar摆放；
5、通过用户手部与ar摆放后的虚拟文物模型进行各类手势交互；
6、用户端获取用户手部关键点信息，识别用户手部姿态信息，并通过用户端显示出对应手势与所述虚拟文物模型的交互信息。
7、优选的，所述采集博物馆中的各类文物图像信息，根据各类所述文物图像信息进行三维重建获得虚拟文物模型，包括如下步骤：
8、从博物馆展厅中获取多个文物，使用拍摄设备对多个所述文物进行不同维度拍摄，获得每个文物的概况图；
9、使用测距app对展柜内的文物进行测量，获得每个文物相关的长、宽、高结构数据；
10、将每个所述文物的概况图和测量后的结构数据输入建模软件，对所述文物进行三维重建，获得虚拟文物模型并以obj格式导出；
11、使用格式转换工具，将obj格式的所述虚拟文物模型均转换为gltf格式，创建文物数字资源库；
12、将所述文物数字资源库中作为ar识别的文物图像和虚拟文物模型存储在云服务器中。
13、优选的，所述调取与所述文物照片对应的虚拟文物模型，包括ar图像识别和ar路标识别，具体包括如下步骤：
14、所述ar图像识别包括如下步骤：
15、创建ar图像识别组件，根据微信小程序xr-frame框架，设置图像识别模式，设置场景灯光和相机跟随基础设置；
16、将所述文物数字资源库中的文物图片，作为ar识别的图像来源；
17、使用用户端扫描文物图片之后，出现对应文物的虚拟文物模型，并通过用户端对虚拟文物模型进行放缩和旋转控制；
18、所述ar路标识别包括如下步骤：
19、创建ar路标识别组件，根据微信小程序xr-frame框架，设置osd识别模式，设置场景灯光和拍摄设备跟随设置；
20、将博物馆中路标的现实照片作为特征识别源，同时添加子节点位置信息；
21、扫描博物馆的具体路标进行ar识别，并显示出ar指示信息。
22、优选的，所述通过用户端对虚拟文物模型进行放缩和旋转控制，包括如下步骤：
23、通过event.touches.length判定是单指操作还是双指操作；
24、若判定为单指操作，则在单指操作时旋转虚拟文物模型，具体操作包括如下步骤：
25、获取当前画布信息width和height，确定旋转半径r，其中求解公式如下：
26、
27、获取上次触发事件的点击位置startx和手指当前点击位置x，将旋转速度rspeed设为固定值，并根据旋转半径，设置x方向上的角度变化差值θ，其中求解公式如下：
28、
29、以上述同样方式获取y方向上的角度变化差值，根据x和y方向上的角度变化确定虚拟文物模型的旋转结果；
30、若判定为双指操作，则在双指操作时放缩虚拟文物模型，具体操作包括如下步骤：
31、获取当前双指在x方向上和y方向上的位置信息，并计算两指在x方向上和y方向上的差值，计算双指之间的距离dis，求解公式如下：
32、
33、获取上一次缩放事件发生时两指之间的距离startdis，计算缩放比例s，求解公式如下：
34、s＝(dis-startdis)×p+q
35、其中p和q为缩放参数，用于将距离差值转换为缩放比例；
36、将虚拟文物模型x、y和z方向上的模型数值与缩放比例相乘，完成缩放。
37、优选的，将所述虚拟文物模型摆放在所述现实场景平面上，进行ar摆放，包括如下步骤：
38、使用webrtc获取博物馆的现实场景视频流，并使用ffmpeg对采集的视频进行关键帧提取；
39、规定包围所有关键帧的空间为fi，采用2d cnn提取关键帧中的图像特征；
40、将图像特征反投影到fi中，获取体素特征以及三维特征体；
41、使用平均池化聚合来自不同关键帧中的相同体素的特征；
42、使用3d稀疏卷积处理三维特征体，构建三维稀疏特征体，确定属于平面的体素占用情况；
43、根据三维稀疏特征体，提取属于平面体素的法线参数和平面偏移量；
44、计算平面的体素中心与质心的位移，将体素中心移至平面质心；
45、使用mean-shift聚类算法确定体素中心移至平面质心后最终的平面参数；
46、将虚拟文物模型放置在检测到的平面上，进行ar摆放。
47、优选的，所述用户端获取用户手部关键点信息，识别用户手部姿态信息，并通过用户端显示出对应手势本文档来自技高网...
【技术保护点】
1.一种博物馆文物AR交互方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种博物馆文物AR交互方法，其特征在于，所述采集博物馆中的各类文物图像信息，根据各类所述文物图像信息进行三维重建获得虚拟文物模型，包括如下步骤：
3.如权利要求1所述的一种博物馆文物AR交互方法，其特征在于，所述调取与所述文物照片对应的虚拟文物模型，包括AR图像识别和AR路标识别，具体包括如下步骤：
4.如权利要求3所述的一种博物馆文物AR交互方法，其特征在于，所述通过用户端对虚拟文物模型进行放缩和旋转控制，包括如下步骤：
5.如权利要求1所述的一种博物馆文物AR交互方法，其特征在于，将所述虚拟文物模型摆放在所述现实场景平面上，进行AR摆放，包括如下步骤：
6.如权利要求1所述的一种博物馆文物AR交互方法，其特征在于，所述用户端获取用户手部关键点信息，识别用户手部姿态信息，并通过用户端显示出对应手势与所述虚拟文物模型的交互信息，包括如下步骤：
7.如权利要求2所述的一种博物馆文物AR交互方法，其特征在于，还包括使用用户端与云服务
8.一种博物馆文物AR交互系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的一种博物馆文物AR交互方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的一种博物馆文物AR交互方法的步骤。
...【技术特征摘要】
1.一种博物馆文物ar交互方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种博物馆文物ar交互方法，其特征在于，所述采集博物馆中的各类文物图像信息，根据各类所述文物图像信息进行三维重建获得虚拟文物模型，包括如下步骤：
3.如权利要求1所述的一种博物馆文物ar交互方法，其特征在于，所述调取与所述文物照片对应的虚拟文物模型，包括ar图像识别和ar路标识别，具体包括如下步骤：
4.如权利要求3所述的一种博物馆文物ar交互方法，其特征在于，所述通过用户端对虚拟文物模型进行放缩和旋转控制，包括如下步骤：
5.如权利要求1所述的一种博物馆文物ar交互方法，其特征在于，将所述虚拟文物模型摆放在所述现实场景平面上，进行ar摆放，包括如下步骤：
6.如权利要求1所述的一种博物馆文物ar交...
【专利技术属性】
技术研发人员：王美丽，苗雨露，齐飞翔，李琦蔓，刘寅，魏永平，
申请(专利权)人：西北农林科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。