一种用手与手机AR虚拟物体交互的设备和方法技术

本发明专利技术涉及信息技术领域，特别涉及一种用手与手机AR虚拟物体交互的设备和方法，包括手机以及与手机配套的手势追踪装置，所述手势追踪装置设置于手机背面，手势追踪装置与手机通讯连接；所述手机包括能支持ARCore技术的安卓系统，手机安装有与手势追踪装置匹配的ARCore手机app；所述手势追踪装置包括软件API，用于在工作范围内捕捉用户的手的动作、手的位置以及手的位移数据信息，并将这些数据信息实时传送到ARCore手机app中；手机的显示屏用于显示AR场景。与现有技术相比，本发明专利技术的用手与手机AR虚拟物体交互的设备和方法可以在手机AR场景中直接用手去触碰3D物体模型，抓取3D物体模型，用手去和3D物体模型做交互，更加真实、自然，使手机AR体验的沉浸感更强。

【技术实现步骤摘要】
一种用手与手机AR虚拟物体交互的设备和方法
本专利技术涉及信息
，特别涉及一种用手与手机AR虚拟物体交互的设备和方法。
技术介绍
目前的手机AR是用户通过点击手机屏幕来和场景中的3D模型互动，AR场景是三维的，但通过手机屏幕进行互动还是二维的，会造成用户体验不够真实，沉浸感差的问题。
技术实现思路
为了克服上述问题，本专利技术提出一种可有效解决上述问题的用手与手机AR虚拟物体交互的设备和方法。本专利技术解决上述技术问题提供的一种技术方案是：提供一种用手与手机AR虚拟物体交互的设备，包括手机以及与手机配套的手势追踪装置，所述手势追踪装置设置于手机背面，手势追踪装置与手机通讯连接；所述手机包括能支持ARCore技术的安卓系统，手机安装有与手势追踪装置匹配的ARCore手机app；所述手势追踪装置包括软件API，用于在工作范围内捕捉用户的手的动作、手的位置以及手的位移数据信息，并将这些数据信息实时传送到ARCore手机app中；手机的显示屏用于显示AR场景。优选地，一种用手与手机AR虚拟物体交互的方法，包括如下步骤：步骤S1：在3D建模软件中，建立好用于交互的3D物体模型；步骤S2：在3D建模软件中，建立好带有骨骼的、完全仿照人类双手的3D动作模型；步骤S3：将建立好的用于交互的3D物体模型和仿照人类双手的3D动作模型导入Unity软件中；步骤S4：给导入的用于交互的3D物体模型套上第一碰撞体，给导入的仿照人类双手的3D动作模型套上第二碰撞体；步骤S5：在手机背面的手势追踪装置工作范围内进行手的移动和操作，软件API将手势追踪装置获取的手的动作、手的位置和手的位移数据信息赋予仿照人类双手的3D动作模型，3D动作模型就能实时跟随用户手的动作和位移，在AR场景中移动和做动作；步骤S6：在交互过程中，3D物体模型上的第一碰撞体和3D动作模型上的第二碰撞体发生重叠，产生交互逻辑操作指令，根据操作指令进行对3D物体模型的操作，完成交互过程。优选地，所述步骤S6中，所述交互逻辑通过编程语言实现。优选地，所述步骤S6中，所述操作指令包括变色指令、发声指令、抓取指令、松放指令。优选地，所述抓取指令产生后，将用户手的位置和位移数据信息赋予被抓取的3D物体模型，则3D物体模型就会跟着用户的手在AR场景中移动。优选地，所述松放指令产生后，被抓取的3D物体模型将不再接收用户手的位置和位移数据信息，并保持固定位置不动。与现有技术相比，本专利技术的用手与手机AR虚拟物体交互的设备和方法可以在手机AR场景中让用户像在现实生活中一样，直接用手去触碰3D物体模型，抓取3D物体模型，用手去和3D物体模型做交互，比起传统点击手机屏幕的交互方式，这种交互方式更加真实、自然，使手机AR体验的沉浸感更强；以此为基础，还能创造出更多富有创造性和革命性的交互，如投掷物体，接投掷物等等，使AR应用更有趣，对开拓AR市场有十分积极的作用。【具体实施方式】为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施实例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。另外，在本专利技术中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本专利技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本专利技术的一种用手与手机AR虚拟物体交互的设备，包括手机以及与手机配套的手势追踪装置，所述手势追踪装置设置于手机背面，手势追踪装置与手机通讯连接。所述手机包括能支持ARCore技术的安卓系统，手机安装有与手势追踪装置匹配的ARCore手机app；所述手势追踪装置包括软件API，用于在工作范围内捕捉用户的手的动作、手的位置以及手的位移数据信息，并将这些数据信息实时传送到ARCore手机app中。手机的显示屏用于显示AR场景。一种用手与手机AR虚拟物体交互的方法，包括如下步骤：步骤S1：在3D建模软件中，建立好用于交互的3D物体模型；步骤S2：在3D建模软件中，建立好带有骨骼的、完全仿照人类双手的3D动作模型；步骤S3：将建立好的用于交互的3D物体模型和仿照人类双手的3D动作模型导入Unity软件中；步骤S4：给导入的用于交互的3D物体模型套上第一碰撞体，给导入的仿照人类双手的3D动作模型套上第二碰撞体；步骤S5：在手机背面的手势追踪装置工作范围内进行手的移动和操作，软件API将手势追踪装置获取的手的动作、手的位置和手的位移数据信息赋予仿照人类双手的3D动作模型，3D动作模型就能实时跟随用户手的动作和位移，在AR场景中移动和做动作；步骤S6：在交互过程中，3D物体模型上的第一碰撞体和3D动作模型上的第二碰撞体发生重叠，产生交互逻辑操作指令，根据操作指令进行对3D物体模型的操作，完成交互过程。所述步骤S6中，交互逻辑通过编程语言实现，所述操作指令包括变色指令、发声指令、抓取指令、松放指令。抓取指令产生后，将用户手的位置和位移数据信息赋予被抓取的3D物体模型，则3D物体模型就会跟着用户的手在AR场景中移动，模拟出了现实世界中，人手抓取3D物体模型的互动。松放指令产生后，被抓取的3D物体模型将不再接收用户手的位置和位移数据信息，并保持固定位置不动，这样就完整的完成了一个从抓取3D物体模型，到放下3D物体模型的互动。与现有技术相比，本专利技术的用手与手机AR虚拟物体交互的设备和方法可以在手机AR场景中让用户像在现实生活中一样，直接用手去触碰3D物体模型，抓取3D物体模型，用手去和3D物体模型做交互，比起传统点击手机屏幕的交互方式，这种交互方式更加真实、自然，使手机AR体验的沉浸感更强；以此为基础，还能创造出更多富有创造性和革命性的交互，如投掷物体，接投掷物等等，使AR应用更有趣，对开拓AR市场有十分积极的作用。以上所述仅为本专利技术的较佳实施例，并非因此限制本专利技术的专利范围，凡是在本专利技术的构思之内所作的任何修改，等同替换和改进等均应包含在本专利技术的专利保护范围内。本文档来自技高网...

【技术保护点】
1.一种用手与手机AR虚拟物体交互的设备，其特征在于，包括手机以及与手机配套的手势追踪装置，所述手势追踪装置设置于手机背面，手势追踪装置与手机通讯连接；所述手机包括能支持ARCore技术的安卓系统，手机安装有与手势追踪装置匹配的ARCore手机app；所述手势追踪装置包括软件API，用于在工作范围内捕捉用户的手的动作、手的位置以及手的位移数据信息，并将这些数据信息实时传送到ARCore手机app中；手机的显示屏用于显示AR场景。

【技术特征摘要】
1.一种用手与手机AR虚拟物体交互的设备，其特征在于，包括手机以及与手机配套的手势追踪装置，所述手势追踪装置设置于手机背面，手势追踪装置与手机通讯连接；所述手机包括能支持ARCore技术的安卓系统，手机安装有与手势追踪装置匹配的ARCore手机app；所述手势追踪装置包括软件API，用于在工作范围内捕捉用户的手的动作、手的位置以及手的位移数据信息，并将这些数据信息实时传送到ARCore手机app中；手机的显示屏用于显示AR场景。2.一种用手与手机AR虚拟物体交互的方法，其特征在于，包括如下步骤：步骤S1：在3D建模软件中，建立好用于交互的3D物体模型；步骤S2：在3D建模软件中，建立好带有骨骼的、完全仿照人类双手的3D动作模型；步骤S3：将建立好的用于交互的3D物体模型和仿照人类双手的3D动作模型导入Unity软件中；步骤S4：给导入的用于交互的3D物体模型套上第一碰撞体，给导入的仿照人类双手的3D动作模型套上第二碰撞体；步骤S5：在手机背面的手势追踪装置工作范围内进行手的移动和操作，软件API将手势追踪...

【专利技术属性】
技术研发人员：章书剑，李强，
申请(专利权)人：深圳仓谷创新软件有限公司，
类型：发明
国别省市：广东,44