一种基于Leap Motion的虚拟装配示教方法技术

一种基于Leap Motion的虚拟装配示教方法，先对装配体的零部件进行三维建模并进行正确装配，得到装配体模型，然后进行格式转换，导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型；在Unity3D中进行虚拟装配场景的搭建，进行零部件的装配，再进行手势动作信息的获取与控制视图方法的编写，利用人手的动作信息实现对虚拟零部件的抓取移动以及视图缩放操作，装配者通过观察零部件颜色变化来判断装配状态，最终完成装配；本发明专利技术可以准确的捕捉手部精细动作，实现对界面的控制及零部件的抓取并完成装配，并且将多种格式的零部件或装配体模型通过3dsMax格式转换后，进行虚拟装配，具有一定的通用性。

【技术实现步骤摘要】
一种基于LeapMotion的虚拟装配示教方法
本专利技术涉及虚拟装配
，具体涉及一种基于LeapMotion的虚拟装配示教方法。
技术介绍
随着高等教育和职业技术教育的快速发展，几乎所有工科类院校都设有机械工程相关专业，而机器的构造和拆、装过程是培养机械类人才的重要环节。传统装配、维修课程的培训有着场地和装配器材不足，培训时间和地点的局限性且容易发生安全事故等缺点。而虚拟装配培训系统，能够让更多的学员在真实的装配训练之前进行多次重复的练习，学员可以比较自由的安排自己的时间选择装配课程进行学习，提供一个可供真实操作前的过渡训练所使用的虚拟装配环境。这样可以提高培训质量，降低了经验不足造成的安全隐患，对提高装配培训的效率和质量以及改善该领域教育资源不均衡的现状有着特殊的意义。然而，现有虚拟装配方法大多存在以下不足：首先，多数虚拟装配主要依靠鼠标来控制虚拟手进行装配，不涉及真实手部动作与装配过程的交互，即使某些系统具有动作捕捉器如Kinect等，但其对于手指精细动作的捕捉都不够准确；其次，目前的虚拟装配方法多是针对特定的模型或部件设计和开发，没有考虑到对机械产品的通用性，一旦发生产品结构更改，就需要对装配系统重新进行设计。
技术实现思路
为了克服上述现有技术的缺点，本专利技术的目的在于提供了一种基于LeapMotion的虚拟装配示教方法，可以准确的捕捉手部精细动作，实现对界面的控制及零部件的抓取并完成装配，并且可以将多种格式的零部件或装配体模型通过3dsMax格式转换后，进行虚拟装配，具有一定的通用性。为了达到上述目的，本专利技术是通过以下技术方案实现的：一种基于LeapMotion的虚拟装配示教方法，包括以下步骤：步骤1，对装配体的零部件进行三维建模并进行正确装配，按以下步骤进行：步骤1-1，使用CAD建模软件建立零部件模型，保证零部件的尺寸比例一致，CAD建模软件为Proe或SolidWorks；步骤1-2，利用步骤1-1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型，装配结束后要检查零部件是否发生干涉，若发生干涉则转至步骤1-1，进一步改进装配过程，若未干涉，则进行步骤2；步骤2，对已建立的装配体模型进行格式转换，格式转化软件采用3dsMax软件，将建立好的装配体模型导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型；步骤3，完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建，按以下具体步骤进行：步骤3-1，对虚拟装配场景进行灯光及背景贴图的设计，使界面符合人机工程学的要求；步骤3-2，在虚拟装配场景中加入两组相同的上述三维模型，两组三维模型的区别如下：1)一组作为示范三维模型，用来示范零件正确的装配位置，呈半透明状态，位置固定，没有刚体碰撞属性；2)另一组作为待装配三维模型，与人产生互动，位置不固定，具有刚体碰撞属性，能够和虚拟手模型产生碰撞；步骤3-3，虚拟装配场景中虚拟手模型的建立，包括左右两个，左手模型为半透明状态，用来控制视图的旋转与缩放，右手模型为实体状态，进行装配操作；步骤4，在步骤3搭建的虚拟装配场景中进行零部件的装配，装配方法按以下具体步骤进行：步骤4-1，在计算机显示屏上获取待装配零件在装配体中的正确位置，此过程通过查找步骤3-2中半透明示范三维模型中的相应零件位置获得；步骤4-2，获取待装配零件当前位置与正确位置的距离L，通过改变零件材质颜色提醒装配者零件即将到达指定位置，设定接近距离d1、正确距离d2:1)当L>d1时，零件呈颜色1，即零件还未接近正确位置；2)当d1>L>d2时，零件呈颜色2，即零件已接近正确位置；3)当L<d2时，零件呈颜色3，即判定零件已到达正确位置，零件被吸合到正确位置，且解除零件的碰撞属性以避免手的误碰，完成一次零件的装配；步骤5，手势动作信息的获取与控制视图方法的编写，按以下具体步骤进行：步骤5-1，装配者手势动作信息的获取依靠LeapMotion数据采集器对人手动作的捕捉，LeapMotion数据采集器能够在150度的空间视场范围内同时追踪全部10只手指，并且LeapMotion数据采集器将捕捉的人手动作信息转换为数字信息传输给计算机，以便在计算机中处理，通过计算机显示屏显示，并通过视觉反馈给装配者；步骤5-2，使用基于混合高斯模型下的背景剪除方法获取手部数据，实现对人手动作数据的处理，并将手势动作与虚拟模型手进行绑定，实现真实手部动作与虚拟手势动作的一致同步性；步骤5-3，手势控制视图的具体方法为：1)首先利用相关函数得到人手的旋转数据和手部离原点的距离；2)将旋转数据和距离数据赋予Unity3D中的虚拟摄像机，使虚拟摄像机围绕零件旋转以改变视角，改变虚拟摄像机焦距以改变视场大小，从而实现手势对视图的控制；步骤6，利用步骤5中获得的手部动作信息实现对步骤4虚拟零部件的抓取移动以及视图缩放操作，装配者通过观察零部件颜色变化来判断装配状态，最终完成装配。本专利技术与现有技术相比，显示了如下优越性：1、本专利技术采用LeapMotion的硬件系统，着重于对手掌、手指信息采集，可以实时获取它们的位置、手势和动作，在150度的空间视场范围内可以同时追踪全部10只手指，精度高达0.01毫米，增强了虚拟装配过程的人机交互作用，使装配者获得更好的沉浸感；2、本专利技术通过将零部件或装配体模型通过3dsMax转换成FBX格式，导入Unity3D中，即可实现虚拟装配，具有一定的通用性。附图说明图1是本专利技术的方法流程图。图2是本专利技术的虚拟装配方法流程图。图3是本专利技术硬件连接示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。如图1所示，一种基于LeapMotion的虚拟装配示教方法，包含以下步骤：步骤1，对装配体的零部件进行三维建模并进行正确装配，按以下步骤进行：步骤1-1，零部件三维建模使用市面上任一种常用的CAD建模软件，如Proe、SolidWorks等，通过建立拉伸、回转、凸台、倒角及孔特征，使用拔模、阵列、加强筋等工具，以及使用曲面功能建立零部件模型，保证零部件的尺寸比例一致；步骤1-2，利用步骤1-1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型，装配结束后要检查零部件是否发生干涉，若发生干涉则转至步骤1-1，进一步改进装配过程，若未干涉，则进行步骤2；步骤2，对已建立的装配体模型进行格式转换，格式转化软件采用3dsMax软件，将建立好的装配体模型导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型，以便导入Unity3D；步骤3，完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建，按以下具体步骤进行：步骤3-1，对虚拟装配场景进行灯光及背景贴图的设计，使界面符合人机工程学的要求；步骤3-2，对虚拟装配场景中加入两组相同的上述三维模型，两组三维模型的区别如下：1)一组作为示范三维模型，用来示范零件正确的装配位置，呈半透明状态，位置固定，没有刚体碰撞属性；2)另一组作为待装配三维模型，与人产生互动，位置不固定，具有刚体碰撞属性，能够和虚拟手模型产生碰撞；步骤3-3，虚拟装配场景中虚拟手模型的建立，包括左右两个本文档来自技高网...

【技术保护点】
一种基于LeapMotion的虚拟装配示教方法，其特征在于，包括以下步骤：步骤1，对装配体的零部件进行三维建模并进行正确装配，按以下步骤进行：步骤1‑1，零部件三维建模使用CAD建模软件，建立零部件模型，保证零部件的尺寸比例一致，CAD建模软件为Proe或SolidWorks；步骤1‑2，利用步骤1‑1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型，装配结束后要检查零部件是否发生干涉，若发生干涉则转至步骤1‑1，进一步改进装配过程，若未干涉，则进行步骤2；步骤2，对已建立的装配体模型进行格式转换，格式转化软件采用3dsMax软件，将建立好的装配体模型导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型；步骤3，完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建，按以下具体步骤进行：步骤3‑1，对虚拟装配场景进行灯光及背景贴图的设计，使界面符合人机工程学的要求；步骤3‑2，对虚拟装配场景中加入两组相同的上述三维模型，两组三维模型的区别如下：1)一组作为示范三维模型，用来示范零件正确的装配位置，呈半透明状态，位置固定，没有刚体碰撞属性；2)另一组作为待装配三维模型，与人产生互动，位置不固定，具有刚体碰撞属性，能够和虚拟手模型产生碰撞；步骤3‑3，虚拟装配场景中虚拟手模型的建立，包括左右两个，左手模型为半透明状态，用来控制视图的旋转与缩放，右手模型为实体状态，进行装配操作；步骤4，在步骤3搭建的虚拟装配场景中进行零部件的装配，装配方法按以下具体步骤进行：步骤4‑1，在计算机显示屏上获取待装配零件在装配体中的正确位置，此过程通过查找步骤3‑2中半透明示范三维模型中的相应零件位置获得；步骤4‑2，获取待装配零件当前位置与正确位置的距离L，通过改变零件材质颜色提醒装配者零件即将到达指定位置，设定接近距离d1、正确距离d2:1)当L>d1时，零件呈颜色1，即零件还未接近正确位置；2)当d1>L>d2时，零件呈颜色2，即零件已接近正确位置；3)当L<d2时，零件呈颜色3，即判定零件已到达正确位置，零件被吸合到正确位置，且解除零件的碰撞属性以避免手的误碰，完成一次零件的装配；步骤5，手势动作信息的获取与控制视图方法的编写，按以下具体步骤进行：步骤5‑1，装配者手势动作信息的获取依靠LeapMotion数据采集器对人手动作的捕捉，LeapMotion数据采集器能够在150度的空间视场范围内同时追踪全部10只手指，并且LeapMotion数据采集器将捕捉的人手动作信息转换为数字信息传输给计算机，以便在计算机中处理，通过计算机显示屏显示，并通过视觉反馈给装配者；步骤5‑2，使用基于混合高斯模型下的背景剪除方法获取手部数据，实现对人手动作数据的处理，并将手势动作与虚拟模型手进行绑定，实现真实手部动作与虚拟手势动作的一致同步性；步骤5‑3，手势控制视图的具体方法为：1)首先利用相关函数得到人手的旋转数据和手部离原点的距离；2)将旋转数据和距离数据赋予Unity3D中的虚拟摄像机，使虚拟摄像机围绕零件旋转以改变视角，改变虚拟摄像机焦距以改变视场大小，从而实现手势对视图的控制；步骤6，利用步骤5中获得的手部动作信息实现对步骤4虚拟零部件的抓取移动以及视图缩放操作，装配者通过观察零部件颜色变化来判断装配状态，最终完成装配。...

【技术特征摘要】
1.一种基于LeapMotion的虚拟装配示教方法，其特征在于，包括以下步骤：步骤1，对装配体的零部件进行三维建模并进行正确装配，按以下步骤进行：步骤1-1，零部件三维建模使用CAD建模软件，建立零部件模型，保证零部件的尺寸比例一致，CAD建模软件为Proe或SolidWorks；步骤1-2，利用步骤1-1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型，装配结束后要检查零部件是否发生干涉，若发生干涉则转至步骤1-1，进一步改进装配过程，若未干涉，则进行步骤2；步骤2，对已建立的装配体模型进行格式转换，格式转化软件采用3dsMax软件，将建立好的装配体模型导入3dsMax，对材质进行统一，再导出成FBX的通用格式，得到三维模型；步骤3，完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建，按以下具体步骤进行：步骤3-1，对虚拟装配场景进行灯光及背景贴图的设计，使界面符合人机工程学的要求；步骤3-2，对虚拟装配场景中加入两组相同的上述三维模型，两组三维模型的区别如下：1)一组作为示范三维模型，用来示范零件正确的装配位置，呈半透明状态，位置固定，没有刚体碰撞属性；2)另一组作为待装配三维模型，与人产生互动，位置不固定，具有刚体碰撞属性，能够和虚拟手模型产生碰撞；步骤3-3，虚拟装配场景中虚拟手模型的建立，包括左右两个，左手模型为半透明状态，用来控制视图的旋转与缩放，右手模型为实体状态，进行装配操作；步骤4，在步骤3搭建的虚拟装配场景中进行零部件的装配，装配方法按以下具体步骤进行：步骤4-1，在计算机显示屏上获取待装配零件在装配体中的正确位置，此过程通过查找步骤3-2中半透明示范三维模...

【专利技术属性】
技术研发人员：谢俊，杜光景，徐光华，韩兴亮，李敏，张玉彬，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61