一种虚拟装配装置、系统及方法制造方法及图纸

本发明专利技术属于虚拟装配过程中的人机交互技术领域，具体的说是一种虚拟装配装置、系统及方法。该装置包括Kinect V2人机交互设备、Unity 3D虚拟环境构建设备、VR眼镜和力与触觉反馈设备；Kinect V2人机交互设备包括Kinect V2；Unity 3D虚拟环境构建设备包括两个摄像机和计算机；摄像机、Kinect V2人机交互设备和力与触觉反馈设备和计算机相连；VR眼镜分别与Kinect V2人机交互设备和计算机相连。本发明专利技术是一种虚拟装配装置、系统及方法，利用Kinect V2设备捕捉人体的双眼，将Unity 3D虚拟环境中的摄像头与之绑定，从而使用户通过查看虚拟环境。并按照1：1设计零部件和装配环境，通过骨骼识别模块反求虚拟环境中的现实位置，从而实现虚拟与现实的同步，完成高沉浸的虚拟装配。

Virtual assembly device, system and method

The invention belongs to the technical field of human-computer interaction in the process of virtual assembly, in particular to a virtual assembly device, a system and a method thereof. The device comprises a Kinect V2 interactive devices, Unity 3D virtual environment construction equipment, VR glasses and force and haptic feedback device; Kinect V2 interactive devices including Kinect V2 Unity 3D; construction of virtual environment equipment comprises two cameras, Kinect camera and computer; V2 interactive devices with tactile and force a feedback device and connected to a computer; VR glasses are respectively connected with the Kinect V2 human-computer interaction and computer equipment. The invention relates to a virtual assembly device, system and method of capturing human eyes using Kinect V2 devices, Unity 3D in the virtual environment of the camera and binding, allowing the user to view through the virtual environment. And in accordance with the 1:1 design parts and assembly environment, through the skeleton recognition module to reverse the virtual environment of the actual position, so as to realize the synchronization of virtual and reality, complete the high immersive virtual assembly.

【技术实现步骤摘要】
一种虚拟装配装置、系统及方法
本专利技术属于虚拟装配过程中的人机交互
，具体的说是一种虚拟装配装置、系统及方法。
技术介绍
虚拟装配技术广泛应用于制造领域，通过虚拟装配可以真实模拟产品三维装配过程，并允许用户以交互方式控制产品的三维真实模拟装配过程，以检验产品的可装配性。在装配过程，通过虚拟装配可以确定装配过程最优的装配、拆卸顺序，可对装配可行性进行评估。虚拟装配中可以分析工人在仿真环境中与其它物体的关系，从而确定合理的装配顺序及检验装配的可视性及可达性，并能通过虚拟装配训练用户的装配技巧。现今，虚拟装配难以达到高沉浸的状态，即用户通过VR观看到虚拟场景，难以抓取到虚拟的物体，并难以自主观看虚拟世界，这来源于虚拟世界与现实的差异性。
技术实现思路
本专利技术提供了一种虚拟装配装置、系统及方法，克服虚拟世界和现实的不匹配问题。本专利技术利用KinectV2设备捕捉人体的双眼，将Unity3D虚拟环境中的摄像头与之绑定，从而使用户通过查看虚拟环境。并按照1：1设计零部件和装配环境，通过骨骼识别模块反求虚拟环境中的现实位置，从而实现虚拟与现实的同步，完成高沉浸的虚拟装配。本专利技术技术方本文档来自技高网...

【技术保护点】
一种虚拟装配装置，其特征在于，该系统包括Kinect V2人机交互设备、Unity 3D虚拟环境构建设备、VR眼镜和力与触觉反馈设备；所述的Kinect V2人机交互设备，用于数据采集及数据整合及数据驱动；所述的Unity 3D虚拟环境构建设备，用于构建人机交互虚拟装配环境，整合CATIA设计的零件结构、SKETCH UP设计的建筑和3D MAX设计的人物模型；所述的VR眼镜，用于增强虚拟环境的沉浸性；所述的力与触觉反馈设备，用于使用者双手接触虚拟零件时提供力的作用和真实触觉；所述的Kinect V2人机交互设备包括Kinect V2；所述的Unity 3D虚拟环境构建设备包括两个摄像机和计算...

【技术特征摘要】
1.一种虚拟装配装置，其特征在于，该系统包括KinectV2人机交互设备、Unity3D虚拟环境构建设备、VR眼镜和力与触觉反馈设备；所述的KinectV2人机交互设备，用于数据采集及数据整合及数据驱动；所述的Unity3D虚拟环境构建设备，用于构建人机交互虚拟装配环境，整合CATIA设计的零件结构、SKETCHUP设计的建筑和3DMAX设计的人物模型；所述的VR眼镜，用于增强虚拟环境的沉浸性；所述的力与触觉反馈设备，用于使用者双手接触虚拟零件时提供力的作用和真实触觉；所述的KinectV2人机交互设备包括KinectV2；所述的Unity3D虚拟环境构建设备包括两个摄像机和计算机，所述的摄像机绑定在使用者的双眼中间位置；所述的摄像机、KinectV2人机交互设备和力与触觉反馈设备和计算机相连；所述的VR眼镜分别与KinectV2人机交互设备和计算机相连。2.根据权利要求1所述的一种虚拟装配装置，其特征在于，所述的力与触觉反馈设备包括力反馈设备和触觉反馈设备；其中力反馈设备直接与计算机连接，触觉反馈设备通过移动信号接收器与计算机连接；所述的力反馈设备包括电源(1)、ARDUINO控制板(2)、电子秤I(3)、弹簧I(4)、电磁铁I(5)、电磁铁II(10)、弹簧II(11)、电子秤II(12)、底座(13)；其中电源(1)为ARDUINO控制板(2)、电子秤(3)、电磁铁I(5)、电磁铁II(10)提供电力；所述的电磁铁I(5)置于弹簧I(4)上，所述的电磁铁II(10)置于弹簧II(11)上；所述的弹簧I(4)放置在电子秤I(3)上；所述的弹簧II(11)放置在电子秤II(12)上；所述的电子秤I、II(3、12)放置在底座(13)上所述的ARDUINO控制板(2)与电子秤I、II(3、12)和计算机连接；所述的触觉反馈设备包括CPU与移动信号接收器Ⅰ(6)、手套Ⅰ(7)、CPU与移动信号接收器Ⅱ(8)、手套Ⅱ(9)、电源I(14)、电源II(21)；所述的CPU与移动信号接收器Ⅰ、Ⅱ(6、8)与手套Ⅰ、Ⅱ(7、9)相连接；所述的电源I、II(14、21)固定在CPU与移动信号接收器Ⅰ、Ⅱ(6、8)上；所述的手套Ⅰ(7)包括磁铁I(15)和第一、二、三、四、五压电陶瓷振动片(16、17、18、19、20)；所述的手套Ⅱ(9)包括磁铁II(23)和第六、七、八、九、十压电陶瓷振动片(24、25、26、27、28)；所述的磁铁I、II(15、23)固定在手套Ⅰ、Ⅱ(7、9)的掌心中；所述的第一、二、三、四、五、六、七、八、九、十压电陶瓷振动片(16、17、18、19、20、24、25、26、27、28)设置在手套Ⅰ、Ⅱ(7、9)的指尖上。3.一种虚拟装配系统，其特征在于，该系统包括：计算机：用于处理信息并传输信号；KinectV2：用于采集图像、语音信息，并辅助完成骨骼识别、面孔识别、语音识别；骨骼识别模块：用于获取人体的25个部位骨骼点数据，对人体的动作进行实时捕捉，并能计算出身高、抓取和放置零件的动作是否完成；面孔识别模块：用于提取人脸的特征点；语音识别模块：用于获取KinectV2人机交互设备记录的语音信息，生成语音文本字符串，记录在语音命令链表中，并通过与数据库模板比较，从而控制虚拟装配环境变换，窗口变换；装配模块：用于将CATIA设计出的所有零件，组合出装配图，再通过KEYSHOT渲染得到最后产品；建筑模块：用于将SketchUp按照1:1设计出装配环境并渲染，再导入Unity3D虚拟环境构建设备中，再将装配模型置于建筑模型中，并绑定语音指令；虚拟人物匹配模块：用于将之前测量的身高与身高最近似的人物模型进行匹配，建立人物模型数据库，并将KinectV2人机交互设备采集的25个骨骼点与模型进行绑定。VR眼镜：用于增强虚拟环境的沉浸性；力与触觉反馈设备：用于使用者双手接触虚拟零件时提供力的作用和真实触觉；所述的计算机、KinectV2、骨骼识别模块、面孔识别模块、语音识别模块、装配模块、建筑模块、虚拟人物匹配模块、VR眼镜和力与触觉反馈设备，其中计算机与KinectV2、VR眼镜和力与触觉反馈设备连接，骨骼识别模块、面孔识别模块、语音识别模块需要计算机和KinectV2共同支撑，装配模块、建筑模块、虚拟人物匹配模块由计算机实现。4.一种虚拟装配方法，其特征在于，该方法包括以下步骤：步骤一、使用者带上VR眼镜，穿戴虚拟现实手套，启动KinectV2人机交互设备和Unity3D虚拟环境构建设备，由KinectV2人机交互设备中的面孔识别模块提取使用者人脸的121个面孔特征点，并且定义双眼中心位置左眼中心位置τ1、右眼...

【专利技术属性】
技术研发人员：姜盛乾，刘鹏，徐若兰，付丹妮，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22