增强现实环境中识别装配操作、模拟装配的方法和装置制造方法及图纸

本发明专利技术提供了一种增强现实环境中识别装配操作、模拟装配的方法和装置，所述识别方法包括获取装配人员的多帧连续图像；提取所述多帧连续图像中每一帧图像里所述装配人员的人体骨骼节点的深度信息；根据所述深度信息识别预设的装配操作。该方案通过实时获取装配人员的多帧连续图像，并进行图像分析，提取每一帧图像里所述装配人员的人体骨骼节点的深度信息，并根据该深度信息来识别装配人员的装配操作，从而实现将体感技术应用于装配领域，与现有技术中采用碰撞检测的识别方案相比，操作更加简单，更加人性化。

【技术实现步骤摘要】
增强现实环境中识别装配操作、模拟装配的方法和装置
本专利技术涉及装配
，具体涉及一种增强现实环境中识别装配操作、模拟装配的方法和装置。
技术介绍
装配技术是现代制造业中非常重要的领域，传统的装配过程一般在产品的整个设计制造过程中占用约40％-60％的人时数。如何找到高效、可靠，能够保证产品质量，同时又能够减少生产成本，提高产品竞争力的装配技术对整个制造业都有着重要意义。传统的装配方式就是加工出产品的物理原型零件，通过零件装配过程帮助用户发现设计的不足和漏洞，进而改进产品设计，这种装配方式由于是制造出产品原型，能够给用户提供真实的视觉、听觉和触觉反馈，在过去二十多年中得到非常广泛的应用，但是原型方式是一个非常耗时耗资源的过程，加工出产品的原型后如果发现出产品设计缺陷，无法在原型上直接修改，需要重新设计，重新制造，反复整个过程直到得到满意的设计结果，因此导致整个设计开发周期长，成本高。随着计算机辅助技术和虚拟现实技术的发展，虚拟原型技术逐渐发展成熟并得到应用，被称之为虚拟装配(VirtualAssembly)。虚拟装配采用虚拟现实技术，通过计算机生成一个全虚拟的三维装配环境，虚拟装配系统通过运动跟踪和力反馈等技术给用户提供在装配环境中的操作手段，仿真整个装配过程。具体地，操作人员先将在CAD系统建立的零件模型导入到虚拟装配系统中，然后佩戴定位系统和力反馈设备，在虚拟装配环境中直接操作虚拟零件进行装配，通过虚拟的装配过程检验产品的可装配性，获得装配体验，评估和改进产品设计。由此可见，虚拟装配不需要加工出产品原型，而只是操作虚拟的CAD模型，可以反复设计修改，因此能够大幅度的缩短开发周期和降低开发成本，使装配过程变得更加快速、高效、经济。然而虚拟装配技术同样存在一定的缺陷，那就是操作人员处在一个完全由计算机图形组成的虚拟的装配环境中，没有包含真实环境中的信息，仅仅是通过虚拟场景来模拟出真实的工作环境，其通过视觉，力反馈等技术所虚拟出来的真实感是有限的。虽然现在的计算机软硬件性能已经越来越强，但是要开发能够满足生成有足够真实感的场景，能够处理复杂的装配操作，同时又达到实时性要求的系统往往还是很困难的。增强现实技术(AugmentedReality，简称AR)由于其虚实结台的特性，恰恰能够解执虚拟现实的场景真实感不足的问题，如果将增强现实技术应用到装配领域中，则能够给操作者提供一个即包含周围真实装配环境又同时有虚拟信息的混台环境，大大增强用户的真实感。在AR环境下，工程师通过操作真实装配车间里的虚拟模型来设计和规划产品装配及其装配序列，并根据车间设计规划反馈的信息调整和完善产品装配。许多学者不断研究探索增强现实在装配技术中的关键技术和应用。为了提高技术人员对日益复杂的新兴机械设备装配维修的快速学习能力。华中科技大学研究了增强现实环境下装配系统的虚实融合技术，根据虚实模型混合特点构建装配模型，采用机器视觉标志跟踪法进行三维注册，利用深度图逐点对比虚实对象的深度位置关系以解决虚实遮挡问题，并实现虚实零件的融合。但是现有的基于增强现实的装配方法，在交互模型中，一般是通过碰撞检测的方法识别操作人员的装配操作的，这种方式需要配合相关的虚拟手套或者虚拟笔等工具才能实现，操作十分不方便。而体感技术还未能应用到装配领域中。
技术实现思路
因此，本专利技术要解决的技术问题在于现有技术中基于增强现实的模拟装配方法操作复杂，从而提供一种增强现实环境中识别装配操作、模拟装配的方法和装置。有鉴于此，本专利技术实施例的第一方面提供了一种在增强现实环境中识别装配操作的方法，包括：获取装配人员的多帧连续图像；提取所述多帧连续图像中每一帧图像里所述装配人员的人体骨骼节点的深度信息；根据所述深度信息识别预设的装配操作。优选地，所述装配操作是选择零件模型，所述根据所述深度信息识别预设的装配操作包括：获取所述深度信息中所述装配人员的至少一个手骨骼节点的初始状态；在预先建立的装配操作库中选取与所述初始状态匹配的第一动作集；对所述手骨骼节点的运动轨迹进行跟踪，剔除掉所述第一动作集中不符合所述运动轨迹的第一动作，得到第二动作集；根据所述第二动作集确定选择目标零件模型。优先地，所述装配操作是添加零件模型，所述根据所述深度信息识别预设的装配操作包括：获取所述深度信息中所述装配人员的至少一个手臂骨骼节点的运动轨迹；当所述手臂骨骼节点的运动轨迹为所述手臂上举时，加载零件模型库，以供操作人员进行零件模型选择；当所述手臂骨骼节点的运动轨迹为所述手臂朝前推时，确认添加被选择的目标零件模型；以及当所述手臂骨骼节点的运动轨迹为所述手臂下放时，隐藏所述零件模型库。优先地，所述装配操作是移动零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目标零件模型后，获取所述深度信息中所述装配人员的至少一个手骨骼节点的运动轨迹；当所述手骨骼节点的运动轨迹为所述手保持悬停状态达到预设时长时，确认取得所述目标零件模型的空间坐标移动权限；将所述目标零件模型的空间坐标跟随所述手的运动轨迹，以使所述目标零件模型移动到指定位置。优先地，所述装配操作是缩放零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目标零件模型后，获取所述深度信息中所述装配人员的双手骨骼节点的运动轨迹；当所述双手骨骼节点的运动轨迹为所述双手相对张开时，将所述目标零件模型放大至第一预设尺寸，所述第一预设尺寸小于或等于所述目标零件模型的最大放大尺寸；当所述双手骨骼节点的运动轨迹为所述双手相对合拢时，将所述目标零件模型缩小至第二预设尺寸，所述第二预设尺寸小于或等于所述目标零件模型的最小缩小尺寸。优先地，所述装配操作是旋转零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目标零件模型后，获取所述深度信息中所述装配人员的至少一个手骨骼节点的运动轨迹；当所述手骨骼节点的运动轨迹为所述手原地旋转，将所述目标零件模型跟随所述手的旋转轨迹，以使所述目标零件模型旋转到指定方位。优先地，所述装配操作是删除零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目标零件模型后，获取所述深度信息中所述装配人员的至少一个手臂骨骼节点的运动轨迹；当所述手臂骨骼节点的运动轨迹为所述手臂以其上臂作为中轴线左右挥动时，确定删除所述目标零件模型。优先地，所述装配操作是执行下一步装配工序，所述根据所述深度信息识别预设的装配操作包括：获取所述深度信息中所述装配人员的单个手臂骨骼节点的运动轨迹；当所述单个手臂骨骼节点的运动轨迹为所述单个手臂朝第一预设方向摆动时，判断是否已完成所有装配工序；当未完成所有装配工序时，确认执行下一步装配工序，否则确认本次操作无效。优先地，所述装配操作是返回上一步装配工序，所述根据所述深度信息识别预设的装配操作包括：获取所述深度信息中所述装配人员的单个手臂骨骼节点的运动轨迹；当所述单个手臂骨骼节点的运动轨迹为所述单个手臂朝第二预设方向摆动时，判断当前进行的是否是第一步装配工序；若当前进行的不是所述第一道装配工序，确认返回上一步装配工序，否则确认本次操作无效。本专利技术实施例的第二方面提供了一种基于增强现实的模拟装配方法，包括：采用本专利技术实施例的第一方面及其任一优选方案所述的在增强现实环境中识别装配操作的方法识别装配人本文档来自技高网...

【技术保护点】
一种在增强现实环境中识别装配操作的方法，其特征在于，包括：获取装配人员的多帧连续图像；提取所述多帧连续图像中每一帧图像里所述装配人员的人体骨骼节点的深度信息；根据所述深度信息识别预设的装配操作。

【技术特征摘要】
1.一种在增强现实环境中识别装配操作的方法，其特征在于，包括：获取装配人员的多帧连续图像；提取所述多帧连续图像中每一帧图像里所述装配人员的人体骨骼节点的深度信息；根据所述深度信息识别预设的装配操作。2.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是选择零件模型，所述根据所述深度信息识别预设的装配操作包括：获取所述深度信息中所述装配人员的至少一个手骨骼节点的初始状态；在预先建立的装配操作库中选取与所述初始状态匹配的第一动作集；对所述手骨骼节点的运动轨迹进行跟踪，剔除掉所述第一动作集中不符合所述运动轨迹的第一动作，得到第二动作集；根据所述第二动作集确定选择目标零件模型。3.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是添加零件模型，所述根据所述深度信息识别预设的装配操作包括：获取所述深度信息中所述装配人员的至少一个手臂骨骼节点的运动轨迹；当所述手臂骨骼节点的运动轨迹为所述手臂上举时，加载零件模型库，以供操作人员进行零件模型选择；当所述手臂骨骼节点的运动轨迹为所述手臂朝前推时，确认添加被选择的目标零件模型；以及当所述手臂骨骼节点的运动轨迹为所述手臂下放时，隐藏所述零件模型库。4.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是移动零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目标零件模型后，获取所述深度信息中所述装配人员的至少一个手骨骼节点的运动轨迹；当所述手骨骼节点的运动轨迹为所述手保持悬停状态达到预设时长时，确认取得所述目标零件模型的空间坐标移动权限；将所述目标零件模型的空间坐标跟随所述手的运动轨迹，以使所述目标零件模型移动到指定位置。5.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是缩放零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目标零件模型后，获取所述深度信息中所述装配人员的双手骨骼节点的运动轨迹；当所述双手骨骼节点的运动轨迹为所述双手相对张开时，将所述目标零件模型放大至第一预设尺寸，所述第一预设尺寸小于或等于所述目标零件模型的最大放大尺寸；当所述双手骨骼节点的运动轨迹为所述双手相对合拢时，将所述目标零件模型缩小至第二预设尺寸，所述第二预设尺寸小于或等于所述目标零件模型的最小缩小尺寸。6.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是旋转零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目...

【专利技术属性】
技术研发人员：于海，彭林，王鹤，王刚，鲍兴川，韩海韵，徐敏，侯战胜，朱亮，何志敏，张泽浩，
申请(专利权)人：全球能源互联网研究院有限公司，国家电网公司，国网江苏省电力公司电力科学研究院，
类型：发明
国别省市：北京,11