一种考虑人因的增强现实辅助装配系统技术方案

本发明专利技术公开了一种考虑人因的增强现实辅助装配系统，属于工艺装配技术领域，包括场景模型与装配模型导入模块、实时辅助装配模块、人体生理状态监测与评估模块。本发明专利技术通过人体生理状态监测模块采集人体生理参数后，结合人体当前姿态和作业任务参数，一并导入评估模型进行自动分析，最终给出装配人员当前的生理心理状态，并及时给出提示，充分改善装配人员的装配负载，减少人因装配失误，值得被推广使用。值得被推广使用。值得被推广使用。

【技术实现步骤摘要】
一种考虑人因的增强现实辅助装配系统


[0001]本专利技术涉及工艺装配
，具体涉及一种考虑人因的增强现实辅助装配系统。

技术介绍

[0002]随着制造业需求从固定式和单一功能到柔性化和多功能的不断发展，在产品设计方面，产品的结构更加复杂，零部件增多，装配质量精益求精；在产品的制造方面，从过去的单一品种、大批量和计划式生产转向多品种、小批量和定制式生产。这两方面原因导致制造企业无法或者很难采用代价高昂的完全自动化装配产线，因而仍然需要具有高灵活性的人工装配来应对复杂的产品结构设计和冗长的装配流程。目前，主流的装配指导主要依靠装配指导手册等文字性指导文件，装配指导不够直观，实际指导效果大打折扣。同时，如在装配流程中出现需要调整的情况，所有相关的指导文件均需重新制作，装配指导的可扩展性较差。在多样化产品和短周期的研制周期下，现场装配人员的认知能力负担较大，装配压力增加，严重阻碍了人工装配的质量和效率对提升。
[0003]为提高人工装配的质量和效率，基于虚拟现实和增强现实的人机交互技术凭借其便捷的实现和灵活的指导特点，在辅助装配领域逐渐得到了广泛应用。其中，基于虚拟现实的辅助装配系统多用于现场装配前的装配培训，增加现场装配人员对装配流程的熟练程度，并及时对现有装配流程进行改进调整；基于增强现实的辅助装配系统主要应用于现场装配指导，降低装配人员的认知负载，提高装配效率和质量。
[0004]然而，目前在基于增强现实技术的辅助装配系统中，尽管装配人员的心理认知负载得到显著下降，但对于复杂设备来说，其装配工序多、装配工作量大、重复性高的特点对装配人员的生理压力仍然较大，尤其是当装配空间不足、零件结构复杂密集时，装配人员可能需要长时间以弯腰、跪姿和爬行等不良姿势进行装配，长期在这样的装配环境和压力下作业，人因失误次数迅速增多，装配质量和效率依然有待改进，这将对装配人员的身体造成长久的损伤。因此，增强现实辅助装配系统中，同样需要加入对人体生理状态的监测和评估，从而在尽可能的保证装配人员生理心理舒适的前提下，防止人因失误，进一步提高装配质量和效率。因此，提出一种考虑人因的增强现实辅助装配系统。

技术实现思路

[0005]本专利技术所要解决的技术问题在于：如何解决目前在基于增强现实技术的辅助装配系统中，存在的尽管装配人员的心理认知负载得到显著下降，但对于复杂设备来说，其装配工序多、装配工作量大、重复性高的特点对装配人员的生理压力仍然较大，尤其是当装配空间不足、零件结构复杂密集时，装配人员可能需要长时间以弯腰、跪姿和爬行等不良姿势进行装配，长期在这样的装配环境和压力下作业，人因失误次数迅速增多，装配质量和效率依然有待改进，对装配人员的身体造成长久的损伤的问题，提供了一种考虑人因的增强现实辅助装配系统，该系统可以在辅助装配过程中对人体的生理状态进行检测，并从人因角度
评估其生理状态，进而对具体装配节奏进行及时调整。
[0006]本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括场景模型与装配模型导入模块、实时辅助装配模块、人体生理状态监测与评估模块；
[0007]所述场景模型与装配模型导入模块，用于进行三维模型导入与处理、装配信息提取和多模引导信息设置工作；
[0008]所述实时辅助装配模块，用于进行对象视觉处理和人机交互工作，对装配人员提供实时引导；
[0009]所述人体生理状态监测与评估模块，用于进行人体参数采集、人体姿态采集、数据同步设置和人体状态评估工作，得出装配人员当前的生理心理状态，并及时给出提示。
[0010]更进一步地，所述场景模型与装配模型导入模块包括三维模型处理子模块、装配信息提取子模块、多模引导信息子模块；所述三维模型处理子模块用于为系统提供环境模型、工装工具模型和装配模型的导入接口，导入模型后对数据进行轻量化设置；所述装配信息提取子模块用于对装配关系、层次结构、零件信息和装配路径进行提取，生成装配模型序列和模型树；所述多模引导信息子模块用于在通过装配信息提取得到的装配模型树和模型序列中进行标注。
[0011]更进一步地，所述多模引导信息子模块的标注内容包括操作步骤语音提示录入、工具信息标注和设备名称标注。
[0012]更进一步地，所述实时辅助装配模块包括对象视觉处理子模块、人机交互子模块；所述对象视觉处理子模块用于进行三维场景重建和目标识别跟踪工作；所述人机交互子模块用于进行增强现实场景展示、人员操控反馈工作。
[0013]更进一步地，所述对象视觉处理子模块包括三维场景重建单元和目标识别跟踪单元；所述三维场景重建单元用于实现多方位的三维场景重建，作为所述实时辅助装配模块的环境输入；所述目标识别跟踪单元，基于增强现实眼镜实现，采用同时定位与地图构建技术，装配人员在室内环境不断移动时，通过所述增强现实眼镜获取不同角度一系列连续的深度图，不断迭代，累积分析不同的深度图，分析整合而计算建立精确的环境模型。
[0014]更进一步地，所述人机交互子模块包括增强现实场景展示单元、装配人员操控反馈单元；所述增强现实场景展示单元用于导入场景模型与装配模型导入模块中的工装工具，并求解出虚拟引导工具的注册位姿如指示箭头、高亮符号等，将其与真实场景融合起来，并导入到增强现实眼镜中；所述装配人员操控反馈单元用于通过系统的干涉检验功能和人体状态评估功能，对装配人员目前的装配状态和动作进行提示。
[0015]更进一步地，所述人体生理状态监测与评估模块包括人体参数采集子模块、人体姿态采集子模块、人体状态评估子模块与数据同步设置子模块；所述人体参数采集子模块用于进行采集初始化、数据处理及转换、数据显示工作；所述人体姿态采集子模块用于进行设备连接、姿态校准、动作捕捉工作；所述人体状态评估子模块用于进行舒适度分析、疲劳度分析和腰椎受力分析工作；所述数据同步设置子模块用于将人体参数采集子模块和人体姿态采集子模块的数据进行时间同步。
[0016]更进一步地，所述人体参数采集子模块包括采集初始化单元、数据处理及转换单元、数据显示单元；所述采集初始化单元用于将传感器安装在需要测定的位置；所述数据处理及转换单元用于进行眼动追踪分析、HRV心率变异性分析、EDA皮电反应分析、EMG肌电分
析、RESP呼吸分析工作；所述数据显示单元用于将数据处理及转换单元获取的数据进行显示，并说明人体当前状态。
[0017]更进一步地，在进行眼动追踪分析时通过眼动仪实现眼动数据信号的测量，测量分析与眼睛相关的信息及数据，实现对眼动数据信号进行处理和分析，并呈现眼动数据随时间变化的统计特征；在进行HRV心率变异性时通过心电记录仪实现对PPG信号进行离线处理和分析；在进行EDA皮电反应时通过皮电采集设备进行数据采集，进而进行SC皮肤电导数据分析、SCR事件相关皮电分析、SCL时相相关皮电分析；在进行EMG肌电分析时通过肌电采集设备进行数据采集，得到肌电信号时域的统计特征，进而得到周期用力数据，实现肌电分析；在进行RESP呼吸分析时通过呼吸信息采集设备采集数据，以全程以及阶段化的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种考虑人因的增强现实辅助装配系统，其特征在于，包括：场景模型与装配模型导入模块、实时辅助装配模块、人体生理状态监测与评估模块；所述场景模型与装配模型导入模块，用于进行三维模型导入与处理、装配信息提取和多模引导信息设置工作；所述实时辅助装配模块，用于进行对象视觉处理和人机交互工作，对装配人员提供实时引导；所述人体生理状态监测与评估模块，用于进行人体参数采集、人体姿态采集、数据同步设置和人体状态评估工作，得出装配人员当前的生理心理状态，并给出提示。2.根据权利要求1所述的一种考虑人因的增强现实辅助装配系统，其特征在于：所述场景模型与装配模型导入模块包括三维模型处理子模块、装配信息提取子模块、多模引导信息子模块；所述三维模型处理子模块用于为系统提供环境模型、工装工具模型和装配模型的导入接口，导入模型后对数据进行轻量化设置；所述装配信息提取子模块用于对装配关系、层次结构、零件信息和装配路径进行提取，生成装配模型序列和模型树；所述多模引导信息子模块用于在通过装配信息提取得到的装配模型树和模型序列中进行标注。3.根据权利要求2所述的一种考虑人因的增强现实辅助装配系统，其特征在于：所述实时辅助装配模块包括对象视觉处理子模块和人机交互子模块；所述对象视觉处理子模块用于进行三维场景重建和目标识别跟踪工作；所述人机交互子模块用于进行增强现实场景展示、人员操控反馈工作。4.根据权利要求3所述的一种考虑人因的增强现实辅助装配系统，其特征在于：所述对象视觉处理子模块包括三维场景重建单元和目标识别跟踪单元；所述三维场景重建单元用于实现多方位的三维场景重建，作为所述实时辅助装配模块的环境输入；所述目标识别跟踪单元，基于增强现实眼镜实现，采用同时定位与地图构建技术，装配人员在室内环境不断移动时，通过所述增强现实眼镜获取不同角度一系列连续的深度图，不断迭代，累积分析不同的深度图，整合并计算建立精确的环境模型。5.根据权利要求4所述的一种考虑人因的增强现实辅助装配系统，其特征在于：所述人机交互子模块包括增强现实场景展示单元、装配人员操控反馈单元；所述增强现实场景展示单元用于导入场景模型与装配模型导入模块中的工装工具，并求解出虚拟引导工具的注册位姿，将其与真实场景融合起来，并导入到增强现实眼镜中；所述装配人员操控反馈单元用于通过系统的干涉检验功能和人体状态评估功能，对装配人员目前的装配状态和动作进行提示。6.根据权利要求5所述的一种考虑人因的增强现实辅助装配系统，其特征在于：所述人体生理状态监测与评估模块包括人...

【专利技术属性】
技术研发人员：袁帅，王梅，卜逸凡，胡子翔，王荧飞，孙俊平，张祥祥，任好，焦延，徐晨，储轶群，章振原，
申请(专利权)人：中国电子科技集团公司第三十八研究所，
类型：发明
国别省市：