一种基于数字孪生的人-机交互安全预警与控制方法技术

本发明专利技术提出了一种基于数字孪生的人‑机交互安全预警与控制方法，其步骤如下：基于深度学习算法识别双目摄像机拍摄的图像中工作人员及工作人员人体关键点位置；将标签粘贴在机器人运动关节处，通过Canny边缘检测和霍夫圆检测算法识别图像中的标签位置获得机器人的位置；基于双目视觉测距原理测量工作人员人体关键点和标签的空间坐标，计算工作人员与机器人间的距离；搭建人‑机交互安全预警孪生系统，实现人‑机交互物理场景与虚拟场景的交互共融，迭代优化，实时在线可视化监控人‑机交互过程的安全。本发明专利技术利用实时数据驱动人‑机交互安全预警孪生系统，能够优化出最佳工作空间，保障人与机器人交互过程的安全，提高了人‑机协同工作的效率。

【技术实现步骤摘要】
一种基于数字孪生的人-机交互安全预警与控制方法
本专利技术涉及智能制造、人-机交互和安全控制的
，尤其涉及一种基于数字孪生的人-机交互安全预警与控制方法，特别是基于深度学习和多目视觉实现数字孪生环境下的人-机交互的安全控制方法。
技术介绍
智能制造将带来全新的制造模式，新型制造模式需要高度自动化来实现快速低成本的生产，还需要具备高柔性和智能化的生产。通过将机器人系统性能和人的灵活性、敏捷性和智能性相结合，在一些生产过程中可以显著提高产线的柔性和智能性，从而提高生产效率。然而，人与机器人在同一工作环境下工作，他们之间的安全问题必须要考虑和解决。数字孪生是智能制造的一种新型技术应用模式，它是以数字化的形式描述物理实体并建立它的虚拟模型，利用数据模拟物理实体在现实环境中的运行状态，通过虚实交互反馈，数据融合分析、决策迭代优化等手段，给物理实体增加或扩展新的能力。在数字孪生环境中，可以充分的利用模型、数据、多方面协同的技术，起到连接物理世界与信息世界的纽带作用，提供更加实时、高效、智能的服务，这给解决人-机交互过程中存在的安全问题提供了理论与技术基础。针对人-机交互过程安全问题，目前解决方案主要有两种：一种是机器人与人发生碰撞后，基于接触信息采取一些措施尽可能减小对人的伤害，即被动避让；另一种是机器人与人还未发生碰撞就改变机器人的运行状态，即主动避让。第一种解决方案主要有：设计一款机器人电子皮肤安装于其表面，从而检测机器人是否与外界发生碰撞以及碰撞力的大小，并及时调整机器人的运行状态；在机器人表面粘贴带有弹性的材料，在一定程度上减小碰撞冲击力，从而降低对人造成的伤害；机器人通过自身内部的电流传感器和关节位置传感器可检测是否与外界环境发生碰撞，并及时调整机器人的运行状态。这些方案中需要布置大量的传感器、可穿戴设备，并且也没有从根本上解决人-机交互过程的安全问题。第二种解决方案主要有：采用投影仪和摄像机定义划分机器人周围的安全区域，即距离机器大于某值是安全区，小于某值是危险区，然而人与机器人近距离交互过程中需要完成不同的肢体动作，但该方法却不能准确的测量人体某部位与机器人之间的距离；基于路径规划算法，提前规划出一条可避免机器人与人碰撞的路径，但该方法在静态环境中适应较强，在动态环境仍有较大局限性；利用深度相机Kinect获取人和机器人轮廓的三维点云信息，基于点云的空间坐标，计算人-机之间的距离，但由于点云的数量庞大，在计算时耗费大量的时间，不能满足实时性的要求并且深度相机Kinect价格较高。近年来，随着智能技术在制造业的快速应用与改进，深度学习在计算机视觉领域和智能制造领域得到了快速应用，卷积神经网络在目标识别方面具有突出的优势，通过利用大量的数据和图像对神经网络进行训练，可得到一个兼备速度和准确度的目标识别检测器。双目立体视觉是基于视差原理，从双目相机中获取多幅图像恢复被测物体三维几何信息。对于空间物体表面的任意一点，在双目相机的左相机检测识别到该点，同时右相机也检测识别到该点，就可以计算出该点的空间三维坐标。
技术实现思路
针对现有人-机交互控制在动态环境中适应性差，计算量大，成本高的技术问题，本专利技术提出一种基于数字孪生的人-机交互安全预警与控制方法，基于深度学习和多目视觉相结合，计算出人-机之间的距离，简化了人-机测距的模型，提高了检测的实时性，提高了人-机协同工作的效率，可实时在线可视化监控人-机交互全过程的安全。为了达到上述目的，本专利技术的技术方案是这样实现的：一种基于数字孪生的人-机交互安全预警与控制方法，基于深度学习和多目视觉相结合实现虚拟场景的人-机交互识别和反馈控制，其步骤如下：S1，基于深度学习算法识别双目摄像机拍摄的图像中工作人员及工作人员人体关键点位置；S2，将标签粘贴在机器人各运动关节处，通过Canny边缘检测和霍夫圆检测算法识别图像中的标签位置从而获得机器人的位置；S3，基于双目视觉测距原理测量工作人员人体关键点和各标签的空间坐标，计算工作人员与机器人间的距离；S4，搭建人-机交互安全预警孪生系统，实现人-机交互物理场景与虚拟场景的交互共融，迭代优化，实时在线可视化监控人-机交互过程的安全。所述步骤S1中识别图像中工作人员及工作人员人体关键点位置的方法为：S1.1，在人-机交互环境中布置两个双目摄像机；S1.2，利用双目摄像机拍摄视频图像，建立实际场景下工作人员图像数据集，并制作人体关键点数据集；S1.3，基于原始的预训练模型YOLOV3-A进行迁移学习训练获得工作人员检测网络；S1.4，在预训练模型YOLOV3-A的基础上，保留预训练模型YOLOV3-A的前N层中全部参数，再用步骤S1.2中的工作人员图像数据集重新训练预训练模型YOLOV3-A的后M层参数，最后得到工作人员检测模型YOLOV3-B，利用工作人员检测模型YOLOV3-B识别双目摄像机拍摄图像获取图像中的工作人员；S1.5，设计人体关键点识别网络模型，利用公开人体关键点数据集COCO2017和步骤S1.2制作的人体关键点数据集训练人体关键点识别网络模型，获取图像中人体关键点坐标，实现人体关键点在视频图像中位置的精准预测。所述步骤S1.2中建立实际场景下工作人员图像数据集和制作人体关键点数据集的方法为：将拍摄视频分解成一帧一帧保存为统一格式、像素大小的图片；利用labelimg软件框出图像中工作人员和工作人员的人体关键点，制作每张图片对应的同名XML文件，XML文件内容包括框出的工作人员和工作人员的人体关键点矩形框的坐标、备注的类别，从而制作出来工作人员图像数据集和人体关键点数据集。所述步骤S1.4中训练工作人员检测模型YOLOV3-B时，设置迭代次数为100次，采用自适应矩估计方法优化每次迭代的参数；在前40次迭代，设置学习率为0.001，在后60次迭代，设置学习率为0.0001，如果连续5次迭代内工作人员检测模型YOLOV3-B的检测误差没有变化，学习率为上一次学习率的1/10，以此规律迭代；所述步骤1.1中两个双目摄像机其中一个双目摄像机位于机器人正前方2-4m处，另一个双目摄像机位于机器人左方或右方2-4m处；所述工作人员的人体关键点数为17个，与公开的COCO2017数据集标注的人体关键点数一致；所述步骤S1.4中M与N的取值主要取决于两个方面：一方面是工作人员图像数据集的大小，工作人员图像数据集越大，N的值越小M的值越大；另一方面是迁移学习涉及的源域和目标域，根据源域任务与目标域任务之间的差异，差异越大N的值越小M值越大，差异越小M与N的取值则反之。所述步骤S1.5中人体关键点识别网络模型包括一级网络和二级网络，一级网络和二级网络均是基于ResNet50网络的后四个残差模块作为骨干网络设计提取人体关键点特征，其实现方法为：S1.5.1，一级网络基于ResNet50网络设计，利用ResNet50网络后四个残差模块提取人体关键点特征，将ResNet50网络中最后一个残差模块的本文档来自技高网...

【技术保护点】
1.一种基于数字孪生的人-机交互安全预警与控制方法，其特征在于，基于深度学习和多目视觉相结合实现虚拟场景的人-机交互识别和反馈控制，其步骤如下：/nS1，基于深度学习算法识别双目摄像机拍摄的图像中工作人员及工作人员人体关键点位置；/nS2，将标签粘贴在机器人各运动关节处，通过Canny边缘检测和霍夫圆检测算法识别图像中的标签位置从而获得机器人的位置；/nS3，基于双目视觉测距原理测量工作人员人体关键点和各标签的空间坐标，计算工作人员与机器人间的距离；/nS4，搭建人-机交互安全预警孪生系统，实现人-机交互物理场景与虚拟场景的交互共融，迭代优化，实时在线可视化监控人-机交互过程的安全。/n

【技术特征摘要】
1.一种基于数字孪生的人-机交互安全预警与控制方法，其特征在于，基于深度学习和多目视觉相结合实现虚拟场景的人-机交互识别和反馈控制，其步骤如下：
S1，基于深度学习算法识别双目摄像机拍摄的图像中工作人员及工作人员人体关键点位置；
S2，将标签粘贴在机器人各运动关节处，通过Canny边缘检测和霍夫圆检测算法识别图像中的标签位置从而获得机器人的位置；
S3，基于双目视觉测距原理测量工作人员人体关键点和各标签的空间坐标，计算工作人员与机器人间的距离；
S4，搭建人-机交互安全预警孪生系统，实现人-机交互物理场景与虚拟场景的交互共融，迭代优化，实时在线可视化监控人-机交互过程的安全。


2.根据权利要求1所述的基于数字孪生的人-机交互安全预警与控制方法，其特征在于，所述步骤S1中识别图像中工作人员及工作人员人体关键点位置的方法为：
S1.1，在人-机交互环境中布置两个双目摄像机；
S1.2，利用双目摄像机拍摄视频图像，建立实际场景下工作人员图像数据集，并制作人体关键点数据集；
S1.3，基于原始的预训练模型YOLOV3-A进行迁移学习训练获得工作人员检测网络；
S1.4，在预训练模型YOLOV3-A的基础上，保留预训练模型YOLOV3-A的前N层中全部参数，再用步骤S1.2中的工作人员图像数据集重新训练预训练模型YOLOV3-A的后M层参数，最后得到工作人员检测模型YOLOV3-B，利用工作人员检测模型YOLOV3-B识别双目摄像机拍摄图像获取图像中的工作人员；
S1.5，设计人体关键点识别网络模型，利用公开人体关键点数据集COCO2017和步骤S1.2制作的人体关键点数据集训练人体关键点识别网络模型，获取图像中人体关键点坐标，实现人体关键点在视频图像中位置的精准预测。


3.根据权利要求2所述的基于数字孪生的人-机交互安全预警与控制方法，其特征在于，所述步骤S1.2中建立实际场景下工作人员图像数据集和制作人体关键点数据集的方法为：将拍摄视频分解成一帧一帧保存为统一格式、像素大小的图片；利用labelimg软件框出图像中工作人员和工作人员的人体关键点，制作每张图片对应的同名XML文件，XML文件内容包括框出的工作人员和工作人员的人体关键点矩形框的坐标、备注的类别，从而制作出来工作人员图像数据集和人体关键点数据集。


4.根据权利要求2或3所述的基于数字孪生的人-机交互安全预警与控制方法，其特征在于，所述步骤S1.4中训练工作人员检测模型YOLOV3-B时，设置迭代次数为100次，采用自适应矩估计方法优化每次迭代的参数；在前40次迭代，设置学习率为0.001，在后60次迭代，设置学习率为0.0001，如果连续5次迭代内工作人员检测模型YOLOV3-B的检测误差没有变化，学习率为上一次学习率的1/10，以此规律迭代；所述步骤1.1中两个双目摄像机其中一个双目摄像机位于机器人正前方2-4m处，另一个双目摄像机位于机器人左方或右方2-4m处；所述工作人员的人体关键点数为17个，与公开的COCO2017数据集标注的人体关键点数一致；所述步骤S1.4中M与N的取值主要取决于两个方面：一方面是工作人员图像数据集的大小，工作人员图像数据集越大，N的值越小M的值越大；另一方面是迁移学习涉及的源域和目标域，根据源域任务与目标域任务之间的差异，差异越大N的值越小M值越大，差异越小M与N的取值则反之。


5.根据权利要求2所述的基于数字孪生的人-机交互安全预警与控制方法，其特征在于，所述步骤S1.5中人体关键点识别网络模型包括一级网络和二级网络，一级网络和二级网络均是基于ResNet50网络的后四个残差模块作为骨干网络设计提取人体关键点特征，其实现方法为：
S1.5.1，一级网络基于ResNet50网络设计，利用ResNet50网络后四个残差模块提取人体关键点特征，将ResNet50网络中最后一个残差模块的普通卷积修改成步长为1、扩张率为2的扩张卷积，将ResNet50网络中最后一个残差模块的特征图通道数修改为原来的1/2；在一级网络中经过卷积得到的人体关键点特征图进行热力图输出，将这些热力图进行叠加融合作为热力图集输出；
S1.5.2，使用跨级别特征融合的方法实现一级网络和二级网络间的连接：一级网络中某阶段的特征图和热力图通过1×1卷积后输入到二级网络中对应阶段，二级网络该阶段特征具备了第一级网络的特征图、热力图和本身的特征图三个输入量；
S1.5.3，二级网络设计：二级网络利用ResNet50网络后四个残差模块提取人体关键点特征，在最后一个残差模块后增加两次反卷积，利用上下文信息进行预测；
S1.5.4，利用公开数据集COCO2017和自己根据真实人-机交互场景制作的人体关键点数据集训练人体关键点识别网络模型。


6.根据权利要求5所述的基于数字孪生的人-机交互安全预警与控制方法，其特征在于，所述一级网络中经过一系列的卷积得到4种特征图，特征图经过一次3×3卷积的高斯滤波器生成人体关键点热力图，热力图经过叠加融合又作为二级网络的输入，二级网络再进行特征提取，并且在二级网络后添加两次转置卷积和一次热力图操作；
二级网络是对不易识别和被遮挡的关键点识别，对于不易识别的关键点，使用反卷积增大感受野获得关键点位置，对于不可见关键点，利用上下文信息进行预测，从已经知道的关键点推测出不可见点；提取每个人体关键点损失的前n个，对于全身可见的人体提取前n个人体困难关键点，批量困难点挖掘是以整个批量为单位，设批量大小为m，将损失的大小依次排序，选取m×n个关键点的损失反向传播给网络，看在那个m×n值下网络的识别准确率最高就取对应的该m×n值；n的取值范围是0-17，每个人体关键点总个数是17，m的取值范围为32到512，m是2的指数倍；
所述人体关键点识别网络模型的训练方法为：用公共发布的ImageNet上预训练ResNet50网络的权重初始化，但ResNet5...

【专利技术属性】
技术研发人员：李浩，马文锋，文笑雨，王昊琪，谢贵重，孙春亚，李客，罗国富，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：河南;41