基于视觉监测人工装配动作的人机协作调度方法，涉及装配动作监测及人机协作调度领域。解决了制造业装配现场人机协作效率低的问题。本发明专利技术对半成品器件的装配过程进行多样本数据采集，各样本中将装配动作视频分割成多帧原始图像，将动作数据进行拆解与标注，同时对各帧图像中零件进行标注，以获取装配进程中零件类别与数量信息；并综合人体手部骨骼点间距离特征、速度特征以及装配零件类别与数量特征的特征融合得到装配动作特征，实时动作识别与进程预测，根据预测出的装配进程值满足在预设装配进程阈值范围内时发出的任务指令，对AGV协作机器人进行实时调配，以提升人机协作效率。本发明专利技术主要应用在人机协作领域。本发明专利技术主要应用在人机协作领域。本发明专利技术主要应用在人机协作领域。
【技术实现步骤摘要】
基于视觉监测人工装配动作的人机协作调度方法
[0001]本专利技术涉及装配动作监测及人机协作调度领域。
技术介绍
[0002]目前，智能制造正推动制造业向全数字化、个性化与智能化转型。人机协作作为实现这一目标的关键技术，已经得到了广泛关注。为实现人机协作的生产模式，现有的人机协作调度系统主要通过传感器、人工智能等手段提升机器设备的自主感知、应变决策等能力。在工业现场中，该方案通过机器数字化可以在一定程度上监测生产制造的过程信息。事实上，人机协作是一个双向过程，在一些无法机器换人的生产场景中，仅依赖机器数字化难以突破现有技术瓶颈。然而，由于重视程度不足以及工业现场数据采集困难等问题，作业人员层面上的数字化环节相对缺失，工厂全数字化难以形成闭环，无法实现“人
‑
机
‑
物”的有效融合，难以从根本上提升人机协作效率。
[0003]现有技术中的装配现场人机协作的主要过程为，测定操作人员装配过程的标准作业工时，以此作为基准来确定装配线的生产节拍，来对AGV协作机器人进行调度，AGV协作机器人到达目标工位后，将操作人员装配完成的半成品件取走，此过程中由于操作人员装配进度不一，出现以下两种情况；其一、当操作人员实际的装配时间大于预设的装配时间(例如：装配速度慢、以及装配失误)，若按规定的预设剩余零件装配时间来对AGV协作机器人进行调度，存在AGV协作机器人等待的情况；其二、当操作人员实际的装配时间小于预设的装配时间，则会出现操作人员等待AGV协作机器人的情况；以上两种情况都存在等待的情况出现、导致人机协作效率低。因此，以上问题亟需解决。
技术实现思路
[0004]本专利技术目的是为了解决制造业装配现场人机协作效率低的问题；本专利技术提供了一种基于视觉监测人工装配动作的人机协作调度方法。
[0005]基于视觉监测人工装配动作的人机协作调度方法，该方法包括如下步骤：
[0006]S1、构建样本集：
[0007]样本集中每个样本为操作人员在目标工位将各类别零件装配成半成品件的装配动作视频；其中，装配成半成品件的装配过程包括N类装配动作；
[0008]S2、对样本集进行预处理：
[0009]将每个样本的装配动作视频按视频帧率FPS分割成多帧原始图像，每一帧对应一张原始图像；
[0010]对每个样本的各帧原始图像进行零件标注，得到零件标签信息；其中，零件标签信息包括各零件类别、以及各零件所在位置处标注的包围框的坐标信息；
[0011]分割每个样本中各类装配动作的动作起始帧和动作结束帧，并对各类装配动作按照执行的先后顺序赋予相应的动作标签值；
[0012]S3、根据预处理后的样本集构建第一训练集，并对零件识别模型进行训练：
[0013]将各帧原始图像作为第一训练集中的输入数据，将该输入数据对应的零件类别和各零件类别的数量作为真值；利用第一训练集对零件识别模型训练，确定零件识别模型的权重参数，完成训练；
[0014]S4、装配动作特征融合：
[0015]对从每个样本中各帧原始图像所提取到的手部动作特征和零件特征进行特征融合，得到该样本中各帧原始图像所对应的装配动作特征；其中，手部动作特征包括手部各骨骼点与手腕处骨骼点间的欧氏距离和手部各骨骼点的三维矢量速度；零件特征包括各零件类别和各零件类别所对应数量；
[0016]S5、计算各帧原始图像的装配进程值:
[0017]根据每个样本的所有类别装配动作所对应的动作起始帧、动作结束帧、以及动作标签值，计算该样本中各帧原始图像的装配进程值；
[0018]S6、根据样本的装配动作特征和装配进程值构建第二训练集，并对装配进程预测模型进行训练：
[0019]从每个样本中连续取m帧原始图像所对应的装配动作特征作为第二训练集的输入数据，将连续m帧中最后一帧原始图像所对应的装配进程值作为与输入数据对应的真值；利用第二训练集对装配进程预测模型训练，确定装配进程预测模型的权重参数，完成训练；
[0020]S7、提取实时监测得到连续m帧实测图像中两只手的手部动作特征，利用确定权重参数后的零件识别模型对连续m帧实测图像进行零件特征提取；
[0021]S8、将各帧实测图像中手部动作特征和零件特征进行特征融合，得到该帧实测图像所对应的装配动作特征；
[0022]S9、利用确定权重参数后的装配进程预测模型根据连续m帧实测图像所对应的装配动作特征，预测出连续m帧中最后一帧实测图像所对应的装配进程值，当预测出的装配进程值在预设装配进程阈值范围内时，对AGV协作机器人进行实时调度。
[0023]作为优选，步骤S2中FPS＝30f/s，其中，f/s为帧每秒。
[0024]作为优选，步骤S2中采用LabelImg工具对各帧原始图像进行零件标注。
[0025]作为优选，步骤S4中各帧原始图像的手部各骨骼点与手腕处骨骼点间的欧氏距离的实现方式包括：
[0026]将手腕处骨骼点作为坐标原点，通过姿态估计算法预测出每只手21个骨骼点的三维坐标，并进行归一化处理，得到归一化后各骨骼点的三维坐标值(x
i
，y
f
，z
f
)，利用归一化后每只手21个骨骼点的三维坐标值，计算每个骨骼点与手腕处骨骼点间的欧氏距离d
i
；
[0027]其中，21个骨骼点中手腕处骨骼点作为坐标原点(x0，y0，z0)，x
i
、y
i
和z
i
分别为第i个骨骼点的x轴方向、y轴方向和z轴方向的坐标，z轴方向为深度方向，x0，y0和z0分别为手腕处骨骼点的x轴方向、y轴方向和z轴方向的坐标，且手腕处骨骼点为第0个骨骼点；d
f
为第i个骨骼点与手腕处骨骼点间的欧氏距离。
[0028]作为优选，步骤S4中各帧原始图像的手部各骨骼点的三维矢量速度的实现方式包括：
[0029]将手腕处骨骼点作为坐标原点，通过姿态估计算法预测出每只手21个骨骼点的三维坐标，并进行归一化处理，得到归一化后各骨骼点的三维坐标值(x
i
，y
f
，z
f
)；
[0030]利用归一化后的相邻两帧原始图像中相应骨骼点间三维坐标值之差、及相邻两帧原始图像间的时间间隔Δt，计算各帧原始图像各骨骼点在x、y、z三个方向上的矢量速度分量v
jx，i
、v
jy，i
、v
jz，i
；
[0031]其中，v
jx，i
、v
jy，i
、v
jz，i
分别为第j帧原始图像中第i个骨骼点在x、y、z三个方向上的矢量速度分量；i＝0，1，2，...，20；j＝1，2，3，...；21个骨骼点中手腕处骨骼点作为坐标原点(x0，y0，z0)，x
i
、y
i
和z
i
分别为第i本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于视觉监测人工装配动作的人机协作调度方法，其特征在于，该方法包括如下步骤：S1、构建样本集：样本集中每个样本为操作人员在目标工位将各类别零件装配成半成品件的装配动作视频；其中，装配成半成品件的装配过程包括N类装配动作；S2、对样本集进行预处理：将每个样本的装配动作视频按视频帧率FPS分割成多帧原始图像，每一帧对应一张原始图像；对每个样本的各帧原始图像进行零件标注，得到零件标签信息；其中，零件标签信息包括各零件类别、以及各零件所在位置处标注的包围框的坐标信息；分割每个样本中各类装配动作的动作起始帧和动作结束帧，并对各类装配动作按照执行的先后顺序赋予相应的动作标签值；S3、根据预处理后的样本集构建第一训练集，并对零件识别模型进行训练：将各帧原始图像作为第一训练集中的输入数据，将该输入数据对应的零件类别和各零件类别的数量作为真值；利用第一训练集对零件识别模型训练，确定零件识别模型的权重参数，完成训练；S4、装配动作特征融合：对从每个样本中各帧原始图像所提取到的手部动作特征和零件特征进行特征融合，得到该样本中各帧原始图像所对应的装配动作特征；其中，手部动作特征包括手部各骨骼点与手腕处骨骼点间的欧氏距离和手部各骨骼点的三维矢量速度；零件特征包括各零件类别和各零件类别所对应数量；S5、计算各帧原始图像的装配进程值:根据每个样本的所有类别装配动作所对应的动作起始帧、动作结束帧、以及动作标签值，计算该样本中各帧原始图像的装配进程值；S6、根据样本的装配动作特征和装配进程值构建第二训练集，并对装配进程预测模型进行训练：从每个样本中连续取m帧原始图像所对应的装配动作特征作为第二训练集的输入数据，将连续m帧中最后一帧原始图像所对应的装配进程值作为与输入数据对应的真值；利用第二训练集对装配进程预测模型训练，确定装配进程预测模型的权重参数，完成训练；S7、提取实时监测得到连续m帧实测图像中两只手的手部动作特征，利用确定权重参数后的零件识别模型对连续m帧实测图像进行零件特征提取；S8、将各帧实测图像中手部动作特征和零件特征进行特征融合，得到该帧实测图像所对应的装配动作特征；S9、利用确定权重参数后的装配进程预测模型根据连续m帧实测图像所对应的装配动作特征，预测出连续m帧中最后一帧实测图像所对应的装配进程值，当预测出的装配进程值在预设装配进程阈值范围内时，对AGV协作机器人进行实时调度。2.根据权利要求1所述的基于视觉监测人工装配动作的人机协作调度方法，其特征在于，步骤S2中FPS＝30f/s，其中，f/s为帧每秒。3.根据权利要求1所述的基于视觉监测人工装配动作的人机协作调度方法，其特征在
于，步骤S2中采用LabelImg工具对各帧原始图像进行零件标注。4.根据权利要求1所述的基于视觉监测人工装配动作的人机协作调度方法，其特征在于，步骤S4中各帧原始图像的手部各骨骼点与手腕处骨骼点间的欧氏距离的实现方式包括：将手腕处骨骼点作为坐标原点，通过姿态估计算法预测出每只手21个骨骼点的三维坐标，并进行归一化处理，得到归一化后各骨骼点的三维坐标值(x
i
,y
i
,z
i
)，利用归...
【专利技术属性】
技术研发人员：闫纪红，王智慧，王子鹏，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。