面向人机协作装配的人员作业意图识别方法技术

本发明专利技术公开了一种面向人机协作装配的人员作业意图识别方法，用于识别人机协作装配过程中人员的作业意图，包括以下步骤：采集装配环境场景的RGB

【技术实现步骤摘要】
面向人机协作装配的人员作业意图识别方法


[0001]本专利技术属于人
‑
机器人协作和智能制造
，具体涉及一种面向人机协作装配的人员作业意图识别方法。

技术介绍

[0002]在人机协作任务中，工作人员具有较高的灵活性与熟练的装配技能，工业机器人具备速度更快、负重更高、定位更精准等特点，双方优势互补可为高效完成复杂装配任务带来新的可能。
[0003]当前，人机协作装配面临的诸多挑战之一为使机器人具备对人员作业意图识别能力，从而使机器人主动地调整其装配任务，在装配过程中适时地为人员提供协助，最终实现顺畅的人机协作装配进而提高生产效率。

技术实现思路

[0004]针对现有技术中存在的问题，本专利技术提供一种面向人机协作装配的人员作业意图识别方法，以实现复杂装配场景下人员作业意图的识别。
[0005]为实现上述目的，本专利技术提供了一种面向人机协作装配的人员作业意图识别方法，用于识别装配过程中人员作业意图，包括以下几步：
[0006]1)通过Kinect红外相机，采集装配环境场景信息，记录装配环境中的视觉信息与深度信息，并将装配场景图片以RGB
‑
D视频流的形式输入到装配场景感知网络中；
[0007]2)装配场景感知网络检测装配场景中存在的各要素。
[0008]3)从装配场景感知网络中提取各要素的视觉特征信息，同时将检测出各要素的包围框(Bounding Box)结合深度信息处理后得到三维空间特征。
[0009]4)利用场景感知网络的检测结果，构建图注意力网络，动态聚合装配环境中人员与作业对象的视觉特征信息、三维空间特征信息。
[0010]5)采用注意力机制抑制场景感知网络“有噪声”的检测结果对节点特征聚合带来的影响，最终实现人员作业意图识别。
[0011]步骤1)中，通过以下内容完成装配环境场景感知网络：
[0012]使用Kinect相机，采集装配场景的视觉信息，并制作数据集。
[0013]基于Faster
‑
RCNN神经网络构建场景感知网络并训练。为对人机协作装配环境进行目标检测，训练目标检测的类别主要包括人员、机器臂、各类工件(底座、齿轮、转轴)等。
[0014]步骤2)中，利用Faster R
‑
CNN神经网络获得装配场景中人员与作业对象的包围框(Bounding box)后，计算得到Bounding box的中心所在的像素点坐标(u,v)，再结合RGB
‑
D图像得到当前像素点深度信息d。
[0015]使用Kinect相机自带函数完成像平面坐标系到相机坐标系的转换，得到该像素点在Kinect相机坐标系下的坐标。
[0016]空间特征可以分为三维相对空间特征F
rp
与三维相对距离特征F
rd
。
[0017]三维相对空间特征F
rp
：
[0018][0019]三维相对距离特征F
rd
：
[0020][0021]其中，(x
i
,y
i
,z
i
)、(x
j
,y
j
,z
j
)分别为代表Kinect相机坐标系下人与作业对象的三维坐标，X
k
、Y
k
、Z
k
分别为相机坐标系下的最大坐标范围。
[0022]步骤3)中，场景感知网络对装配环境中人员和各类作业对象进行目标检测，得到人员与各类作业对象的包围框(Bounding Box)的同时，提取装配环境中人员、各类作业对象的视觉特征，从神经网络中最后一层全连接层(FC7)中提取装配场景中各检测结果的256维的视觉特征。
[0023]空间特征将用于初始化图注意力网络中两节点间边的特征而视觉特征将用于初始化图注意力网络中节点的特征。
[0024]步骤4)中，图G被定义为G＝(V,E)，其中V为节点(Node)的集合，E是边(Edge)的集合。图中节点和边的特征分别为h
v
和h
e
。记图中第i个节点为v
i
∈V，e
i,j
＝(v
i
,v
j
)∈E为节点v
i
和v
j
的有向边。
[0025]记节点v
i
的特征为更新一个节点的特征需要聚合该节点周边节点的特征，使用更新函数f
update
(
·
)更新后的节点特征通常可以被定义为：
[0026][0027]其中表示节点v
i
周边节点的特征的聚合结果，可以被定义为：
[0028][0029]其中N
i
表示与节点v
i
毗邻的节点的集合。同时聚合函数f
aggregate
(
·
)为对周边节点特征信息取平均：
[0030][0031]使用边缘函数f
edge
(
·
)对两个相连的节点之间的关系特征进行编码：
[0032][0033]其中，表示节点v
j
的特征，表示节点v
j
到v
i
的有向边的特征。
[0034]步骤5)中，使用注意力机制来抑制不相关的检测结果影响会对节点特征聚合带来的影响：
[0035][0036]其中α
ij
表示节点v
j
对节点v
i
经过归一化操作后的软权值，f
attn
(
·
)为注意力函数，
N
i
表示与节点v
i
毗邻的节点v
o
的集合。然后应用加权和使用更新函数f
update
(
·
)来更新各节点的特征，最终得到由所有链接到节点v
i
的相邻节点的潜在关系特征拼接组成
[0037][0038]其中N
i
表示与节点v
i
毗邻的节点的集合。最后更新节点的特征
[0039][0040]至此得到带有注意力机制的图注意力网络。
[0041]通过上述步骤，最终构建了用于预测的拼接表征：
[0042][0043]其中，为节点v
i
的特征，为节点v
j
的特征，为节点v
j
到节点v
i
的有向边f
ij
的特征。
[0044]为了计算动作分类分数s
a
∈R
k
，其中k代表可能的动作的总数。应用边读取函数f
readout
(
·
)读取节点间边的特征向量，并且本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向人机协作装配的人员作业意图识别方法，用于识别人机协作装配过程中人员的作业意图，其特征在于，包括以下步骤：采集装配环境场景的RGB
‑
D图像；构建装配场景感知网络，并对装配场景感知网络进行训练，以检测装配场景中存在的各要素；其中，各要素包括人员、机器以及各类工件；将图像输入至装配场景感知网络进行检测，并提取各要素的视觉特征以及空间特征；构建图注意力网络，利用视觉特征初始化各节点的特征，利用空间特征初始化节点间边的特征，动态聚合各节点特征，推理人员作业意图。2.根据权利要求1所述的面向人机协作装配的人员作业意图识别方法，其特征在于，通过Kinect红外相机采集装配环境场景的RGB
‑
D图像。3.根据权利要求1所述的面向人机协作装配的人员作业意图识别方法，其特征在于，基于Faster
‑
RCNN神经网络构建场景感知网络。4.根据权利要求3所述的面向人机协作装配的人员作业意图识别方法，其特征在于，从最后一层全连接层提取各要素的视觉特征。5.根据权利要求1所述的面向人机协作装配的人员作业意图识别方法，其特征在于，利用装配场景感知网络获取装配场景中各要素的包围框，计算得到各要素的包围框的中心所在的像素点坐标；结合图像的深度信息，将像平面坐标系转换到相机坐标系，由此得到各要素的空间特征。6.根据权利要求5所述的面向人机协作装配的人员作业意图识别方法，其特征在于，空间特征分为三维相对空间特征F
rp
与三维相对距离特征F
rd
：：式中，(x
i
,y
i
,z
i
)表示相机坐标系下人员的三维坐标，(x
j
,y
j
,z
j
)表示相机坐标系下机器以及各类工件的三维坐标，X
k
、Y
k
、Z
k
分别为相机坐标系下的最大坐标范围。7.根据权利要求1所述的面向人机协作装配的人员作业意图识别方法，其特征在于，动态聚合各节点特征，推理人员作业意图包括：首先聚合节点v
i
的周边的节点的特征以更新该节点；使用边缘函数f
edge
(
·
)对两个相连的节点v
...

【专利技术属性】
技术研发人员：徐文君，姚冬安，姚碧涛，纪圳睿，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：