一种人机共融风险的预测方法、装置、终端设备及介质制造方法及图纸

本申请适用于人机共融技术领域，提供了一种人机共融风险的预测方法、装置、终端设备及介质，通过采集正常行为数据；利用作业人员对应的人员行为特征提取模型和机器行为特征提取模型，对正常行为数据进行特征提取，并对人员行为特征和机器行为特征进行融合，得到人机共融特征；根据人机共融特征，利用人员行为重构模型和机器行为重构模型，得到人员行为重构数据和机器行为重构数据；计算重构损失，并利用其对各个模型进行更新，得到本地模型参数；对所有作业人员对应的本地模型参数进行聚合，得到全局模型参数，根据全局模型参数、待测人员行为数据以及待测机器行为数据，预测目标作业环境下待测作业人员的人机共融风险。业环境下待测作业人员的人机共融风险。业环境下待测作业人员的人机共融风险。

【技术实现步骤摘要】
一种人机共融风险的预测方法、装置、终端设备及介质


[0001]本申请属于人机共融
，尤其涉及一种人机共融风险的预测方法、装置、终端设备及介质。

技术介绍

[0002]人机共融是指作业人员和作业机器处在同一大型空间中进行工作，相互理解、相互感知，实现紧密协调地、自然地交互作业，共同完成某项系统性工作。由于人机共融工作模式下的作业人员和作业机器之间没有了物理屏障，因此在工作过程中确保作业人员的安全成为一个重大的挑战。
[0003]传统的人机共融风险的预测方法以作业人员与作业机器之间的距离作为预测人机共融风险的指标，该方法虽不受作业人员或作业机器的状态限制，但是，现实中有很多场景如搜救、做手术等需要作业人员与作业机器紧密协作甚至零距离接触，此时基于最小距离预测的人机共融风险的准确性较低甚至是不再适用。

技术实现思路

[0004]本申请提供了一种人机共融风险的预测方法、装置、终端设备及介质，可以解决传统的人机共融风险的预测方法准确性低的问题。
[0005]第一方面，本申请提供了一种人机共融风险的预测方法，包括：
[0006]步骤1，采集目标作业环境下N个作业人员的人员正常行为数据和M个机器的机器正常行为数据；
[0007]分别针对M个作业人员中的每个作业人员，执行步骤2至步骤4：
[0008]步骤2，分别利用预先构建的作业人员对应的人员行为特征提取模型和机器行为特征提取模型，对作业人员的人员正常行为数据和机器正常行为数据进行特征提取，得到作业人员的人员行为特征和M个机器行为特征，并分别对人员行为特征和每个机器行为特征进行融合，得到作业人员与每个机器的人机共融特征；机器行为特征与机器一一对应，人机共融特征用于表征作业人员与机器之间的关系紧密程度。
[0009]步骤3，根据人机共融特征，分别利用预先构建的作业人员对应的人员行为重构模型和机器行为重构模型，得到作业人员的人员行为重构数据和机器行为重构数据；
[0010]步骤4，根据人员行为重构数据和机器行为重构数据，计算重构损失，并根据重构损失，对人员行为特征提取模型、机器行为特征提取模型、人员行为重构模型以及机器行为重构模型进行更新，得到作业人员对应的本地模型参数；
[0011]步骤5，对所有作业人员对应的本地模型参数进行聚合，得到全局模型参数，根据全局模型参数、采集的待测人员行为数据以及采集的待测机器行为数据，预测目标作业环境下待测作业人员的人机共融风险。
[0012]可选的，人员行为特征提取模型和机器行为特征提取模型均包括相同个数的特征提取模块，特征提取模块包括空间图卷积层、自注意力层以及时序卷积层，空间图卷积层的
输出端连接自注意力层的输入端，自注意力层的输出端连接时序卷积层的输入端。
[0013]可选的，步骤2中分别对人员行为特征和每个机器行为特征进行融合，得到作业人员与每个机器的人机共融特征，包括：
[0014]分别针对M个机器中的每个机器，通过计算公式
[0015][0016]得到融合特征其中，表示第n个作业人员对应的人员行为特征提取模型第j个特征提取模块中的人员行为特征分量和机器行为特征提取模型第j个特征提取模块中第m个机器的机器行为特征分量融合后的融合特征，j＝1,2,...,J，J表示特征提取模块的总个数，n＝1,2,...,N，N表示作业人员的总个数，m＝1,2,...,M，M表示机器的总个数，g(
·
)表示注意力池化函数，分别表示第j个特征提取模块的空间图卷积层特征更新参数、自注意力层特征更新参数和时序卷积层特征更新参数，分别表示第n个作业人员对应的人员行为特征提取模型第j个特征提取模块中空间图卷积层对应的人员行为特征分量、自注意力层对应的人员行为特征分量以及时序卷积层对应的人员行为特征分量，分别表示机器行为特征提取模型第j个特征提取模块中空间图卷积层对应的第m个机器的机器行为特征分量、自注意力层对应的第m个机器的机器行为特征分量以及时序卷积层对应的第m个机器的机器行为特征分量，con(
·
)表示特征联结操作；
[0017]通过计算公式
[0018][0019]得到人机共融特征F
nm
；其中，F
nm
表示第n个作业人员与第m个机器的人机共融特征。
[0020]可选的，人员行为重构模型和机器行为重构模型均包括相同个数的重构模块，重构模块包括空间图卷积层、自注意力层和时序反卷积层，空间图卷积层的输出端连接自注意力层的输入端，自注意力层的输出端连接时序反卷积层的输入端。
[0021]可选的，步骤3中根据人机共融特征，利用预先构建的作业人员对应的人员行为重构模型，得到作业人员的人员行为重构数据，包括：
[0022]通过计算公式
[0023][0024]得到聚合特征其中，表示第n个作业人员对应的聚合特征，c
nm
表示第n个作业人员与第m个机器之间的距离，τ表示聚合偏置，φ(
·
)表示聚合函数；
[0025]根据聚合特征，利用人员行为重构模型，得到人员行为重构数据。
[0026]可选的，步骤4，包括：
[0027]步骤41，通过计算公式
[0028][0029]得到重构损失L
n
；其中，L
n
表示第n个作业人员对应的重构损失，H
n
表示第n个作业人员的人员正常行为数据，R
m
表示第m个机器对应的机器正常行为数据，表示第n个作业人员的人员行为重构数据，表示第m个机器的机器行为重构数据，α表示作业人员对应的损失权重，β表示机器对应的损失权重，||
·
||2表示求解2的范数；
[0030]步骤42，利用梯度下降法分别对第n个作业人员对应的人员行为特征提取模型、机器行为特征提取模型、人员行为重构模型以及机器行为重构模型进行参数更新，得到第n个作业人员对应的新人员行为特征提取模型、新机器行为特征提取模型、新人员行为重构模型以及新机器行为重构模型；
[0031]步骤43，根据第n个作业人员对应的新人员行为特征提取模型、新机器行为特征提取模型、新人员行为重构模型以及新机器行为重构模型，得到第n个作业人员对应的新人员行为重构数据和新机器行为重构数据；
[0032]步骤44，根据新人员行为重构数据和新机器行为重构数据，计算新重构损失，若新重构损失小于L
n
，则将新人员行为特征提取模型的参数、新机器行为特征提取模型的参数、新人员行为重构模型的参数以及新机器行为重构模型的参数作为第n个作业人员对应的本地模型参数；否则，分别将新人员行为特征提取模型、新机器行为特征提取模型、新人员行为重构模型以及新机器行为重构模型作为步骤42中的人员行为特征提取模型、机器行为特征提取模型、人员行为重构模型以及机器行为重构模型，返回执行步骤42。
[0033]可选的，步骤5中对所有作业人员对应的本地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机共融风险的预测方法，其特征在于，包括：步骤1，采集目标作业环境下N个作业人员的人员正常行为数据和M个机器的机器正常行为数据；分别针对所述N个作业人员中的每个作业人员，执行步骤2至步骤4：步骤2，分别利用预先构建的所述作业人员对应的人员行为特征提取模型和机器行为特征提取模型，对所述作业人员的人员正常行为数据和所述机器正常行为数据进行特征提取，得到所述作业人员的人员行为特征和M个机器行为特征，并分别对所述人员行为特征和每个机器行为特征进行融合，得到所述作业人员与每个机器的人机共融特征；所述机器行为特征与所述机器一一对应，所述人机共融特征用于表征作业人员与机器之间的关系紧密程度。步骤3，根据所述人机共融特征，分别利用预先构建的所述作业人员对应的人员行为重构模型和机器行为重构模型，得到所述作业人员的人员行为重构数据和机器行为重构数据；步骤4，根据所述人员行为重构数据和所述机器行为重构数据，计算重构损失，并根据所述重构损失，对所述人员行为特征提取模型、机器行为特征提取模型、人员行为重构模型以及机器行为重构模型进行更新，得到所述作业人员对应的本地模型参数；步骤5，对所有作业人员对应的本地模型参数进行聚合，得到全局模型参数，根据所述全局模型参数、采集的待测人员行为数据以及采集的待测机器行为数据，预测所述目标作业环境下所述待测作业人员的人机共融风险。2.根据权利要求1所述的预测方法，其特征在于，所述人员行为特征提取模型和所述机器行为特征提取模型均包括相同个数的特征提取模块，所述特征提取模块包括空间图卷积层、自注意力层以及时序卷积层，所述空间图卷积层的输出端连接所述自注意力层的输入端，所述自注意力层的输出端连接所述时序卷积层的输入端。3.根据权利要求2所述的预测方法，其特征在于，所述步骤2中分别对所述人员行为特征和每个机器行为特征进行融合，得到所述作业人员与每个机器的人机共融特征，包括：分别针对所述M个机器中的每个机器，通过计算公式得到融合特征其中，表示第n个作业人员对应的人员行为特征提取模型第j个特征提取模块中的人员行为特征分量和机器行为特征提取模型第j个特征提取模块中第m个机器的机器行为特征分量融合后的融合特征，j＝1,2,...,J，J表示特征提取模块的总个数，n＝1,2,...,N，N表示作业人员的总个数，m＝1,2,...,M，M表示机器的总个数，g(
·
)表示注意力池化函数，分别表示第j个特征提取模块的空间图卷积层特征更新参数、自注意力层特征更新参数和时序卷积层特征更新参数，分别表示第n个作业人员对应的人员行为特征提取模型第j个特征提取模块中空间图卷积层对应的人员行为特征分量、自注意力层对应的人员行为特征分量以及时序卷积层对应的人员行为特征分量，分别表示机器行为特征提取模型第j个特征提取模块中空间图卷积层对应
的第m个机器的机器行为特征分量、自注意力层对应的第m个机器的机器行为特征分量以及时序卷积层对应的第m个机器的机器行为特征分量，con(
·
)表示特征联结操作；通过计算公式得到所述人机共融特征F
nm
；其中，F
nm
表示第n个作业人员与第m个机器的人机共融特征。4.根据权利要求3所述的预测方法，其特征在于，所述人员行为重构模型和所述机器行为重构模型均包括相同个数的重构模块，所述重构模块包括空间图卷积层、自注意力层和时序反卷积层，所述空间图卷积层的输出端连接所述自注意力层的输入端，所述自注意力层的输出端连接所述时序反卷积层的输入端；所述步骤3中根据所述人机共融特征，利用预先构建的所述作业人员对应的人员行为重构模型，得到所述作业人员的人员行为重构数据，包括：通过计算公式得到聚合特征其中，表示第n个作业人员对应的聚合特征，c
nm
表示第n个作业人员与第m个机器之间的距离，τ表示聚合偏置，φ(
·
)表示聚合函数；根据所述聚合特征，利用所述人员行为重构模型，得到所述人员行为重构数据。5.根据权利要求4所述的预测方法，其特征在于，所述步骤4，包括：步骤41，通过计算公式得到所述重构损失L
n
；其中，L
n
表示第n个作业人员对应的重构损失，H
n
表示第n个作业人员的人员正常行为数据，R
m
表示第m个机器对应的机器正常行为数据，表示第n个作业人员的人员行为重构数据，表示第m个机器的机器行为重构数据，α表示作业人员对应的损失...

【专利技术属性】
技术研发人员：李沁，胡春华，张军号，郭潞，肖培，胡雨轩，
申请(专利权)人：湖南工商大学，
类型：发明
国别省市：