基于循环神经网络的人机协作人体行为意图判别方法技术

本发明专利技术公开了一种基于改进的循环神经网络的人机协作人体行为意图判别，包括步骤：对人机协作完成拆卸任务过程中的人体行为意图估计问题建立深度学习网络模型，结合视频数据的特点对于意图提前感知问题进行分析；结合拆卸任务采集相应的视频数据；采用改进的LSTM循环神经网络来对意图类别进行求解，通过采集的视频数据训练深度学习网络模型，获得最优参数；根据最优参数调整深度学习网络模型的损失函数，测试单个视频不同数据长度的判别结果，寻找最优早期预判效果。本发明专利技术结合真实的人机协作拆卸场景，对人机协作中机器人提前预测人体行为提供了一种有效的解决方式。

Human behavior intention discrimination method based on cyclic neural network

【技术实现步骤摘要】
基于循环神经网络的人机协作人体行为意图判别方法
本专利技术适用于解决人机协作领域的人体行为意图早期预测和判别问题，涉及的是一种基于循环神经网络的人机协作人体行为意图判别方法。
技术介绍
近年来，人机协作已经成为智能制造的关注热点。在传统的制造场景中，由于安全原因，人类操作员和机器人被分开在不同的工作区域，各自独立完成自己所分配的任务。在人机协作系统中，机器人能协助人共同执行复杂的任务，从而提高生产效率和降低人的负荷。为了实现人机协作，机器人需要跟踪人的动作，估计人类工作者的行为意图，这对机器人智能地协助人一起完成复杂的操作任务至关重要。人机协作中的人体行为意图估计不同于人体行为识别，它需要在人的动作完成之前就能对动作进行预测，从而使机器人及时做出协作动作。人机协作拆卸领域具有良好的应用前景，对于废旧产品的最大化再利用具有重要意义。由于每个废旧产品的状态不同，因此，废旧产品的拆卸无法用固定的流程，人机协作拆卸具有很大的不确定性，由此造成人机协作拆卸中的人体行为意图估计十分复杂。深度学习作为一种新颖的机器学习方法，具有发现和学习复杂模式的能本文档来自技高网...

【技术保护点】
1.一种基于循环神经网络的人机协作人体行为意图判别方法，其特征在于，包括如下步骤：/n1)对人机协作完成拆卸任务过程中的人体行为意图估计问题建立深度学习网络模型，结合视频数据的特点对于意图提前感知问题进行分析；/n2)结合拆卸任务采集相应的视频数据；/n3)采用改进的LSTM循环神经网络来对意图类别进行求解，通过采集的视频数据训练深度学习网络模型，获得最优参数；/n4)根据最优参数调整深度学习网络模型的损失函数，测试单个视频不同数据长度的判别结果，寻找最优早期预判效果。/n

【技术特征摘要】
1.一种基于循环神经网络的人机协作人体行为意图判别方法，其特征在于，包括如下步骤：
1)对人机协作完成拆卸任务过程中的人体行为意图估计问题建立深度学习网络模型，结合视频数据的特点对于意图提前感知问题进行分析；
2)结合拆卸任务采集相应的视频数据；
3)采用改进的LSTM循环神经网络来对意图类别进行求解，通过采集的视频数据训练深度学习网络模型，获得最优参数；
4)根据最优参数调整深度学习网络模型的损失函数，测试单个视频不同数据长度的判别结果，寻找最优早期预判效果。


2.根据权利要求1所述的基于循环神经网络的人机协作人体行为意图判别方法，其特征在于，步骤1)中对意图估计问题进行建模的步骤包括：
(1)对完整视频的特点进行分析，单个视频可以表示为时间序列X＝{x1,x2,…xt,…,xT,t＝1,…,T}，xt∈RM×N×P，其中，xt为每一帧的特征向量，M、N和P表示为单帧图片的特征维度，T为单个视频的总帧数；每个视频序列X都有一个与之对应的行为类别mT；mT取自设定的类别集合总共有K个意图类别；寻找一个最优参数θ*，它取自于深度学习网络模型所有可能的参数取值Θ，θ*表示为：



(2)分析视频早期类别估计问题，将行为完全发生的时刻定义为T，对一个意图预测问题来说，需要在T1＜T时刻就能准确估计出运动的类别；对于给定的图像序列训练模型的目的是在时间步T1识别正确的运动类别；相当于在预期的行动完全发生之前判别出相应动作的所属类别，即意图类别集合的某个取值；求解意图问题表示为寻找最大意图类别的过程：





3.根据权利要求1所述的基于循环神经网络的人机协作人体行为意图判别方法，其特征在于，步骤2)具体包括：
(1)根据不同操作工具的操纵特点，确立要收集的人机协作拆卸数据集类型，包括操纵动作类型和操纵工具类别；
(2)根据动作特点确定要获取的视频数据时长，获取满足深度学习样本量的视频数据集；
(3)对采集的视频数据做预处理。


4.根据权利要求1所述的基于循环神经网络的人机协作人体行为意图判别方法，其特征在于，步骤3)中，利用改进的LSTM循环神经网络对意图类别进行求解的步骤包括：
(1)将采集的视频帧通过经典的vgg16卷积神经网络训练后得到提取的特征向量；
(2)将提取的特征向量输入到改进的LSTM循环神经网络中进行训练，借鉴自然语言处理问题中的时序关联问题，对单个LSTM胞体进行细调，将上一帧判断的预测类别mt-1作为下一帧的输入；xt是卷积神经网络提取的t时刻的特征向量，itft和ot分别是时间步t的输入门，遗忘门和输出门，ct和ht分别是时间步t的单元激活矢量和隐藏状态；W表示相应的权重矩阵；b表示相应的偏移矩阵；σ表示Sigmoid函数；改进的LSTM算法公式为：





5.根据权利要求1所述的基于循环神经网络的人机协作人体行为意图判别方法，特征在于，步骤4)具体为：
(1)在对数损失函数前面增加与时间相关的权重，表示t时刻类别为k的概率，改进的损失函数loss公式如下：



(2)在时间步t时刻的意图类别根据以上的网络来进行判别，输出视频序列结果代表所有未来时间步的人类意图mt+1,mt+2...mT；对被测试视频进行处理，分别...

【专利技术属性】
技术研发人员：姚碧涛，刘紫彤，刘泉，徐文君，刘志浩，周祖德，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42