一种人手装配技能解析的方法及系统技术方案

本发明专利技术涉及一种人手装配技能解析的方法及系统。该方法包括：采集人手装配动作演示过程中的视频特征以及指尖力特征；根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征；利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征；在提取所述时空特征的同时，利用长短期记忆网络模型，根据所述指尖力特征确定分割点特征；将所述空间特征以及所述分割点特征进行空间

【技术实现步骤摘要】
一种人手装配技能解析的方法及系统


[0001]本专利技术涉及人手装配技能解析领域，特别是涉及一种人手装配技能解析的方法及系统。

技术介绍

[0002]工业装配动作具有品种多、操作任务复杂、非标程度高的特点，其生产和精密装配环境存在明显的不确定性，这种庞大复杂的快节奏装配任务使得依靠专业人员编程的传统装配制造生产方式难以适应，严重限制了行业生产效率。因此，能够通过人手装配动作演示自主学习的机器人将会更好地促进装配行业自动化。实现对装配动作的自主学习首先需要对人手的装配技能进行解析，得到简单的可供机器人学习的基元动作序列。
[0003]传统动作识别方法有基于模板匹配的方法和基于统计模型的方法，存在费时、抗噪声能力弱、鲁棒性弱等问题，难以满足装配场景下精确识别基元动作的要求。近年来，基于深度学习的动作识别方法已取得了很大的研究进展，很多识别方法只针对视觉信息，存在需要人为调参、难以处理离散语义特征、随视觉角度变化存在部分遮挡等问题，导致识别到的基元动作片段不平滑、基元动作分割点不准确、存在部分遮挡情况效果差。

技术实现思路

[0004]本专利技术的目的是提供一种人手装配技能解析的方法及系统，以解决识别到的基元动作片段不平滑、基元动作分割点不准确、存在部分遮挡情况效果差的问题。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种人手装配技能解析的方法，包括：
[0007]采集人手装配动作演示过程中的视频特征以及指尖力特征；
[0008]根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征；
[0009]利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征；
[0010]在提取所述时空特征的同时，利用长短期记忆网络模型，根据所述指尖力特征确定分割点特征；
[0011]将所述空间特征以及所述分割点特征进行空间
‑
分割点特征池化，确定空间
‑
分割点特征；
[0012]对所述时空特征以及所述空间
‑
分割点特征进行加权融合，确定基元动作序列。
[0013]可选的，所述采集人手装配动作演示过程中的视频特征以及指尖力特征，具体包括：
[0014]利用深度视觉相机采集人手装配动作演示过程中的RGB
‑
D图像，输出人手装配动作演示的视频特征；所述视频特征包括多帧RGB图像以及多帧深度图像；
[0015]利用REP薄膜压力传感器采集人手装配动作演示过程中拇指和食指的指尖力变化
信息，并将所述指尖力变化信息转换为电阻值变化信息；
[0016]利用驱动模块将所述电阻值变化信息转换为模拟电压的变化；
[0017]利用嵌入式单片机对所述模拟电压的变化进行ADC处理，确定指尖力变化的电压值；所述指尖力变化的电压值为指尖力特征。
[0018]可选的，所述根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征，具体包括：
[0019]识别每一帧所述RGB图像中的对象，确定对象的类型以及2D边界框位置信息；所述对象为所述RGB图像中的装配零件以及人手；
[0020]根据所述2D边界框位置信息以及所述深度图像的深度信息确定所述对象的3D坐标；
[0021]基于所述对象的3D坐标利用点云滤波确定对象点云信息以及所述对象的3D边界框信息；
[0022]根据所述3D边界框信息判断所述对象的相对位置关系，生成装配场景图；
[0023]利用图网络模型不断更新每帧所述装配场景图的节点、边和全局属性，得到每帧所述装配场景图的空间特征。
[0024]可选的，所述利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征，具体包括：
[0025]构建单阶段的时间卷积网络；所述单阶段的时间卷积网络中的输入层后连接多个卷积层，所述卷积层使用卷积核为3的非因果卷积，引入每层加倍膨胀因子的空洞卷积以增大每层所述卷积层的感受野，最后一层隐含层每帧的感受野为完整视频帧数；
[0026]多次构建单阶段的时间卷积网络，生成多阶段时间卷积网络，并将所述多阶段的时间卷积网络中最后一层隐含层的特征作为所述人手装配动作演示过程中每帧视频的时空特征。
[0027]可选的，所述在提取所述时空特征的同时，利用长短期记忆网络模型，根据所述指尖力特征确定分割点特征，具体包括：
[0028]对所述指尖力特征进行预处理，确定多维指尖力特征；所述多维指尖力特征包括拇指数据、拇指方差、拇指斜率、食指数据、食指方差、食指斜率以及时间戳；其中，所述拇指数据与所述食指数据为当前时间戳原始指尖力电压数据，所述拇指方差与所述食指方差为当前时间戳及前后5个时间戳指尖力电压数据的方差，所述拇指斜率与所述食指斜率为当前时间戳及前后5个时间戳指尖力电压数据所拟合直线的斜率；
[0029]基于所述长短期记忆网络模型，利用所述多维指尖力特征识别所述装配动作的分割点信息；所述分割点信息用n
×
1维特征向量表示，所述特征向量用数字0和数字1进行编码，所述数字0所在行对应的视频帧数不是分割点，所述数字1所在行对应的视频帧数是分割点；其中，n为视频帧数；
[0030]根据所述n
×
1维特征向量确定分割点特征。
[0031]可选的，所述将所述空间特征以及所述分割点特征进行空间
‑
分割点特征池化，确定空间
‑
分割点特征，具体包括：
[0032]根据所述分割点特征内的分割点对所述空间特征进行分割，确定多段分割后的空间特征；
[0033]对每段所述分割后的空间特征进行平均池化，确定空间
‑
分割点特征。
[0034]可选的，所述对所述时空特征以及所述空间
‑
分割点特征进行加权融合，确定基元动作序列，具体包括：
[0035]将所述时空特征以及所述空间
‑
分割点特征加权融合后的融合特征对应的融合矩阵按行分块，定义所述融合矩阵；
[0036]根据所述融合矩阵确定每一帧视频的基元装配动作类型；
[0037]合并所述基元装配动作类型相同的相邻帧，确定所述人手装配动作演示视频的基元动作序列。
[0038]一种人手装配技能解析的系统，包括：
[0039]特征采集模块，用于采集人手装配动作演示过程中的视频特征以及指尖力特征；
[0040]空间特征提取模块，用于根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征；
[0041]时空特征提取模块，用于利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征；
[0042]分割点特征提取模块，用于在提取所述时空特征的同时，利用长短期记忆网络模型，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人手装配技能解析的方法，其特征在于，包括：采集人手装配动作演示过程中的视频特征以及指尖力特征；根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征；利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征；在提取所述时空特征的同时，利用长短期记忆网络模型，根据所述指尖力特征确定分割点特征；将所述空间特征以及所述分割点特征进行空间
‑
分割点特征池化，确定空间
‑
分割点特征；对所述时空特征以及所述空间
‑
分割点特征进行加权融合，确定基元动作序列。2.根据权利要求1所述的人手装配技能解析的方法，其特征在于，所述采集人手装配动作演示过程中的视频特征以及指尖力特征，具体包括：利用深度视觉相机采集人手装配动作演示过程中的RGB
‑
D图像，输出人手装配动作演示的视频特征；所述视频特征包括多帧RGB图像以及多帧深度图像；利用REP薄膜压力传感器采集人手装配动作演示过程中拇指和食指的指尖力变化信息，并将所述指尖力变化信息转换为电阻值变化信息；利用驱动模块将所述电阻值变化信息转换为模拟电压的变化；利用嵌入式单片机对所述模拟电压的变化进行ADC处理，确定指尖力变化的电压值；所述指尖力变化的电压值为指尖力特征。3.根据权利要求2所述的人手装配技能解析的方法，其特征在于，所述根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征，具体包括：识别每一帧所述RGB图像中的对象，确定对象的类型以及2D边界框位置信息；所述对象为所述RGB图像中的装配零件以及人手；根据所述2D边界框位置信息以及所述深度图像的深度信息确定所述对象的3D坐标；基于所述对象的3D坐标利用点云滤波确定对象点云信息以及所述对象的3D边界框信息；根据所述3D边界框信息判断所述对象的相对位置关系，生成装配场景图；利用图网络模型不断更新每帧所述装配场景图的节点、边和全局属性，得到每帧所述装配场景图的空间特征。4.根据权利要求3所述的人手装配技能解析的方法，其特征在于，所述利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征，具体包括：构建单阶段的时间卷积网络；所述单阶段的时间卷积网络中的输入层后连接多个卷积层，所述卷积层使用卷积核为3的非因果卷积，引入每层加倍膨胀因子的空洞卷积以增大每层所述卷积层的感受野，最后一层隐含层每帧的感受野为完整视频帧数；多次构建单阶段的时间卷积网络，生成多阶段时间卷积网络，并将所述多阶段的时间卷积网络中最后一层隐含层的特征作为所述人手装配动作演示过程中每帧视频的时空特征。
5.根据权利要求4所述的人手装配技能解析的方法，其特征在于，所述在提取所述时空特征的同时，利用长短期记忆网络模型，根据所述指尖力特征确定分割点特征，具体包括：对所述指尖力特征进行预处理，确定多维指尖力特征；所述多维指尖力特征包括拇指数据、拇指方差、拇指斜率、食指数据、食指方差、食指斜率以及时间戳；其中，所述拇指数据与所述食指数据为当前时间戳原始指尖力电压数据，所述拇指方差与所述食指方差为当前时间戳及前后5个时间戳指尖力电压数据的方差，所述拇指斜率与所述食指斜率为当前时间戳及前后5个时间戳指尖力电压数据所拟合直线的斜率；基于所述长短期记忆网络模型，利用所述多维指尖力特征识别所述装配动作的分割点信息；所述分割点信息用n
×
1维特征向量表示，所述特征向量用数字0和数字1进行编码，所述数字0所...

【专利技术属性】
技术研发人员：楚中毅，高正阳，刘沛，康增信，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：