一种人体动作识别和预测方法及装置制造方法及图纸

本发明专利技术公开了一种人体动作识别和预测方法，通过两个数据源并行地获取数据，一是来自于相机拍摄的目标人体运动视频或图像，二是佩戴在目标人体的能提取人体表面肌电信号的智能设备采集的人体表面肌电信号，同时并行地对两种数据进行人体动作的实时识别，接着将根据人体的运动视频或图像实施人体动作识别的中间数据，以及根据人体的表面肌电信号数据实施人体动作识别的中间数据，通过人体动作识别和预测模型实现融合，从而得到对人体动作的识别和预测。

A method and device for human motion recognition and prediction

【技术实现步骤摘要】
一种人体动作识别和预测方法及装置
本专利技术涉及基于移动平台的智能看护领域，具体涉及一种人体动作识别和预测方法及装置。
技术介绍
人体动作识别是模式识别领域的研究热点。近年来，随着人机交互技术、传感器技术、机器学习等关键技术的飞速发展，人体动作识别被广泛应用于智能控制、医疗康复、健康监护等领域。使用包括摄像机在内的多种传感器来使得计算机能“看”到目标的动作过程从而识别目标过程的动作识别依赖的是计算机“看”到的目标的连续运动序列，这已经是比较成熟的技术。但是，当把这类动作识别迁移到移动平台上时，由于移动平台可能不会连续地盯着目标或专注与某个特定目标，这导致当计算机从目标A转移到目标B上的时候，由于缺失了目标B的运动过程数据，从而难以识别目标B当前动作；另一方面，对应看护机器人来说，比如：目标从把手放在椅子扶手的久坐状态，转变为想用手支持自己站起来的时候，由于手部或上肢没有运动过程或只有微小幅度的运动过程，这使得计算机难以作出关于目标的动作判断或动作预测。这些问题的解决对移动平台的看护机器人等有很大的意义。为了使得基于移动平台的看护机器人能对目标的动作作出准确的预测和识别，需要引入其他的启发数据，比如表面肌电信号。当前表面肌电信号的研究和应用主要集中在假肢控制、功能性神经电刺激和生物反馈研究、运动医学、康复医学和临床诊断等方面。在计算机人机交互领域，也又不少研究学者应用表面肌电信号于手势识别，通过对手臂肌电信号的分析识别手部的活动，并且取得了良好的效果。这些设备大多只能控制特定的设别，如遥控飞机或者假肢。实际应用中，肌电信号是不稳定的，前述使用肌电来实现控制的设备不仅需要用户将肌电设备佩戴在手臂等特定位置，还需要经常性的大幅度的动作训练和识别。
技术实现思路
本专利技术的技术解决问题是：以相机为主要传感器的移动平台会因为缺失目标人体动作过程中的某些图像数据而无法识别目标人体当前时刻的动作，或只能识别出目标人体当前时刻的姿态而无法判断目标人体动作意图，或预测目标人体的动作意图。本专利技术提供一种人体动作识别和预测方法，通过两个数据源并行地获取数据，一是来自于相机拍摄的目标人体运动视频或图像，二是佩戴在目标人体的能提取人体表面肌电信号的智能设备采集的人体表面肌电信号，同时并行地对两种数据进行人体动作的实时识别，接着将根据人体的运动视频或图像实施人体动作识别的结果，以及人体的根据表面肌电信号数据实施人体动作识别的结果，通过人体动作识别和预测模型实现融合，从而得到对人体动作的识别和预测。为此，本专利技术的第一个目的在于提出一种人体动作识别和预测方法，具体步骤包括：步骤1、基于相机的视频或图像获取，获取相机拍摄的目标人体的运动视频数据；步骤2、面向视频数据的人体动作实时识别，识别目标人体直到当前时刻的动作或姿态变化过程；步骤3、基于表面肌电信号采集装置的目标人体表面肌电信号获取，获取目标人体表面肌电信号；步骤4、面向表面肌电信号的信号模式实时识别，识别目标人体表面肌电信号中的特定模式；步骤5、人体动作识别和预测模型，融合视频数据中的人体动作或姿态变化过程和表面肌电信号中特定的变化模式，识别目标人体的动作和预测目标人体的动作意图。进一步地，步骤1到步骤2是获取视频数据、处理视频数据,步骤3到步骤4是获取表面肌电信号、处理表面肌电信号，对两种数据来源的数据获取和处理是并行的。进一步地，来自相机采集的视频数据和肌电信号采集的人体表面肌电信号数据在时序上是同步的。在步骤1中，以相机为主要传感器的移动平台在移动过程中，需要相机拍摄环境视频或图像从而获取环境数据，因此当目标人体在实施动作时，有两种情况，一是相机拍摄了目标人体动作的连续过程；二是相机未拍摄到该动作的连续过程视频或图像。这两种情况下的视频数据都不影响本专利技术方法的后续步骤。在步骤2中，根据人体动作的视频和图像，从每一幅图像中的环境背景中将目标人体的影像分割处理，接着可以通过提取时空特征并按特征分类的方式，或利用深度学习以端到端的学习训练方式实现人体动作识别或人体姿态识别。在步骤3中，获取目标的表面肌电信号需要目标人体佩戴有表面肌电信号采集和传输装置；优选地，可以通过带表面肌电信号采集功能的智能手环获取目标的表面肌电信号；优选地，由于人体动作识别和预测的计算过程是在基于移动平台的主机端，因此主机通过蓝牙通讯和目标人体佩戴的采集表面肌电信号的装置实现蓝牙通讯；优选地，可以获取多通道的表面肌电信号。在步骤4中，肌电信号是骨骼肌细胞的自发活动的综合信号，利用表面肌电信号识别人体动作通常需要对多通道的肌电信号做复杂的时序信号分析。在步骤5中，人体动作识别和预测模型通过融合基于视频图像数据的人体动作识别的中间数据以及基于表面肌电信号的人体动作时的中间数据，来识别和预测目标人体的动作涉及多源信号的融合。综上所述，本专利技术方法通过两个数据源并行地获取数据，一是来自于相机拍摄的目标人体运动视频或图像，二是佩戴在目标人体的能提取人体表面肌电信号的智能设备采集的人体表面肌电信号，同时并行地对两种数据进行人体动作的实时识别，接着将根据人体的运动视频或图像实施人体动作识别的中间数据，以及根据人体的表面肌电信号数据实施人体动作识别的中间数据，通过人体动作识别和预测模型实现融合，从而得到对人体动作的识别和预测。利用本专利技术方法，智能看护机器人可以智能地发现被看护目标是否需要辅助，并及时提供必需的辅助，从而更好地为被看护目标服务。本专利技术的另一目的在于提供一种人体动作识别和预测装置，包括：第一获取模块，用于获取相机拍摄的视频或图像数据；第一识别模块，用于根据视频或图像实时识别目标人体的动作或姿态；第二获取模块，用于获取目标人体的表面肌电信号；第二识别模块，用于根据表面肌电信号实时识别信号模式；第三识别模块，用于融合第一识别模块和第二识别模块的中间数据，识别用户当前的动作或预测用户动作意图。其中，第一获取模块和第一识别模块，与第二获取模块第二识别模块，组成两个并行模块组，第一获取模块和第二获取模块并行地获取数据，第一识别模块和第二识别模块并行地处理数据。与现有技术相比，本专利技术的有益效果包括：1、本专利技术方法针对以相机为主要传感器的移动平台的人体动作识别和预测，通过融合目标表面肌电信号解决了缺少目标连续视频或图像数据时的人体动作识别和预测；2、本专利技术方法在基于视频或图像数据的人体动作或姿态识别的基础上，仅需要目标人体表面肌电信号的简单模式就可以通过人体动作预测模型实现人体动作识别和预测，解决了利用表面肌电信号进行动作识别时需要频繁校准和训练的问题。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。图1是根据本专利技术的一个实施例的一种人体动作识别和预测方法的结构示意图。图2是根据本专利技术的另一个实施例本文档来自技高网...

【技术保护点】
1.一种人体动作识别和预测方法，其特征在于，包括，1）通过两个数据源并行地获取数据，一是来自于相机拍摄的目标人体运动视频或图像，二是佩戴在目标人体的能提取人体表面肌电信号的智能设备采集的人体表面肌电信号，同时并行地对两种数据进行人体动作的实时识别，2）接着将根据人体的运动视频或图像实施人体动作识别的中间数据，以及根据人体的表面肌电信号数据实施人体动作识别的中间数据，通过人体动作识别和预测模型实现融合。/n

【技术特征摘要】
1.一种人体动作识别和预测方法，其特征在于，包括，1）通过两个数据源并行地获取数据，一是来自于相机拍摄的目标人体运动视频或图像，二是佩戴在目标人体的能提取人体表面肌电信号的智能设备采集的人体表面肌电信号，同时并行地对两种数据进行人体动作的实时识别，2）接着将根据人体的运动视频或图像实施人体动作识别的中间数据，以及根据人体的表面肌电信号数据实施人体动作识别的中间数据，通过人体动作识别和预测模型实现融合。


2.根据权利要求1所述的一种人体动作识别和预测方法，其特征在于，具体步骤包括：
步骤1、基于相机的视频或图像获取，获取相机拍摄的目标人体的运动视频数据；
步骤2、面向视频数据的人体动作实时识别，识别目标人体直到当前时刻的动作或姿态变化过程；
步骤3、基于表面肌电信号采集装置的目标人体表面肌电信号获取，获取目标人体表面肌电信号；
步骤4、面向表面肌电信号的信号模式实时识别，识别目标人体表面肌电信号中的特定模式；
步骤5、人体动作识别和预测模型，融合视频数据中的人体动作或姿态变化过程和表面肌电信号中特定的变化模式，识别目标人体的动作和预测目标人体的动作意图。
...

【专利技术属性】
技术研发人员：程昔恩，
申请(专利权)人：程昔恩，
类型：发明
国别省市：江西;36