一种实时动作识别人机交互系统及识别方法技术方案

本发明专利技术公开了一种实时动作识别人机交互系统及识别方法，包括图像获取单元、测距单元、神经网络模型和策略执行单元，神经网络模型又包括动作比对模块和动作匹配模块，本发明专利技术涉及人机交互技术领域。该实时动作识别人机交互系统及识别方法，通过在图像获取单元获取动态视频后，对其进行背景减除处理，识别效果好，之后将动态视频拆解为多组时间帧，并从中提取关键帧，删除剩余的时间帧，有效缩减系统出现大量的冗余，节省硬件资源，响应速度快，降低对硬件的性能要求，使得系统成本降低，同时，有效的降低了计算量，并通过将关键帧的识别和关键帧的动作提取结果同步进行，使得动作识别交互系统具有实时性。具有实时性。具有实时性。

【技术实现步骤摘要】
一种实时动作识别人机交互系统及识别方法


[0001]本专利技术涉及人机交互
，具体为一种实时动作识别人机交互系统及识别方法。

技术介绍

[0002]人机交互是人与机器人之间进行交流通信的一种方式，目前主流的人机交互方式包括语音交互、视觉交互、传感器交互、多通道交互等。
[0003]现有的人机交互动作识别系统通过视频采集设备采集，而且随着视频采集设备的发展，获取的图像质量越来越好，高分辨率图像提高动作识别准确率的同时，为保证实时性，其对硬件的性能要求较高。在实际应用中，采集到的信息很多都是相同的，尤其是对于动作识别这种需要处理一段图像序列的应用，因此，就会导致系统出现大量的冗余，操作和维护都非常复杂，并且维护成本很高。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种实时动作识别人机交互系统及识别方法，解决了
技术介绍
中所提出的问题。
[0005]为实现以上目的，本专利技术通过以下技术方案予以实现：一种实时动作识别人机交互系统及识别方法，包括以下步骤：
[0006]S1、在目标范围内，捕捉指定目标所发生的一系列动作，作为动态视频，并对动态视频进行背景减除处理，生成人物动作图像；
[0007]S2、在不同单位时间T内，对人体动作图像的关键帧进行提取，具体提取方式如下：
[0008]按照时间顺序，将捕捉的人体动作拆解为多组时间帧SJi，其中i＝1、2、3、...、n；
[0009]对每组时间帧的图像内容进行人体骨骼关节点标记；
[0010]之后将多组时间帧导入训练好的神经网络模型中，对每组时间帧进行两两比对，获得所有关键帧GJj；
[0011]S3、将关键帧深度结合训练好的神经网络模型，逐步分析得到关键帧的动作提取结果，动作提取结果包括在关键帧中提取出的人体骨骼关节点；
[0012]根据动态视频的时间信息确定关键帧的顺序，并通过关键帧中提取出的人体骨骼关节点进行建模；
[0013]再根据动作提取结果中的人体骨骼关节点位置，确定神经网络模型中建立的各动作实例；
[0014]之后根据神经网络模型中建立的各动作实例训练结果，对比判定得出关键帧的行为数据；
[0015]随后对行为数据生成应对策略，并作出相应的响应动作。
[0016]优选的，在步骤S2中，关键帧通过神经网络模型按时间顺序对时间帧进行比对获得，具体方式如下：
[0017]首先提取SJ1为关键帧，并将关键帧作为基准帧与SJ2对比，判断SJ2中的人体骨骼关节点与基准帧中对应的人体骨骼关节点之间的偏离度是否超过预设偏离阈值；
[0018]进一步，与基准帧对比，选取偏离度超过预设偏离阈值的SJi，作为关键帧，再将该关键帧选定为基准帧，并将其与下一时间的时间帧对比；
[0019]最后得到所有关键帧GJj，其中j＝1、2、3、...、m；同时，保留关键帧，删除剩余的时间帧。
[0020]优选的，其中，步骤S3可以与步骤S2同时执行，具体执行方式为，在步骤S2得出GJ2的过程中，步骤S3可同时分析得到GJ1的动作提取结果，进一步得出GJ1的行为数据，之后对其行为数据生成应对策略。
[0021]优选的，预设偏离阈值根据人体身高范围不同，其阈值不同，预设偏离阈值选取的方式如下：
[0022]首先通过结合头顶点与基准判定关节点距离、臀部中央点与基准判定关节点距离，以及基准判定关节点分别至头顶点和臀部中央点形成的夹角；
[0023]进一步得出，双肩中央点、臀部中央点与基准判定关节点之间的人体判断弧线距离；
[0024]之后，将人体判断弧线距离结合头顶点至下巴点的距离、左臀部点至左膝盖点的距离以及左膝盖点至左踝关节点的距离，再结合正常人体比例判断得出指定目标的大致身高范围，随后通过神经网络模型中相应身高范围人群的预设偏离阈值中进行选取。
[0025]一种实时动作识别人机交互系统，该系统通过上述实时动作识别人机交互的识别方法实现，其特征在于，该系统包括：
[0026]图像获取单元，用于捕捉指定目标所发生的一系列动作，并提取时间帧，随后传输至神经网络模型中；还用于人体动作图像进行优化，具体通过背景减除处理，得到人体动作图像；
[0027]测距单元，基于线光束测量距人体骨骼关节点的距离，并使用三角测量法计算人体骨骼各关节点之间的距离结果，并将距离结果导入神经网络模型中；
[0028]神经网络模型，用于分析比对多组时间帧，并获得关键帧，还用于通过学习、训练得出各动作实例训练结果，并生成行为数据，以及生成针对行为数据的应对策略；同时建立有若干组不同身高范围的人群模型，以及不同身高范围的人群模型设置相应的预设偏离阈值；
[0029]策略执行单元，用于根据神经网络模型生成的应对策略，对指定目标做出响应动作。
[0030]优选的，神经网络模型又包括：
[0031]动作比对模块，用于根据预设偏离阈值，比对多组时间帧中人体骨骼关节点之间的偏离度，获得关键帧；
[0032]动作匹配模块，用于关键帧计算人体骨骼关节点与各动作实例训练结果的匹配值，确定关键帧动作提取结果，并生成行为数据。
[0033]优选的，神经网络模型由23个人体骨骼关节点建立，23个人体骨骼关节点具体包括头顶点、左耳点、右耳点、下巴点、左肩点、右肩点、双肩中央点、左肘关节点、右肘关节点、左腕关节点、右腕关节点、左手指尖点、右手指尖点、脊柱中部点、左臀部点、右臀部点、臀部
中央点、左膝盖点、右膝盖点、左踝关节点、右踝关节点、左脚点、右脚点。
[0034]优选的，在23个人体骨骼关节点中，脊椎中部为基准判定关节点，左肩与右肩形成肩基线，左耳与右耳形成耳基线，左臀部与右臀部形成臀基线。
[0035]有益效果
[0036]本专利技术提供了一种实时动作识别人机交互系统及识别方法。与现有技术相比具备以下有益效果：
[0037]通过在图像获取单元获取动态视频后，对其进行背景减除处理，识别效果好，之后将动态视频拆解为多组时间帧，并从中提取关键帧，删除剩余的时间帧，有效缩减系统出现大量的冗余，节省硬件资源，响应速度快，降低对硬件的性能要求，使得系统成本降低，同时，有效的降低了计算量，并通过将关键帧的识别和关键帧的动作提取结果同步进行，使得动作识别交互系统具有实时性。
附图说明
[0038]图1为本专利技术的系统框图。
具体实施方式
[0039]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]请参阅图1，本专利技术提供一种技术方案：一种实时动作识别人机交互的识别方法，包括以下步骤：
[0041]S1、在目标范围内，捕捉指定目标所发生的一系列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时动作识别人机交互的识别方法，其特征在于，包括以下步骤：S1、在目标范围内，捕捉指定目标所发生的一系列动作，作为动态视频，并对动态视频进行背景减除处理，生成人物动作图像；S2、在不同单位时间T内，对人体动作图像的关键帧进行提取，具体提取方式如下：按照时间顺序，将捕捉的人体动作拆解为多组时间帧SJi，其中i＝1、2、3、...、n；对每组时间帧的图像内容进行人体骨骼关节点标记；之后将多组时间帧导入训练好的神经网络模型中，对每组时间帧进行两两比对，获得所有关键帧GJj；S3、将关键帧深度结合训练好的神经网络模型，逐步分析得到关键帧的动作提取结果，动作提取结果包括在关键帧中提取出的人体骨骼关节点；根据动态视频的时间信息确定关键帧的顺序，并通过关键帧中提取出的人体骨骼关节点进行建模；再根据动作提取结果中的人体骨骼关节点位置，确定神经网络模型中建立的各动作实例；之后根据神经网络模型中建立的各动作实例训练结果，对比判定得出关键帧的行为数据；随后对行为数据生成应对策略，并作出相应的响应动作。2.根据权利要求1的一种实时动作识别人机交互的识别方法，其特征在于：在步骤S2中，关键帧通过神经网络模型按时间顺序对时间帧进行比对获得，具体方式如下：首先提取SJ1为关键帧，并将关键帧作为基准帧与SJ2对比，判断SJ2中的人体骨骼关节点与基准帧中对应的人体骨骼关节点之间的偏离度是否超过预设偏离阈值；再与基准帧对比，选取偏离度超过预设偏离阈值的SJi，作为关键帧，再将该关键帧选定为基准帧，并将其与下一时间的时间帧对比；最后得到所有关键帧GJj，其中j＝1、2、3、...、m；同时，保留关键帧，删除剩余的时间帧。3.根据权利要求1的一种实时动作识别人机交互的识别方法，其特征在于：其中，步骤S3可以与步骤S2同时执行，具体执行方式为，在步骤S2得出GJ2的过程中，步骤S3可同时分析得到GJ1的动作提取结果，进一步得出GJ1的行为数据，之后对其行为数据生成应对策略。4.根据权利要求3的一种实时动作识别人机交互的识别方法，其特征在于：预设偏离阈值根据人体身高范围不同，其阈值不同，预设偏离阈值选取的方式如下：首先通过结合头顶点与基准判定关节点距离、臀部中央点与基准判定关节点距离，以及基准判定关节点分别至头顶点和臀部中央...

【专利技术属性】
技术研发人员：陈俊良，
申请(专利权)人：淄博宁泽游达数据科技有限公司，
类型：发明
国别省市：