本发明专利技术涉及一种人体行为识别方法、装置以及机器人。本发明专利技术通过深度神经网络提取训练视频的动态特征和空间特征以及训练动态地图中人物的轨迹特征，并将其与代表行为规范的运动特征在时间上进行拼接。将拼接后的时序特征在时间上等分，将等分后的时序特征输入至时序神经网络训练至收敛，输出与训练视频及动态地图相对应的动作标签，即获得与行为规范等相关联的动作标签。通过使用该动作标签对实时视频以及实时动态地图识别，能够准确识别人体行为，预测人物的短期行为以及运动轨迹。由此，提供能够准确识别人体行为的方法以及装置，并提供能够准确地识别人体行为并能够预测人物的短期的行为与轨迹从而在合适的相对位置提供相应服务的机器人。应服务的机器人。应服务的机器人。
【技术实现步骤摘要】
人体行为识别方法、装置以及机器人
[0001]本专利技术涉及一种人体行为识别方法、装置以及机器人。
技术介绍
[0002]近年来，随着人工智能技术的突飞猛进的发展，各类服务机器人逐步进入到楼宇系统中，提供迎宾，配送等服务。对于楼宇系统，特别是写字楼等公共场所性质的大楼，能够提供舒适的各项服务，对于在其中工作或生活的人员来说，至关重要。例如在走廊等狭窄通道中，当人类服务人员注意到顾客时，通常会观察顾客行为，预测顾客的行为动向以及行走轨迹，基于管理规定，在合适的位置上，提供相关服务(例如主动问候等)。然而，此类服务场景中，迎宾类服务机器人，依然难以胜任这样最基本的工作任务。其难点在于，对于人类来说，基于长期的社会和工作教育，能够从观察行为和周围环境的微妙变化中，预测其心理层面的各类活动。这种高等级的基于经验的逻辑理解能力，现在的人工智能技术依然处于探索初期阶段。
[0003]人类的视觉系统是以视频作为信息输入源，通过视觉皮层的背侧流和腹侧流神经通路对视频进行空间和时间两个维度的信息处理。对于计算机视觉领域，文献[Karen S,Andrew Z.Two-Stream Convolutional Networks for Action Recognition in Videos.In NIPS,2014]参考人类的视觉系统，提出了基于双流卷积网络对视频中人物行为的方法，提高了计算机对于视频信息处理的精度问题。
[0004]然而,以往的研究当中人物行为的判断都是依靠人工提取原始数据的特征后，学习相应的分类器，达到分类的目的。但是，人工抽取特征作业受到任务多样性的影响，抽取后的特征对具体任务的依赖度高。特别是行为识别任务，目标对象所处的环境和心理状态不同，所表现的动作含义也有非常大的差异。
技术实现思路
[0005]本专利技术正是为了解决上述问题而完成的，其目的在于，提供一种能够准确识别人体行为的方法以及装置，并提供一种具备该人体行为识别装置的、能够准确地识别人体行为并能够预测人物的短期行为的机器人。
[0006]为了实现上述目的，本专利技术的一实施形态为一种人体行为识别方法，具有以下步骤：训练视频输入步骤，输入用于训练的训练视频；训练动态地图输入步骤，输入用于训练的与所述训练视频相对应的训练动态地图；知识库输入步骤，输入人物行为规范或者管理规范作为知识库信息，并为知识库信息附加具有时序的运动特征；视频信息处理步骤，对所述训练视频进行处理，分别按照时间顺序提取所述训练视频中的动态特征以及空间特征；训练动态地图处理步骤，对所述训练动态地图进行处理，识别出所述训练动态地图中的动态人物，并生成所述动态人物的轨迹特征；拼接步骤，以时间为基准，将所述运动特征、所述动态特征、所述空间特征、以及所述轨迹特征并列地拼接从而获得拼接时序特征；分割步骤，将所述拼接时序特征在时间上进行等分，获得分割时序特征；训练步骤，依次将所述分
割时序特征输入至时序神经网络进行训练，直至收敛，并输出与所述训练视频以及所述训练动态地图相对应的动作标签；实时视频获取步骤，获取作为识别对象的实时视频；实时动态地图获取步骤，获取与所述实时视频相对应的实时动态地图；以及识别步骤，对所述实时视频和所述实时动态地图进行识别，并输出与所述实时视频以及所述实时动态地图相对应的动作标签。
[0007]另外，本专利技术的另一实施形态为一种人体行为识别装置，其具备：存储部，其存储有在上述人体行为识别方法的训练步骤中获得的所述动作标签,并以与所述训练视频中的所述动态特征、所述空间特征以及所述训练动态地图中的所述轨迹特征相关联的方式存储所述动作标签；实时视频获取部，其获取作为识别对象的实时视频；实时动态地图获取部，其获取与所述实时视频相对应的实时动态地图；以及识别部，其对所述实时视频和所述实时动态地图进行识别，并输出与所述实时视频以及所述实时动态地图相对应的动作标签。
[0008]另外，本专利技术的另一实施形态为一种人体行为识别装置，其具备：训练视频输入部，其输入用于训练的训练视频；训练动态地图输入部，其输入用于训练的与所述训练视频相对应的训练动态地图；知识库输入部，其输入人物行为规范或者管理规范作为知识库信息，并为知识库信息附加具有时序的运动特征；视频信息处理部，其对所述训练视频进行处理，分别按照时间顺序提取所述训练视频中的动态特征以及空间特征；训练动态地图处理部，其对所述训练动态地图进行处理，识别出所述训练动态地图中的动态人物，并生成所述动态人物的轨迹特征；拼接部，其以时间为基准，将所述运动特征、所述动态特征、所述空间特征、以及所述轨迹特征并列地拼接从而获得拼接时序特征；分割部，其将所述拼接时序特征在时间上进行等分，获得分割时序特征；训练部，其依次将所述分割时序特征输入至时序神经网络进行训练，直至收敛，并输出与所述训练视频以及所述训练动态地图相对应的动作标签；实时视频获取部，其获取作为识别对象的实时视频；实时动态地图获取部，其获取与所述实时视频相对应的实时动态地图；以及识别部，对所述实时视频和所述实时动态地图进行识别，并输出与所述实时视频以及所述实时动态地图相对应的动作标签。
[0009]另外，本专利技术的另一实施形态为一种机器人，其具备上述人体行为识别装置，以及控制部，所述控制部根据由所述人体行为识别装置的识别部输出的所述动作标签，使所述机器人进行相应的动作。
[0010]专利技术的效果
[0011]在本专利技术，通过深度神经网络提取训练视频的动态特征和空间特征以及训练动态地图中的动态人物的轨迹特征，并将其与代表行为规范等的运动特征在时间上进行拼接。随后将拼接后的时序特征在时间上进行等分，并将等分后的时序特征输入至时序神经网络进行训练至收敛，输出与训练视频(的动态特征、空间特征)以及训练动态地图(中的动态人物的轨迹特征)相对应的动作标签。由此，能够获得与行为规范等相关联的动作标签。通过训练后的模型对实时视频以及实施动态地图进行识别，输出相应的动作标签，不仅能够准确识别人体行为，还能够预测动态人物的短期的行为与轨迹。因此，根据本专利技术，能够提供一种能够准确识别人体行为的方法以及装置，并能够提供一种能够准确地识别人体行为并能够预测动态人物的短期的行为与轨迹从而在合适的相对位置提供相应服务的机器人。
附图说明
[0012]图1为表示本专利技术的人体行为识别装置的构成的框图。
[0013]图2为表示本专利技术的人体行为识别方法的流程图。
[0014]图3为表示本专利技术的人体行为识别装置的另一例的构成的框图。
具体实施方式
[0015]以下，参照附图，对本专利技术的实施方式进行具体地说明。
[0016]图1为表示本专利技术的人体行为识别装置的构成的框图。
[0017]如图1所示，本专利技术的人体行为识别装置1具备训练视频输入部101、训练动态地图输入部102、知识库输入部103、视频信息处理部104、训练动态地图处理部105、拼接部106、分割部107、训练部108、实时视频获取部109、实时动态地图获取部110、识别部111。<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人体行为识别方法，其特征在于，具有以下步骤：训练视频输入步骤，输入用于训练的训练视频；训练动态地图输入步骤，输入用于训练的与所述训练视频相对应的训练动态地图；知识库输入步骤，输入人物行为规范或者管理规范作为知识库信息，并为知识库信息附加具有时序的运动特征；视频信息处理步骤，对所述训练视频进行处理，分别按照时间顺序提取所述训练视频中的动态特征以及空间特征；训练动态地图处理步骤，对所述训练动态地图进行处理，识别出所述训练动态地图中的动态人物，并生成所述动态人物的轨迹特征；拼接步骤，以时间为基准，将所述运动特征、所述动态特征、所述空间特征、以及所述轨迹特征并列地拼接从而获得拼接时序特征；分割步骤，将所述拼接时序特征在时间上进行等分，获得分割时序特征；训练步骤，依次将所述分割时序特征输入至时序神经网络进行训练，直至收敛，并输出与所述训练视频以及所述训练动态地图相对应的动作标签；实时视频获取步骤，获取作为识别对象的实时视频；实时动态地图获取步骤，获取与所述实时视频相对应的实时动态地图；以及识别步骤，对所述实时视频和所述实时动态地图进行识别，并输出与所述实时视频以及所述实时动态地图相对应的所述动作标签。2.如权利要求1所述的人体行为识别方法，其特征在于，所述动作标签为表示所述动态人物的当前行为、当前轨迹、预测行为、预测轨迹以及服务者应有行为、应有轨迹、规定的与所述动态人物的相对位置的信息。3.如权利要求1所述的人体行为识别方法，其特征在于，所述时序神经网络为循环神经网络，所述动态特征是利用卷积神经网络处理所述训练视频的视频帧中的光流信息，提取所述训练视频中的动态特征值而获得的，所述空间特征是利用卷积神经网络对所述训练视频中RGB帧数据进行特征提取而获得的，所述轨迹特征是利用卷积神经网络处理所述训练动态地图的视频帧中的光流信息，提取所述训练动态地图中的动态特征值而获得的。4.如权利要求1-3中的任一项所述的人体行为识别方法，其特征在于，在知识库输入步骤中，输入将文本的人物行为规范或者管理规范与视频或者图片相匹配而获得的知识库信息。5.一种人体行为识别装置，其特征在于，具备：存储部，其存储有在如权利要求1-4中的任一项所述的人体行为识别方法的训练步骤中获得的所述动作标签,并以与所述训练视频中的所述动态特征、所述空间特征以及所述训练动态地图中的所述轨迹特征相关联的方式存储所述动作标签；实时视频获取部，其获取作为识别对象的实时视频；实时动态地图获取部，其获取与所述实时视...
【专利技术属性】
技术研发人员：裴雅超，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。