一种基于外观辨识和动作建模的人类行为意图识别方法技术

本发明专利技术公开了一种基于外观辨识和动作建模的人类行为意图识别方法，包括若干监控视角下人类行为意图识别数据采集、标注和划分，构建时空图神经网络捕捉人类骨架序列中与人类行为意图关联的显著运动信息，利用标注的人类行为意图识别数据集端对端训练提出的人类行为意图识别模型，训练完成后利用测试集评估模型精度，旨在利用构建人类为中心的环境边界框，将周围环境纳入考虑并实现环境信息的特征提取，充分考虑了反映人类行为意图的外观信息、运动姿态信息和环境因素，并利用强大的深度网络端到端学习表征能力更强、更鲁棒的时空特征提出更适用于人类视角监控下的人类行为意图识别方法。意图识别方法。意图识别方法。

【技术实现步骤摘要】
一种基于外观辨识和动作建模的人类行为意图识别方法


[0001]本专利技术涉及行为预测领域，具体是一种基于外观辨识和动作建模的人类行为意图识别方法。

技术介绍

[0002]人类行为意图识别是提升人类行为安全的重要手段之一，但人类意图具有高度的随机性和复杂性且人类轨迹通常具有动态不确定性与开放性，人类动作预测已经成为了热门的研究课题，同时也产生了许多新的算法解决方案。由于缺乏公开可用的标准和通用的训练评估程序，使得人类行为意图和轨迹难以识别与预测，评测当今先进的解决方案十分困难。
[0003]在人类预测系统领域，预测人类动作或者穿行的能力对系统进行未来可靠的路径规划来说是十分重要的。在过去十年中，人类动作预测课题在机器视觉和机器人动力学领域收到很大的关注。
[0004]环境因素是影响人类行为意图的关键因素之一，例如高速行驶的车辆靠近可能会打消人类原本的行为意图。
[0005]现有方法通常只考虑人类自身角度反应出的行为关联特征，如人类历史轨迹、行为和姿态等，通常用于平视视角下的人类行为意图识别，可能不适用于视野更高、要素更多的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于外观辨识和动作建模的人类行为意图识别方法，其特征在于：S1：若干监控视角下人类行为意图识别数据采集、标注和划分；S2：基于卷积长短时间记忆网络实现人类自身和周围环境的外观信息提取，挖掘人类自身外观所体现的行为意图强度以及周围环境因素对行为意图影响；S3：构建时空图神经网络捕捉人类骨架序列中与人类行为意图关联的显著运动信息；S4：基于张量堆叠操作融合相应的外观信息、环境影响和运动信息，并通过全连接层输出相应的行为意图概率；S5：利用标注的人类行为意图识别数据集端对端训练提出的人类行为意图识别模型，训练完成后利用测试集评估模型精度；S6：将通过精度验证的人类行为意图识别模型部署至监控计算设备中，以实现监控监控场景下人类行为意图实时预测。2.根据权利要求1所述的一种基于外观辨识和动作建模的人类行为意图识别方法，其特征在于:所述S1中若干监控视角下人类行为意图识别数据采集、标注和划分，包括以下步骤：S11：收集大量拍摄于监控高清相机的视频数据；S12：利用深度学习检测框架YOLO V7模型实现人类检测，并利用Bytetrack追踪器实现人类跟踪，为独立人类分配唯一标识符；S13：根据跟踪的结果建立人类时空关联，并人工矫正因遮挡原因造成的标识符切换问题；S14：根据人类是否存在人类行为将人类分为“移动人类”与“非移动人类”，截取“移动人类”初始移动时刻前6秒至前3秒的视频段作为阳例样本，截取“非移动人类”任意长度为3秒时长的视频段为阴例样本；S15：标注大量阳例样本和阴例样本构建用于模型训练和测试的数据集，其中训练集和测试集数量比例设置为4：1。3.根据权利要求1所述的一种基于外观辨识和动作建模的人类行为意图识别方法，其特征在于:所述S2中，基于卷积长短时间记忆网络实现人类自身和周围环境的外观信息提取，挖掘人类自身外观所体现的行为意图强度以及周围环境因素对行为意图影响，还包括以下步骤：S21：配置Pytorch深度学习运行环境以及所需要的python环境和相关运行库；S22：对于样本中人类i，截取该人类边界框内的图像区域序列以及环境边界框内的图像区域序列，设定人类边界框内的图像区域序列为，环境边界框内的图像区域序列为，其中T表示序列长度，当环境边界框中心点与人类边界框中心点重合时，其环境边界框宽高是人类边界框宽高的5倍，设定人...

【专利技术属性】
技术研发人员：刘小捷，张翠萍，
申请(专利权)人：南京源心教育科技有限公司，
类型：发明
国别省市：