一种行为识别方法、装置、存储介质及终端制造方法及图纸

本发明专利技术公开了一种行为识别方法、装置、存储介质及终端，方法包括：获取待识别的目标图像；根据目标图像生成人体图像以及人体各个部位图像；将目标图像、人体图像以及人体各个部位图像输入预先训练的行为识别模型中；其中，预先训练的行为识别模型是基于标注身体部位编码的行为图像训练生成的；输出人体图像的人体部位以及人体部位对应的行为。由于本申请采用标注身体部位编码的行为图像训练行为识别模型，使得模型能充分捕获身体部位级别的相关细粒度知识，同时导致模型容易泛化，从而提升了模型的识别性能。了模型的识别性能。了模型的识别性能。

【技术实现步骤摘要】
一种行为识别方法、装置、存储介质及终端


[0001]本专利技术涉及计算机视觉
，特别涉及一种行为识别方法、装置、存储介质及终端。

技术介绍

[0002]人类行为识别是计算机视觉领域的重要研究内容之一。大部分关于人类行为识别的研究都是基于视频而不是单幅图像的方法，但是有很多常见的人类行为可以通过单幅图像就可以很充分地表示一个行为，例如，打电话、电脑交互、射击等。即使这些动作的视频信息可用，但是仍然需要基于静态线索的方法，例如弹吉他、骑马、跑步等，也就是说这些人类行为的运动幅度小，运动轨迹没有辨别性，因此识别这些动作还是要采用基于单幅图像的静态方法。
[0003]在现有技术中，传统的人体行为识别主要是基于RGB视频序列，受光照、场景和摄像机镜头移动等因素影响很大，因此难以准确描述序列中人体的运动。具体而言，行为识别目前严重依赖物体和场景，算法偏向用物体和场景这种粗粒度的知识来识别，例如跑步和骑马通常根据背景的不同就能得以区分，但如果把背景去掉就很难进行准确分类，因此训练出来的模型常因不同数据集的行为分析种类设定的不同而很难泛化，从而降本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别方法，其特征在于，所述方法包括：获取待识别的目标图像；根据所述目标图像生成人体图像以及人体各个部位图像；将所述目标图像、人体图像以及人体各个部位图像输入预先训练的行为识别模型中；其中，所述预先训练的行为识别模型是基于标注身体部位编码的行为图像训练生成的；输出所述人体图像的人体部位以及所述人体部位对应的行为。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像生成人体图像以及人体各个部位图像，包括：将所述目标图像输入物体检测器中，输出所述目标图像中的人体框坐标；根据所述人体框坐标截取人体图像，并将所述人体图像输入预先训练的姿态估计网络中，输出人体各个部位框；基于所述人体各个部位框截取人体各个部位图像。3.根据权利要求1所述的方法，其特征在于，按照以下步骤生成预先训练的行为识别模型，包括：收集以人为中心的行为图像，并对以人为中心的行为图像标注身体部位编码，得到原始行为识别数据集；从所述原始行为识别数据集中划分出训练集，并调整所述训练集中图像的亮度，得到模型训练样本；将所述模型训练样本进行数据增强，得到增强后的数据样本；采用复合主干网络创建行为识别模型，并根据增强后的数据样本以及所述行为识别模型进行身体部位状态识别和特征提取，得到身体部位状态识别结果和身体部位特征；根据所述身体部位状态识别结果和身体部位特征计算目标损失值；当所述目标损失值到达预设阈值时，生成预先训练的行为识别模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述身体部位状态识别结果和身体部位特征计算目标损失值，包括：根据所述身体部位特征计算所述身体部位动作评分；根据所述身体部位状态识别结果与所述身体部位动作评分计算出预测概率分布；获取增强后的数据样本的真实概率分布和预先标记的真实框坐标；根据所述预测概率分布与所述真实概率分布计算第一交叉熵损失值；根据所述预先标记的真实框坐标计算第二交叉熵损失值；基于所述第一交叉熵损失值和所述第二交叉熵损失值计算...

【专利技术属性】
技术研发人员：冯琰一，徐博诚，聂虎，周涛，
申请(专利权)人：特斯联科技集团有限公司，
类型：发明
国别省市：