【技术实现步骤摘要】
基于视频的人体行为识别方法、装置、设备及存储介质
本申请涉及图像处理
中的人体识别技术，尤其涉及一种基于视频的人体行为识别方法、装置、设备及存储介质。
技术介绍
随着视频和图像技术的发展，可以对视频中的人体对象进行检测，进而确定出人体对象的行为类型，从而确定是否正在进行不安全的行为。现有技术中，在采用视频技术分析人体对象的行为类型的时候，可以基于人体对象在某一帧上的特征，确定出人体对象在视频中的行为。然而现有技术中，只是依据一帧上的人体对象的特征，确认出人体对象在视频中的行为，进而得到人体对象在视频中的行为类型；由于，在不同的场景下相同的动作表征的语义是不同的，现有的方法并不准确，不能准确的识别出一个视频中的人体的行为类型。
技术实现思路
本申请提供一种基于视频的人体行为识别方法、装置、设备及存储介质，可以减少视频理解上的偏差，提升视频的人体行为类别的准确率和召回率。第一方面，本申请实施例提供一种基于视频的人体行为识别方法，包括：获取待识别视频，其中，所述待识...
【技术保护点】
1.一种基于视频的人体行为识别方法，其特征在于，包括：/n获取待识别视频，其中，所述待识别视频中包括多个视频帧；/n获取所述待识别视频的每一个视频帧的人体框，其中，每一个所述人体框中包括多个人体关键点，每一个所述人体关键点具有关键点特征；/n根据各所述视频帧的人体框构建特征矩阵，所述特征矩阵中包括每一个人体关键点的关键点特征、所述待识别视频中的视频帧的视频帧个数、每一个人体框的人体关键点的关键点个数、每一个视频帧中的人体框的人体框个数；/n在所述视频帧个数的维度上，对所述特征矩阵进行卷积，得到第一卷积结果，并在所述关键点个数的维度上，对所述特征矩阵进行卷积，得到第二卷积结果...
【技术特征摘要】
1.一种基于视频的人体行为识别方法，其特征在于，包括：
获取待识别视频，其中，所述待识别视频中包括多个视频帧；
获取所述待识别视频的每一个视频帧的人体框，其中，每一个所述人体框中包括多个人体关键点，每一个所述人体关键点具有关键点特征；
根据各所述视频帧的人体框构建特征矩阵，所述特征矩阵中包括每一个人体关键点的关键点特征、所述待识别视频中的视频帧的视频帧个数、每一个人体框的人体关键点的关键点个数、每一个视频帧中的人体框的人体框个数；
在所述视频帧个数的维度上，对所述特征矩阵进行卷积，得到第一卷积结果，并在所述关键点个数的维度上，对所述特征矩阵进行卷积，得到第二卷积结果；
将所述第一卷积结果和所述第二卷积结果输入到预设分类模型中，得到所述待识别视频的人体行为类别。
2.根据权利要求1所述的方法，其特征在于，所述获取待识别视频，包括：
获取待处理视频，并对所述待处理视频进行抽帧处理，得到所述多个视频帧，以得到所述待识别视频。
3.根据权利要求1所述的方法，其特征在于，获取所述待识别视频的每一个视频帧的人体框，包括：
将所述待识别视频输入至单阶段多尺度目标检测网络模型中，得到每一个所述视频帧中的各人体框；
将每一个所述视频帧中的各人体框，输入至预设识别模型中，得到每一个所述人体框中的各人体关键点，其中，每一个所述人体框中的人体关键点的关键点个数为V，V＝21。
4.根据权利要求3所述的方法，其特征在于，所述方法，还包括：
在确定所述人体框中的人体对象被遮挡时，或者，在确定所述人体框中的人体关键点的关键点个数不是V时，根据所述人体框中的各人体关键点，预测出所述人体框的全部的人体关键点。
5.根据权利要求4所述的方法，其特征在于，根据所述人体框中的各人体关键点，预测出所述人体框的全部的人体关键点，包括：
根据所述人体框中的各人体关键点，确定所述人体框中的人体对象的人体骨架结构；
根据所述人体骨架结构，确定所述人体框的全部的人体关键点。
6.根据权利要求1-5任一项所述的方法，其特征在于，每一个视频帧中的人体框个数是M，M为正整数；M个人体框，是每一个视频帧中的人体框置信度最高的前M个人体框；
所述方法，还包括：
获取每一个视频帧中的每一个人体框中的人体关键点的关键点置信度；
对每一个人体框中的人体关键点的关键点置信度进行加...
【专利技术属性】
技术研发人员：迟至真，李甫，孙昊，何栋梁，龙翔，周志超，王平，文石磊，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。