对象行为识别方法和装置制造方法及图纸

本发明专利技术提供一种对象行为识别方法和装置。该方法包括：获取目标视频中每一帧图像中每个对象的骨骼点信息。根据每一帧图像中每个对象的骨骼点信息，对每一帧图像中每个对象进行骨骼点追踪，确定每一帧图像中每个对象的索引编号，索引编号用于唯一标识对应的对象，索引编号相同的对象为同一对象。将每一帧图像中每个对象的骨骼点信息和索引编号输入到目标卷积神经网络进行行为识别，确定目标视频中每个索引编号对应的对象的行为信息。从而基于连续帧图像中每个对象之间的位置关系和/或姿态关系，实现对象的骨骼点追踪，提高了识别对象行为的准确率和速率。

Methods and devices of object behavior recognition

The invention provides an object behavior recognition method and device. The method includes: obtaining the skeleton point information of each object in each frame of the target video. According to the information of each object's skeleton point in each frame image, the skeleton point tracking is carried out for each object in each frame image to determine the index number of each object in each frame image. The index number is used to uniquely identify the corresponding object, and the object with the same index number is the same pair of objects. The skeleton information and index number of each object in each frame image are input into the target convolution neural network for behavior recognition, and the behavior information of each object corresponding to each index number in the target video is determined. Based on the position relationship and / or attitude relationship between each object in the continuous frame image, the skeleton point tracking of the object is realized, which improves the accuracy and speed of identifying the object behavior.

【技术实现步骤摘要】
对象行为识别方法和装置
本专利技术涉及计算机视觉
，尤其涉及一种对象行为识别方法和装置。
技术介绍
对象行为识别方法，可以在特定的时间、地点或者场合，识别出对象的行为信息，广泛应用于如智能视频监控、病人监护、人机交互、虚拟现实、智能家居、智能安防、运动员辅助训练、视频检索、智能图像压缩等各个领域中。其中，行为信息用于表示对象的活动状态或者行为动作，如走路、跑步、静止、上楼梯、下楼梯、睡觉或者打架等。在单对象场景中，传统对象行为识别方法通过提取待识别的视频或者图像序列中单个对象的行为特征，可以识别出该对象的行为信息。然而，在多对象场景中，由于对象数量的不确定、对象行为的相互影响以及背景复杂多变等多个因素，导致传统对象行为识别方法提取到过多的行为特征，无法准确识别出对象的行为信息，使得识别准确率低下。
技术实现思路
本专利技术提供一种对象行为识别方法和装置，以解决由于传统对象行为识别方法在多对象场景中提取行为特征而无法准确识别出对象的行为信息的问题。第一方面，本专利技术提供一种对象行为识别方法，包括：...

【技术保护点】
1.一种对象行为识别方法，其特征在于，包括：/n获取目标视频中每一帧图像中每个对象的骨骼点信息；/n根据每一帧图像中每个对象的骨骼点信息，对每一帧图像中每个对象进行骨骼点追踪，确定每一帧图像中每个对象的索引编号，所述索引编号用于唯一标识对应的对象，所述索引编号相同的对象为同一对象；/n将每一帧图像中每个对象的骨骼点信息和索引编号输入到目标卷积神经网络进行行为识别，确定所述目标视频中每个索引编号对应的对象的行为信息。/n

【技术特征摘要】
1.一种对象行为识别方法，其特征在于，包括：
获取目标视频中每一帧图像中每个对象的骨骼点信息；
根据每一帧图像中每个对象的骨骼点信息，对每一帧图像中每个对象进行骨骼点追踪，确定每一帧图像中每个对象的索引编号，所述索引编号用于唯一标识对应的对象，所述索引编号相同的对象为同一对象；
将每一帧图像中每个对象的骨骼点信息和索引编号输入到目标卷积神经网络进行行为识别，确定所述目标视频中每个索引编号对应的对象的行为信息。


2.根据权利要求1所述的方法，其特征在于，所述根据每一帧图像中每个对象的骨骼点信息，对每一帧图像中每个对象进行骨骼点追踪，确定每一帧图像中每个对象的索引编号，包括：
根据第n帧图像中每个对象的全部骨骼点信息以及第n+1帧图像中每个对象的全部骨骼点信息，分别确定第n+1帧图像中每个对象与第n帧图像中全部对象的匹配重合比例，其中，n取遍小于N+1的正整数，N为所述目标视频的总帧数，所述匹配重合比例用于表示第n+1帧图像中每个对象与第n帧图像中全部对象之间的匹配程度；
根据第n帧图像中全部对象的索引编号以及第n+1帧图像中每个对象与第n帧图像中全部对象的匹配重合比例，确定第n+1帧图像中每个对象的索引编号。


3.根据权利要求2所述的方法，其特征在于，所述根据第n帧图像中每个对象的全部骨骼点信息以及第n+1帧图像中每个对象的全部骨骼点信息，分别确定第n+1帧图像中每个对象与第n帧图像中全部对象的匹配重合比例，包括：
根据第n帧图像中每个对象的全部骨骼点信息，确定第n帧图像中每个对象的每个骨骼点各自对应的骨骼点包围框；
根据第n+1帧图像中每个对象的全部骨骼点信息，确定第n+1帧图像中每个对象的每个骨骼点各自对应的骨骼点包围框；
根据第n帧图像中每个对象的每个骨骼点各自对应的骨骼点包围框以及第n+1帧图像中每个对象的每个骨骼点各自对应的骨骼点包围框，确定第n+1帧图像中每个对象的每个骨骼点与第n帧图像中全部对象对应的骨骼点的骨骼点重合比例；
根据第n+1帧图像中每个对象的每个骨骼点与第n帧图像中全部对象对应的骨骼点的骨骼点重合比例，确定第n+1帧图像中每个对象与第n帧图像中全部对象的匹配重合比例。


4.根据权利要求2所述的方法，其特征在于，所述根据第n帧图像中每个对象的全部骨骼点信息以及第n+1帧图像中每个对象的全部骨骼点信息，分别确定第n+1帧图像中每个对象与第n帧图像中全部对象的匹配重合比例，包括：
根据第n帧图像中每个对象的全部骨骼点信息，确定第n帧图像中每个对象的每个骨骼点各自对应的骨骼点包围框以及第n帧图像中每个对象的骨架包围框；
根据第n+1帧图像中每个对象的全部骨骼点信息，确定第n+1帧图像中每个对象的每个骨骼点各自对应的骨骼点包围框以及第n+1帧图像中每个对象的骨架包围框；
根据第n帧图像中每个对象的每个骨骼点各自对应的骨骼点包围框以及第n+1帧图像中每个对象的每个骨骼点各自对应的骨骼点包围框，确定第n+1帧图像中每个对象的每个骨骼点与第n帧图像中全部对象对应的骨骼点的骨骼点重合比例；
根据第n帧图像中每个对象的骨架包围框以及第n+1帧图像中每个对象的骨架包围框，确定第n+1帧图像中每个对象与第n帧图像中全部对象的整体重合比例；
根据骨骼点重合比例和整体重合比例之间的权重关系，确定第n+1帧图像中每个对象与第n帧图像中全部对象的匹配重合比例。


5.根据权利要求3所...

【专利技术属性】
技术研发人员：张玉，高雪松，陈维强，
申请(专利权)人：海信集团有限公司，
类型：发明
国别省市：山东;37