目标行为识别及显示方法、装置、设备、可读介质制造方法及图纸

本发明专利技术提供一种目标行为识别及显示方法、装置、设备、可读介质，该方法包括：跟踪视频中待进行行为识别的目标对象，以确定目标对象在视频的各视频帧中的位置信息；从视频中确定出至少一个目标子序列；目标子序列包含与目标对象的行为相关的视频帧；针对每个目标子序列，依据目标对象的位置信息截取目标子序列的视频帧中目标对象所处的目标区域，并确定目标子序列对应的包含多个目标区域的时空立方序列；将各个时空立方序列分别输入至已训练的第一神经网络中，以由第一神经网络对时空立方序列执行行为分类处理、并输出对应的分类置信度；依据分类置信度确定目标对象在视频中的行为。可避免在目标对象占比较小时出现识别准确度明显下降的问题。

Method, device, equipment and readable medium of target behavior identification and display

【技术实现步骤摘要】
目标行为识别及显示方法、装置、设备、可读介质
本专利技术涉及监控
，尤其涉及的是一种目标行为识别及显示方法、装置、设备、可读介质。
技术介绍
目标行为识别可以应用在视频监控领域中，应用场景很广泛，可包括安防系统，病人监护系统，人机交互，虚拟现实，智能家居，运动员辅助训练等。目标行为识别即从视频或者是图像序列中分析出目标进行的行为。相关的目标行为识别方式中，将需要进行目标行为识别的视频帧串成视频帧序列，将视频帧序列输入至已训练的神经网络中，通过神经网络对视频帧序列进行特征提取并利用提取的特征识别出目标对象的行为，实现端到端的行为识别。上述目标行为识别方式中，提取特征描述时往往要求目标对象占比较大，一旦目标对象占比较小就无法提取出合适的序列特征，出现识别准确度明显下降的问题。
技术实现思路
有鉴于此，本专利技术提供一种目标行为识别及显示方法、装置、设备、可读介质，可避免在目标对象占比较小时出现识别准确度明显下降的问题。本专利技术第一方面提供一种目标行为识别方法，包括：跟踪视频中待进行行为识别的目标对象，以确定所述目标对象在视频的各视频帧中的位置信息；从所述视频中确定出至少一个目标子序列；所述目标子序列包含与所述目标对象的行为相关的视频帧；针对每个所述目标子序列，依据所述目标对象的位置信息截取所述目标子序列的视频帧中目标对象所处的目标区域，并确定所述目标子序列对应的包含多个所述目标区域的时空立方序列；将各个所述时空立方序列分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的时空立方序列执行行为分类处理、并输出对应的分类置信度；依据所述第一神经网络输出的分类置信度确定所述目标对象在所述视频中的行为。根据本专利技术的一个实施例，从所述视频中确定出至少一个目标子序列，包括：遍历所述视频中的指定视频帧，每个指定视频帧之间相隔一定数量L的视频帧；针对遍历到的视频帧，判断目标对象在所述指定视频帧与所述指定视频帧的前N视频帧中的与行为相关的指定特征是否发生了变化，若是，则将所述指定视频帧及其之后的M个视频帧确定为一目标子序列，所述N大于等于1且小于所述L，所述M大于0。根据本专利技术的一个实施例，依据所述目标对象的位置信息截取所述目标子序列的视频帧中目标对象所处的目标区域，包括：确定所述目标子序列中已跟踪到目标对象的目标视频帧；依据目标对象在所述目标视频帧中的位置信息确定一区域截取范围；依次截取出所述目标子序列的各视频帧中处于所述区域截取范围内的区域，并将每次截取出的区域确定为一所述目标区域。根据本专利技术的一个实施例，依据目标对象在各目标视频帧中的位置信息确定一区域截取范围，包括：依据目标对象的位置信息确定出目标对象在各个目标视频帧中水平方向的最小坐标值、最大坐标值及竖直方向的最小坐标值、最大坐标值；依据所述水平方向的最小坐标值、最大坐标值及竖直方向的最小坐标值、最大坐标值确定所述区域截取范围。根据本专利技术的一个实施例，所述由所述第一神经网络对输入的时空立方序列执行行为分类处理、并输出对应的分类置信度，包括：由所述第一神经网络的至少一个3D卷积层对输入的时空立方序列进行特征提取而输出特征向量至所述第一神经网络的全连接层；由所述第一神经网络的全连接层对所述特征向量执行行为分类处理而确定所述特征向量对应的行为类别，计算并输出所述行为类别对应的分类置信度。根据本专利技术的一个实施例，依据所述第一神经网络输出的分类置信度确定各个目标对象在所述视频中的行为，包括：将所述目标对象对应的所有分类置信度分别进行排序；将最高分类置信度对应的行为确定为所述目标对象的行为。本专利技术第二方面提供一种显示方法，包括：确定目标时空立方序列，所述目标时空立方序列是如权利要求1-6中任一项所述的目标行为识别方法确定出的行为所对应的时空立方序列；在目标时空立方序列包含的目标区域所对应的视频帧上标记出对应目标对象；将标记后的视频帧所在视频进行显示。本专利技术第三方面提供一种目标行为识别装置，包括：目标跟踪模块，用于跟踪视频中待进行行为识别的目标对象，以确定所述目标对象在视频的各视频帧中的位置信息；子序列确定模块，用于从所述视频中确定出至少一个目标子序列；所述目标子序列包含与所述目标对象的行为相关的视频帧；时空立方确定模块，用于针对每个所述目标子序列，依据所述目标对象的位置信息截取所述目标子序列的每个视频帧中目标对象所处的目标区域，并确定所述目标子序列对应的包含多个所述目标区域的时空立方序列；分类计算模块，用于将各个所述时空立方序列分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的时空立方序列执行行为分类处理、并输出对应的分类置信度；行为确定模块，用于依据所述第一神经网络输出的分类置信度确定所述目标对象在所述视频中的行为。根据本专利技术的一个实施例，所述子序列确定模块包括：遍历单元，用于遍历所述视频中的指定视频帧，每个指定视频帧之间相隔一定数量L的视频帧；行为检测单元，用于针对遍历到的视频帧，判断目标对象在所述指定视频帧与所述指定视频帧的前N视频帧中的与行为相关的指定特征是否发生了变化，若是，则将所述指定视频帧及其之后的M个视频帧确定为一目标子序列，所述N大于等于1且小于所述L，所述M大于0。根据本专利技术的一个实施例，所述时空立方确定模块包括：目标视频帧确定单元，用于确定所述目标子序列中已跟踪到目标对象的目标视频帧；区域截取范围确定单元，用于依据目标对象在所述目标视频帧中的位置信息确定一区域截取范围；目标区域截取单元，用于依次截取出所述目标子序列的各视频帧中处于所述区域截取范围内的区域，并将每次截取出的区域确定为一所述目标区域。根据本专利技术的一个实施例，所述区域截取范围确定单元包括：坐标确定子单元，用于依据目标对象的位置信息确定出目标对象在各个目标视频帧中水平方向的最小坐标值、最大坐标值及竖直方向的最小坐标值、最大坐标值；范围确定子单元，用于依据所述水平方向的最小坐标值、最大坐标值及竖直方向的最小坐标值、最大坐标值确定所述区域截取范围。根据本专利技术的一个实施例，所述分类计算模块包括：第一计算单元，用于由所述第一神经网络的至少一个3D卷积层对输入的时空立方序列进行特征提取而输出特征向量至所述第一神经网络的全连接层；第二计算单元，用于由所述第一神经网络的全连接层对所述特征向量执行行为分类处理而确定所述特征向量对应的行为类别，计算并输出所述行为类别对应的分类置信度。根据本专利技术的一个实施例，所述行为确定模块包括：置信度排序单元，用于将所述目标对象对应的所有分类置信度分别进行排序；行为确定单元，用于将最高分类置信度对应的行为确定为所述目标对象的行为。本专利技术第四方面提供一种显示装置，包括：目标时空立方确定本文档来自技高网...

【技术保护点】
1.一种目标行为识别方法，其特征在于，包括：/n跟踪视频中待进行行为识别的目标对象，以确定所述目标对象在视频的各视频帧中的位置信息；/n从所述视频中确定出至少一个目标子序列；所述目标子序列包含与所述目标对象的行为相关的视频帧；/n针对每个所述目标子序列，依据所述目标对象的位置信息截取所述目标子序列的视频帧中目标对象所处的目标区域，并确定所述目标子序列对应的包含多个所述目标区域的时空立方序列；/n将各个所述时空立方序列分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的时空立方序列执行行为分类处理、并输出对应的分类置信度；/n依据所述第一神经网络输出的分类置信度确定所述目标对象在所述视频中的行为。/n

【技术特征摘要】
1.一种目标行为识别方法，其特征在于，包括：
跟踪视频中待进行行为识别的目标对象，以确定所述目标对象在视频的各视频帧中的位置信息；
从所述视频中确定出至少一个目标子序列；所述目标子序列包含与所述目标对象的行为相关的视频帧；
针对每个所述目标子序列，依据所述目标对象的位置信息截取所述目标子序列的视频帧中目标对象所处的目标区域，并确定所述目标子序列对应的包含多个所述目标区域的时空立方序列；
将各个所述时空立方序列分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的时空立方序列执行行为分类处理、并输出对应的分类置信度；
依据所述第一神经网络输出的分类置信度确定所述目标对象在所述视频中的行为。


2.如权利要求1所述的目标行为识别方法，其特征在于，从所述视频中确定出至少一个目标子序列，包括：
遍历所述视频中的指定视频帧，每个指定视频帧之间相隔一定数量L的视频帧；
针对遍历到的视频帧，判断目标对象在所述指定视频帧与所述指定视频帧的前N视频帧中的与行为相关的指定特征是否发生了变化，若是，则将所述指定视频帧及其之后的M个视频帧确定为一目标子序列，所述N大于等于1且小于所述L，所述M大于0。


3.如权利要求1所述的目标行为识别方法，其特征在于，依据所述目标对象的位置信息截取所述目标子序列的视频帧中目标对象所处的目标区域，包括：
确定所述目标子序列中已跟踪到目标对象的目标视频帧；
依据目标对象在所述目标视频帧中的位置信息确定一区域截取范围；
依次截取出所述目标子序列的各视频帧中处于所述区域截取范围内的区域，并将每次截取出的区域确定为一所述目标区域。


4.如权利要求3所述的目标行为识别方法，其特征在于，依据目标对象在各目标视频帧中的位置信息确定一区域截取范围，包括：
依据目标对象的位置信息确定出目标对象在各个目标视频帧中水平方向的最小坐标值、最大坐标值及竖直方向的最小坐标值、最大坐标值；
依据所述水平方向的最小坐标值、最大坐标值及竖直方向的最小坐标值、最大坐标值确定所述区域截取范围。


5.如权利要求1所述的目标行为识别方法，其特征在于，所述由所述第一神经网络对输入的时空立方序列执行行为分类处理、并输出对应的分类置信度，包括：
由所述第一神经网络的至少一个3D卷积层对输入的时空立方序列进行特征提取而输出特征向量至所述第一神经网络的全连接层；
由所述第一神经网络的全连接层对所述特征向量执行行为分类处理而确定所述特征向量对应的行为类别，计算并输出所述行为类别对应的分类置信度。


6.如权利要求5所述的目标行为识别方法，其特征在于，依据所述第一神经网络输出的分类置信度确定各个目标对象在所述视频中的行为，包括：
将所述目标对象对应的所有分类置信度分别进行排序；
将最高分类置信度对应的行为确定为所述目标对象的行为。


7.一种显示方法，其特征在于，包括：
确定目标时空立方序列，所述目标时空立方序列是如权利要求1-6中任一项所述的目标行为识别方法确定出的行为所对应的时空立方序列；
在目标时空立方序列包含的目标区域所对应的视频帧上标记出对应目标对象；
将标记后的视频帧所在视频进行显示。


8.一种目标行为识别装置，其特征在于，包括：
目标跟踪模块，用于跟踪视频中待进行行为识别的目标对象，以确定所述目标对象在视频的各视频帧中的位置信息；
子序列确定模块，用于从所述视频中确定出至少一个目标子序列；所述目标子序列包含与所述目标对象的行为相关的视频帧；

【专利技术属性】
技术研发人员：赵飞，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33