行人动作连续检测识别方法、装置、存储介质及设备制造方法及图纸

本发明专利技术公开了一种行人动作连续检测识别方法、装置、存储介质及设备，属于动作检测识别领域。其包括：将待检测视频分割成多个视频片段并选取关键帧；对每一个视频片段，将其所有帧图像输入行人检测模型，在每张帧图像上得到一定数量的检测框；将视频片段的所有帧图像及其检测框输入动作识别模型，得到关键帧的每个检测框的动作类别；将每个非关键帧的所有检测框与关键帧的所有检测框进行匹配，则将非关键帧的检测框的动作类别设置为与之匹配的关键帧的检测框的动作类别。本发明专利技术实现了视频中人体动作的逐帧连续检测识别，解决了仅依赖关键帧检测对视频整体检测评估带来偏差的问题，提升了视频动作检测识别呈现的视觉体验感。升了视频动作检测识别呈现的视觉体验感。升了视频动作检测识别呈现的视觉体验感。

【技术实现步骤摘要】
行人动作连续检测识别方法、装置、存储介质及设备


[0001]本专利技术涉及动作检测识别领域，特别是指一种行人动作连续检测识别方法、装置、存储介质及设备。

技术介绍

[0002]视频序列中的人体行为动作分析逐渐成为计算机视觉领域研究的热点，在视频监控、人机智能交互、虚拟现实以及医疗看护等领域，都提出了对人体动作检测识别的强烈需求。
[0003]现有技术的行人动作检测识别方法通常只是对视频片段中的关键帧进行检测和识别，而对整个视频的检测则完全依赖于关键帧的检测效果。如果仅依赖关键帧检测，容易对视频整体检测效果的评估带来偏差。此外，仅对关键帧进行检测，检测框与识别结果以间断的方式呈现，视觉体验感差。

技术实现思路

[0004]为解决现有技术的缺陷，本专利技术提供一种行人动作连续检测识别方法、装置、存储介质及设备，实现了视频中人体动作的逐帧连续检测识别。
[0005]本专利技术提供技术方案如下：
[0006]第一方面，本专利技术提供一种行人动作连续检测识别方法，所述方法包括：
[0007]将待检测视频分割本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人动作连续检测识别方法，其特征在于，所述方法包括：将待检测视频分割成多个视频片段，每个视频片段均包括多帧图像；在每个视频片段选中选取一帧图像作为关键帧，其余帧图像作为非关键帧；对每一个视频片段，将所述视频片段的所有帧图像输入行人检测模型，在所述视频片段的每张帧图像上得到一定数量的检测框；对每一个视频片段，将所述视频片段的所有帧图像及其检测框输入动作识别模型，得到所述关键帧的每个检测框的动作类别；对每一个视频片段，将所述视频片段的每个非关键帧的所有检测框与关键帧的所有检测框进行匹配，若匹配通过，则将非关键帧的检测框的动作类别设置为与之匹配的关键帧的检测框的动作类别。2.根据权利要求1所述的行人动作连续检测识别方法，其特征在于，所述动作识别模型包括平行执行的慢速通道和快速通道，所述慢速通道和快速通道均为卷积神经网络，所述快速通道的卷积神经网络的通道数少于慢速通道的卷积神经网络的通道数；所述对每一个视频片段，将所述视频片段的所有帧图像及其检测框输入动作识别模型，得到所述关键帧的每个检测框的动作类别，包括：按照不同的帧采样率对所述视频片段进行采样，得到包含较少帧图像的第一帧序列和包含较多帧图像的第二帧序列；将所述第一帧序列和第二帧序列分别输入所述慢速通道和快速通道提取特征，分别得到第一特征图矩阵和第二特征图矩阵；分别对所述第一特征图矩阵和第二特征图矩阵进行时序池化操作，在得到的两个时序池化结果上分别基于所述关键帧的检测框提取感兴趣区域的特征，并分别进行空间池化操作，得到所述慢速通道的特征和所述快速通道的特征，所述慢速通道的特征表征所述视频片段的静态信息，所述快速通道的特征表征所述视频片段的动态信息；将所述慢速通道的特征和所述快速通道的特征进行融合，对融合结果依次进行全连接操作和softmax操作，得到各个动作类别的概率；将概率最大值对应的动作类别作为关键帧的检测框的动作类别。3.根据权利要求2所述的行人动作连续检测识别方法，其特征在于，所述动作识别模型还包括从所述快速通道到慢速通道的侧向连接，所述侧向连接将所述快速通道的数据送入所述慢速通道。4.根据权利要求1所述的行人动作连续检测识别方法，其特征在于，所述对每一个视频片段，将所述视频片段的每个非关键帧的所有检测框与关键帧的所有检测框进行匹配，包括：对每个非关键帧，计算其所有检测框与关键帧的所有检测框的IOU距离，得到IOU代价矩阵；基于所述IOU代价矩阵，利用匈牙利算法对所述非关键帧的所有检测框与关键帧的所有检测框进行匹配；其中，...

【专利技术属性】
技术研发人员：孙叶纳，周军，
申请(专利权)人：北京眼神科技有限公司，
类型：发明
国别省市：