【技术实现步骤摘要】
在线行为识别方法、装置、电子设备及存储介质
[0001]本申请涉及行为识别
，具体而言，涉及一种在线行为识别方法、装置、电子设备及存储介质。
技术介绍
[0002]行为识别技术大致可以分为离线行为识别方法和在线行为识别方法两大类。离线行为识别方法需要输入完整的视频序列，然后输出相应的行为类别识别结果。当前的离线行为识别方法已较为成熟，其特征提取主要有双流法和3D卷积两种。然而，离线行为识别存在诸多约束，例如无法实时监测输出结果、灵活性不足等。因此，研究在线的实时行为识别方法具有十分重要的意义。
[0003]现有的在线行为识别方法一般采用滑动窗口的方法来定位行为的时序位置，滑窗方法需要较大的计算量，并且，滑窗方法基于如下两个假设：1.假设人的行为是顺序执行的，即人在完成某一个行为之后，才会进行下一个行为；2.假设不同个体执行同一行为的时序长度基本一致。但这两个假设在某些情况下是对人的行为的过度简化，实际的日常行为往往存在交叉和并行执行等复杂情况，并且不同个体完成同一行为有时存在较大的时间长度差异。因此，现有的在线...
【技术保护点】
【技术特征摘要】
1.一种在线行为识别方法，用于在线识别人体行为的行为类型，其特征在于，包括步骤：A1.获取最新的N帧视频图像的人体骨架信息；N为预设的正整数；A2.把各帧所述视频图像的人体骨架信息分别输入预先训练好的分类模型，识别得到各帧所述视频图像的行为的概率最大的M种行为类型；M为预设的正整数；A3.基于各帧所述视频图像的人体骨架信息，根据预先训练好的起止点置信度回归模型，检测各帧所述视频图像的行为属于各种所述行为类型的起始动作的起点置信度和终止动作的终点置信度；A4.根据各种所述行为类型的起点置信度时序数组与相应行为类型的标准起点置信度时序数组的相关性，检测是否出现相应行为类型的开始标志；A5.根据各种所述行为类型的终点置信度时序数组与相应行为类型的标准终点置信度时序数组的相关性，检测是否出现相应行为类型的结束标志；A6.根据所述开始标志和所述结束标志的检测结果输出行为类型的识别结果。2.根据权利要求1所述的在线行为识别方法，其特征在于，步骤A1包括：获取最新的N帧视频图像；对各帧所述视频图像进行人体骨架信息提取。3.根据权利要求1所述的在线行为识别方法，其特征在于，步骤A1之前，还包括步骤：生成M个长度为N的起点置信度时序数组，所述起点置信度时序数组的各数据的初始值为0；步骤A4包括：A401.根据各帧所述视频图像的行为的所述行为类型，把对应的所述起点置信度插入相应的所述起点置信度时序数组的最后，并删除所述起点置信度时序数组的第一个数据；A402.根据以下公式计算各所述起点置信度时序数组与相应行为类型的标准起点置信度时序数组的第一相关性：；其中，为第j个所述起点置信度时序数组与相应行为类型的标准起点置信度时序数组的第一相关性，为第j个所述起点置信度时序数组的第i个数据的值，为与第j个所述起点置信度时序数组相应的行为类型的标准起点置信度时序数组的第i个数据的值；A403.对比各所述起点置信度时序数组的所述第一相关性与第一预设相关性阈值以判断是否出现相应行为类型的开始标志。4.根据权利要求3所述的在线行为识别方法，其特征在于，步骤A401之后和步骤A402之前，还包括步骤：A404.根据以下公式计算各所述起点置信度时序数组的后个数据与相应行为类型的
标准起点置信度时序数组的前个数据的第二相关性：；其中，为第j个所述起点置信度时序数组与相应行为类型的标准起点置信度时序数组的第二相关性，为小于N的预设正整数，为第j个所述起点置信度时序数组的第个数据的值；A405.对比各所述起点置信度时序数组的所述第二相关性与第二预设相关性阈值以判断是否出现相应行为类型的即将开始标志；步骤A403之后还包括步骤：A406.根据各所述起点置信度时序数组的所述即将开始标志的出现情况修正对应的行为类型的开始标志是否出现的判断结果。5.根据权利要求1所述的在线行为识别方法，其特征在于，步骤A1之前，还包括步骤：生成M个长度为N的终点置信度时序数组，所述终点置信度时序数组的各数据的初始值为0；步骤A5包括：A501.根据各帧所述视频图像的行为的所述行为类型，把对应的所述终点置信度插入相应的所述...
【专利技术属性】
技术研发人员：蔡维嘉，李腾，张晟东，邓涛，李志建，古家威，陈海龙，王济宇，焦家辉，牛兰，黄秀韦，张立华，
申请(专利权)人：季华实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。