【技术实现步骤摘要】
行为识别方法及装置、设备和存储介质
本申请涉及计算机视觉领域,涉及但不限定于行为识别方法及装置、设备和存储介质。
技术介绍
相关技术中的行为识别方法首先对输入的视频序列进行全图的数据增强或其他预处理,然后直接送入到分类模型中进行预测。也就是说,输入整个视频序列到网络模型,让网络模型去感知行为发生的执行主体的发生位置。这种方式依赖于执行主体占比画面很大的前提假设,只适用于以执行主体为中心的视频行为识别,该类数据常见于公开的视频学术数据集中。然而在大规模视频数据下,行为发生的执行主体的数量不可预知,且视频中的每一帧图像往往包含更多的信息,覆盖的视野也更大,造成识别效果较低、计算量大。
技术实现思路
本申请实施例提供一种行为识别方法及装置、设备和存储介质。本申请实施例的技术方案是这样实现的:第一方面,本申请实施例提供一种行为识别方法,所述方法包括:获取待识别视频序列中每一帧图像中每一对象的检测结果;根据每一所述对象的检测结果,生成至少一个第一序列;其中,每一所述第一序列为包括同一对象的轨迹序列;对每一所述第一序列进行行为识别,得到每一所述对象的行为识别结果。这样,首先获取每一帧图像中每一对象的检测结果,以确定单个对象在待识别视频序列中准确的轨迹序列即第一序列,然后对至少一个第一序列进行行为识别。通过利用视频分类算法与检测算法的结合,将单帧行为识别算法拓展为一个具有时序关系的行为识别算法。将视频分类问题转换成轨迹序列的识别问题,能够减小模型的识别难度,并提升有效信息的获取。 ...
【技术保护点】
1.一种行为识别方法,其特征在于,所述方法包括:/n获取待识别视频序列中每一帧图像中每一对象的检测结果;/n根据每一所述对象的检测结果,生成至少一个第一序列;其中,每一所述第一序列为包括同一对象的轨迹序列;/n对每一所述第一序列进行行为识别,得到每一所述对象的行为识别结果。/n
【技术特征摘要】
1.一种行为识别方法,其特征在于,所述方法包括:
获取待识别视频序列中每一帧图像中每一对象的检测结果;
根据每一所述对象的检测结果,生成至少一个第一序列;其中,每一所述第一序列为包括同一对象的轨迹序列;
对每一所述第一序列进行行为识别,得到每一所述对象的行为识别结果。
2.如权利要求1所述的方法,其特征在于,所述待识别视频序列是通过以下过程得到的:
按照特定时间间隔,从视频源中选取至少两帧图像;
将所述至少两帧图像存入帧序列缓冲区;其中,所述帧序列缓冲区的长度固定;
获取所述帧序列缓冲区中的帧图像作为所述待识别视频序列。
3.如权利要求1或2所述的方法,其特征在于,所述对象的检测结果至少包括所述对象的检测框和与所述检测框关联的对象标识;
所述根据每一所述对象的检测结果,生成至少一个第一序列,包括:
从每一所述对象的检测框中,选择在空间位置上独立的检测框作为候选检测框;
根据所述候选检测框和与所述候选检测框关联的对象标识,生成所述至少一个第一序列。
4.如权利要求3所述的方法,其特征在于,所述每一帧图像中包括一个检测框,所述从每一所述对象的检测框中,选择在空间位置上独立的检测框作为候选检测框,包括:
将所述每一帧图像中的一个检测框作为所述候选检测框。
5.如权利要求3所述的方法,其特征在于,所述每一帧图像中包括至少两个检测框,所述从每一所述对象的检测框中,选择在空间位置上独立的检测框作为候选检测框,包括:
确定所述每一帧图像中的至少两个检测框之间的交并比;
根据所述交并比,生成所述每一帧图像对应的邻接矩阵;
将所述邻接矩阵中匹配次数为零的检测框作为所述候选检测框。
6.如权利要求3至5任一项所述的方法,其特征在于,所述根据所述候选检测框和与所述候选检测框关联的对象标识,生成所述至少一个第一序列,包括:
对与每一所述对象标识关联的候选检测框在空间位置上取并集,得到与每一所述对象标识对应的最小包围框;
根据所述最小包围框,截取所述每一帧图像中与所述最小包围框对应的区域图像;
按照所述每一帧图像的时间戳,依次连接所述区域图像,得到与每一所述对象标识对应的第一序列。
7.如权利要求5所述的方法,其特征在于,所述方法还包括:
对每一所述对象的检测框,向外扩展特定比例,得到扩展后的检测框;
从所述扩展后的检测框中筛选至少两个第一检测框;其中,所述第一检测框...
【专利技术属性】
技术研发人员:苏海昇,苏婧,王栋梁,
申请(专利权)人:上海商汤智能科技有限公司,
类型:发明
国别省市:上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。