行为识别方法及装置、设备和存储介质制造方法及图纸

本申请实施例公开了一种行为识别方法，包括：获取待识别视频序列中每一帧图像中每一对象的检测结果；根据每一所述对象的检测结果，生成至少一个第一序列；其中，每一所述第一序列为包括同一对象的轨迹序列；对每一所述第一序列进行行为识别，得到每一所述对象的行为识别结果。本申请实施例还同时提供了一种行为识别装置、设备及存储介质。

【技术实现步骤摘要】
行为识别方法及装置、设备和存储介质
本申请涉及计算机视觉领域，涉及但不限定于行为识别方法及装置、设备和存储介质。
技术介绍
相关技术中的行为识别方法首先对输入的视频序列进行全图的数据增强或其他预处理，然后直接送入到分类模型中进行预测。也就是说，输入整个视频序列到网络模型，让网络模型去感知行为发生的执行主体的发生位置。这种方式依赖于执行主体占比画面很大的前提假设，只适用于以执行主体为中心的视频行为识别，该类数据常见于公开的视频学术数据集中。然而在大规模视频数据下，行为发生的执行主体的数量不可预知，且视频中的每一帧图像往往包含更多的信息，覆盖的视野也更大，造成识别效果较低、计算量大。
技术实现思路
本申请实施例提供一种行为识别方法及装置、设备和存储介质。本申请实施例的技术方案是这样实现的：第一方面，本申请实施例提供一种行为识别方法，所述方法包括：获取待识别视频序列中每一帧图像中每一对象的检测结果；根据每一所述对象的检测结果，生成至少一个第一序列；其中，每一所述第一序列为包括同一对象的轨迹序列；对每一所述第一序列进行行为识别，得到每一所述对象的行为识别结果。这样，首先获取每一帧图像中每一对象的检测结果，以确定单个对象在待识别视频序列中准确的轨迹序列即第一序列，然后对至少一个第一序列进行行为识别。通过利用视频分类算法与检测算法的结合，将单帧行为识别算法拓展为一个具有时序关系的行为识别算法。将视频分类问题转换成轨迹序列的识别问题，能够减小模型的识别难度，并提升有效信息的获取。同时拓展了视频理解模型的边界，发挥了视频理解模型的潜力，也是对现有视频理解模型落地应用的体现。在一些可能的实施方式中，所述待识别视频序列是通过以下过程得到的：按照特定时间间隔，从视频源中选取至少两帧图像；将所述至少两帧图像存入帧序列缓冲区；其中，所述帧序列缓冲区的长度固定；获取所述帧序列缓冲区中的帧图像作为所述待识别视频序列。这样，通过间隔特定时间间隔采样视频源中的多帧图像，构造滑窗式帧序列缓冲区，一方面是能高效处理离线长视频和在线视频流，并行处理每个窗口内的视频帧序列；另一方面，以固定大小的窗口作为基本处理单元可以保证采样的合理性，捕捉动作执行的全局过程。在一些可能的实施方式中，所述对象的检测结果至少包括所述对象的检测框和与所述检测框关联的对象标识；所述根据每一所述对象的检测结果，生成至少一个第一序列，包括：从每一所述对象的检测框中，选择在空间位置上独立的检测框作为候选检测框；根据所述候选检测框和与所述候选检测框关联的对象标识，生成所述至少一个第一序列。这样，从每一帧图像包含的所有对象的检测框中，筛选出每一单个对象的候选检测框，再根据候选检测框生成至少一个第一序列。从而只对容易发生行为的独立单个对象进行识别，能够减小行为识别模型的识别难度，减少模型计算量。在一些可能的实施方式中，所述每一帧图像中包括一个检测框，所述从每一所述对象的检测框中，选择在空间位置上独立的检测框作为候选检测框，包括：将所述每一帧图像中的一个检测框作为所述候选检测框。这样，对于每一帧图像中包括一个检测框即该待识别视频序列中只有一个对象的情况，直接将该对象的检测框作为候选检测框，以方便后续生成轨迹序列，能够简化操作，有效提取有用信息。在一些可能的实施方式中，所述每一帧图像中包括至少两个检测框，所述从每一所述对象的检测框中，选择在空间位置上独立的检测框作为候选检测框，包括：确定所述每一帧图像中的至少两个检测框之间的交并比；根据所述交并比，生成所述每一帧图像对应的邻接矩阵；将所述邻接矩阵中匹配次数为零的检测框作为所述候选检测框。这样，对于每一帧图像中包括多个检测框即该待识别视频序列中包含多个对象的情况，通过计算任意两个检测框之间的交并比，并统计每一检测框的匹配次数，从而能够准确筛选出与其他检测框没有重叠的候选检测框，以方便后续生成轨迹序列，有效提取有用信息。在一些可能的实施方式中，获取待识别视频序列中每一帧图像中每一对象的检测结果之后，还包括：对每一所述对象的检测框，向外扩展特定比例，得到扩展后的检测框；从所述扩展后的检测框中筛选至少两个第一检测框；其中，所述第一检测框的面积大于所述扩展后的检测框中其他检测框；确定所述至少两个第一检测框之间的交并比。这样，通过对获取的每一对象的检测框进行向外扩展，并按面积选取至少两个第一检测框进行交并比的计算，能够增大图像的分辨率，以方便计算检测框之间的交并比，并快速找到可能发生单个对象行为的候选检测框，提升检测效果。在一些可能的实施方式中，所述根据所述候选检测框和与所述候选检测框关联的对象标识，生成所述至少一个第一序列，包括：对与每一所述对象标识关联的候选检测框在空间位置上取并集，得到与每一所述对象标识对应的最小包围框；根据所述最小包围框，截取所述每一帧图像中与所述最小包围框对应的区域图像；按照所述每一帧图像的时间戳，依次连接所述区域图像，得到与每一所述对象标识对应的第一序列。这样，通过计算每一对象标识即每个单个对象的最小包围框，以最小包围框截取每一帧图像中的区域图像，能够避免行为主体(即行为发生的执行主体)的相对位置丢失，对于空间相似但运动节奏不同的行为识别有较好的性能提升。在一些可能的实施方式中，所述候选检测框为从所述至少两个第一检测框中选择的，所述根据所述候选检测框和与所述候选检测框关联的对象标识，生成所述至少一个第一序列，包括：对所述候选检测框，按照所述特定比例进行内缩，得到原始尺寸的候选检测框；根据所述原始尺寸的候选检测框和与所述候选检测框关联的对象标识，生成所述至少一个第一序列。这样，对于从所述至少两个第一检测框中选择的候选检测框，在生成每一第一序列之前需要按照原比例内缩，确保最终进入行为识别阶段的轨迹序列为单个对象原始的运动轨迹，避免产生额外的计算量。在一些可能的实施方式中，还包括：确定所述区域图像中除去所述候选检测框之外的噪声区域；利用纯色背景填充所述噪声区域，得到目标区域图像；按照所述每一帧图像的时间戳，依次连接所述目标区域图像，得到与每一所述对象标识对应的第一序列。这样，对于最小包围框截取的区域图像中除候选检测框以外的噪声区域，进行纯色背景填充处理，再根据处理后的目标区域图像生成轨迹序列，能够解决因为检测框裁剪丢失相对运动信息的问题，同时利用纯色背景填充能够有效减少行为识别模型的计算量，对于空间相似但运动节奏不同的行为识别有较好的性能提升。在一些可能的实施方式中，所述对每一所述第一序列进行行为识别，得到每一所述对象的行为识别结果，包括：将每一所述第一序列送入到行为识别模型中，得到每一所述第一序列的判别分数；根据每一所述第一序列的判别分数，确定每一所述对象的行为识别结果。这样，分别对每一第一序列进行识别得到各自的判别分数，然后得到相应第一序列对应的单个对象的行为识别结果，能够将视频分类问题转换成轨迹序列的识别问题，在减小行为识别模型的识别难度的同时提升有效信息的获取。本文档来自技高网...

【技术保护点】
1.一种行为识别方法，其特征在于，所述方法包括：/n获取待识别视频序列中每一帧图像中每一对象的检测结果；/n根据每一所述对象的检测结果，生成至少一个第一序列；其中，每一所述第一序列为包括同一对象的轨迹序列；/n对每一所述第一序列进行行为识别，得到每一所述对象的行为识别结果。/n

【技术特征摘要】
1.一种行为识别方法，其特征在于，所述方法包括：
获取待识别视频序列中每一帧图像中每一对象的检测结果；
根据每一所述对象的检测结果，生成至少一个第一序列；其中，每一所述第一序列为包括同一对象的轨迹序列；
对每一所述第一序列进行行为识别，得到每一所述对象的行为识别结果。


2.如权利要求1所述的方法，其特征在于，所述待识别视频序列是通过以下过程得到的：
按照特定时间间隔，从视频源中选取至少两帧图像；
将所述至少两帧图像存入帧序列缓冲区；其中，所述帧序列缓冲区的长度固定；
获取所述帧序列缓冲区中的帧图像作为所述待识别视频序列。


3.如权利要求1或2所述的方法，其特征在于，所述对象的检测结果至少包括所述对象的检测框和与所述检测框关联的对象标识；
所述根据每一所述对象的检测结果，生成至少一个第一序列，包括：
从每一所述对象的检测框中，选择在空间位置上独立的检测框作为候选检测框；
根据所述候选检测框和与所述候选检测框关联的对象标识，生成所述至少一个第一序列。


4.如权利要求3所述的方法，其特征在于，所述每一帧图像中包括一个检测框，所述从每一所述对象的检测框中，选择在空间位置上独立的检测框作为候选检测框，包括：
将所述每一帧图像中的一个检测框作为所述候选检测框。


5.如权利要求3所述的方法，其特征在于，所述每一帧图像中包括至少两个检测框，所述从每一所述对象的检测框中，选择在空间位置上独立的检测框作为候选检测框，包括：
确定所述每一帧图像中的至少两个检测框之间的交并比；
根据所述交并比，生成所述每一帧图像对应的邻接矩阵；
将所述邻接矩阵中匹配次数为零的检测框作为所述候选检测框。


6.如权利要求3至5任一项所述的方法，其特征在于，所述根据所述候选检测框和与所述候选检测框关联的对象标识，生成所述至少一个第一序列，包括：
对与每一所述对象标识关联的候选检测框在空间位置上取并集，得到与每一所述对象标识对应的最小包围框；
根据所述最小包围框，截取所述每一帧图像中与所述最小包围框对应的区域图像；
按照所述每一帧图像的时间戳，依次连接所述区域图像，得到与每一所述对象标识对应的第一序列。


7.如权利要求5所述的方法，其特征在于，所述方法还包括：
对每一所述对象的检测框，向外扩展特定比例，得到扩展后的检测框；
从所述扩展后的检测框中筛选至少两个第一检测框；其中，所述第一检测框...

【专利技术属性】
技术研发人员：苏海昇，苏婧，王栋梁，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31