行为识别方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种行为识别方法、装置、设备及存储介质，其中，所述方法包括：在包括待识别对象的视频流中，确定视频帧序列；在所述视频帧序列中，确定所述待识别对象所在的至少一个第一图像区域；基于所述至少一个第一图像区域，对所述待识别对象的行为进行分类，得到分类结果；在所述至少一个第一图像区域中，选择所述分类结果满足预设条件的第二图像区域；基于所述第二图像区域，对所述待识别对象的行为进行识别，得到识别结果。得到识别结果。得到识别结果。

【技术实现步骤摘要】
行为识别方法、装置、设备及存储介质


[0001]本申请实施例涉及计算机视觉领域，涉及但不限于一种行为识别方法、装置、设备及存储介质。

技术介绍

[0002]针对以人为中心的视频行为识别，对输入视频序列进行全图的数据增强后送入到分类模型中进行预测。由于摄像头拍摄到的视频中往往包含更多的信息，覆盖的视野也更大。这样，行人的目标事件发生位置和人体尺度也具有随机性，影响行为识别的准确度。

技术实现思路

[0003]本申请实施例提供一种行为识别技术方案。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供一种行为识别方法，所述方法包括：
[0006]在包括待识别对象的视频流中，确定视频帧序列；
[0007]在所述视频帧序列中，确定所述待识别对象所在的至少一个第一图像区域；
[0008]基于所述至少一个第一图像区域，对所述待识别对象的行为进行分类，得到分类结果；
[0009]在所述至少一个第一图像区域中，选择所述分类结果满足预设条件的第二图像区域；
[0010]基于所述第二图像区域，对所述待识别对象的行为进行识别，得到识别结果。
[0011]在一些实施例中，所述在所述视频帧序列中，确定所述待识别对象对应的至少一个第一图像区域，包括：对每一视频帧中的所述待识别对象进行检测，得到所述待识别对象的多个检测框；在所述每一视频帧中对所述多个检测框的面积进行调整，得到多个已调整区域；在所述每一视频帧的多个已调整区域中，确定所述至少一个第一图像区域。如此，通过对每一视频帧中多个检测框的面积进行调整后，在多个已调整区域中选择一部分作为该视频帧的第一图像区域，能够减少重复识别。
[0012]在一些实施例中，所述在所述每一视频帧中的多个已调整区域中，确定所述至少一个第一图像区域，包括：在所述每一视频帧的多个已调整区域中，确定检测框的第一置信度最高的第一已调整区域；确定与所述第一已调整区域的重叠度大于预设重叠度阈值的第二已调整区域；在所述每一视频帧的多个已调整区域中剔除面积小于预设面积阈值的第二已调整区域，得到所述每一视频帧的所述至少一个第一图像区域。如此，能够降低在已调整区域中进行行为识别的计算量，以及利用质量较高的第一图像区域进行行为识别，能够提高识别的精准度。
[0013]在一些实施例中，所述基于所述至少一个第一图像区域，对所述待识别对象的行为进行分类，得到分类结果，包括：从所述视频帧序列中，选择小于预设帧数的视频帧作为目标视频帧；基于每一目标视频帧中的第一图像区域，对所述待识别对象的行为进行分类，
得到所述分类结果。如此，通过在视频帧序列中选择少量的目标视频帧进行对象行为的分类，能够降低进行行为分类的计算量。
[0014]在一些实施例中，所述从所述视频帧序列中，选择小于预设帧数的视频帧作为目标视频帧，包括：从所述视频帧序列中，选择首帧视频帧、中间帧视频帧和尾帧视频帧作为所述目标视频帧。如此，从视频帧序列中选择首帧视频帧、中间帧视频帧和尾帧视频帧，三帧视频帧作为目标视频帧以用于后续的处理中，能够减少后续计算的复杂度。
[0015]在一些实施例中，在所述视频序列中的目标视频帧包括至少一个第一图像区域的情况下，所述在所述至少一个第一图像区域中，选择所述分类结果满足预设条件的第二图像区域，包括：确定所述目标视频帧中每一第一图像区域的分类结果为预设类别的第二置信度；在所述目标视频帧中，确定所述第二置信度大于预设置信度阈值的第一图像区域为所述第二图像区域。如此，通过在目标视频帧中选择第二置信度较高的第一图像区域为第二图像区域，以便于提升后续基于第二图像区域进行行为识别的性能。
[0016]在一些实施例中，在所述目标视频帧为至少一帧的情况下，所述基于所述第二图像区域，对所述待识别对象的行为进行识别，得到识别结果，包括：基于所述至少一帧目标视频帧中的所述第二图像区域，在所述视频帧序列中确定至少一个目标区域序列；在所述至少一个目标区域序列中对所述待识别对象的行为进行识别，得到所述识别结果。如此，通过将多个目标区域序列输入到行为识别网络中，能够使得行为识别网络更专注于识别待识别对象的行为，更关注于如何区分待识别对象不同的运动细节。
[0017]在一些实施例中，所述基于所述至少一个目标视频帧中的所述第二图像区域，在所述视频帧序列中确定至少一个目标区域序列，包括：在所述至少一个目标视频帧的每一目标视频帧的所述第二图像区域中选择任一第二图像区域，得到至少一个第二图像区域集合；对每一第二图像区域集合中的第二图像区域进行合并，得到至少一个合并区域；在所述视频帧序列中，确定与每一合并区域相匹配的目标区域序列，得到所述至少一个目标区域序列。如此，能够使得目标区域序列中的画面内容更专注于待识别对象本身，提高实践的有效感受野。
[0018]在一些实施例中，在所述目标视频帧包括所述首帧视频帧、所述中间帧视频帧和所述尾帧视频帧的情况下，所述在所述至少一个目标视频帧的每一目标视频帧的所述第二图像区域中选择任一第二图像区域，得到至少一个第二图像区域集合，包括：在所述首帧视频帧、所述中间帧视频帧和所述尾帧视频帧的至少一个第二图像区域中，各选一个第二图像区域，得到所述至少一个第二图像区域集合。如此，通过得到多个第二图像区域集合，便于后续按照多个第二图像区域集合进行合并，丰富合并区域。
[0019]在一些实施例中，所述在所述至少一个目标区域序列中对所述待识别对象的行为进行识别，得到所述识别结果，包括：将每一目标区域序列中的目标区域的边长调整为预设边长，得到已调整目标区域序列；在每一所述已调整目标区域序列中对所述待识别对象的行为进行识别，得到所述识别结果。如此，通过将目标区域序列中的目标区域的边长调整为统一的长度，便于进行后续的行为识别，能够提高行为识别的效率。
[0020]本申请实施例提供一种行为识别装置，所述装置包括：
[0021]第一确定模块，用于在包括待识别对象的视频流中，确定视频帧序列；
[0022]第二确定模块，用于在所述视频帧序列中，确定所述待识别对象所在的至少一个
第一图像区域；
[0023]第一分类模块，用于基于所述至少一个第一图像区域，对所述待识别对象的行为进行分类，得到分类结果；
[0024]第一选择模块，用于在所述至少一个第一图像区域中，选择所述分类结果满足预设条件的第二图像区域；
[0025]第一识别模块，用于基于所述第二图像区域，对所述待识别对象的行为进行识别，得到识别结果。
[0026]对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的行为识别方法。
[0027]本申请实施例提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现上述的行为识别方法。
[0028]本申请实施例提供一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别方法，其特征在于，所述方法包括：在包括待识别对象的视频流中，确定视频帧序列；在所述视频帧序列中，确定所述待识别对象所在的至少一个第一图像区域；基于所述至少一个第一图像区域，对所述待识别对象的行为进行分类，得到分类结果；在所述至少一个第一图像区域中，选择所述分类结果满足预设条件的第二图像区域；基于所述第二图像区域，对所述待识别对象的行为进行识别，得到识别结果。2.根据权利要求1所述的方法，其特征在于，所述在所述视频帧序列中，确定所述待识别对象对应的至少一个第一图像区域，包括：对每一视频帧中的所述待识别对象进行检测，得到所述待识别对象的多个检测框；在所述每一视频帧中对所述多个检测框的面积进行调整，得到多个已调整区域；在所述每一视频帧的多个已调整区域中，确定所述至少一个第一图像区域。3.根据权利要求2所述的方法，其特征在于，所述在所述每一视频帧中的多个已调整区域中，确定所述至少一个第一图像区域，包括：在所述每一视频帧的多个已调整区域中，确定检测框的第一置信度最高的第一已调整区域；确定与所述第一已调整区域的重叠度大于预设重叠度阈值的第二已调整区域；在所述每一视频帧的多个已调整区域中剔除面积小于预设面积阈值的第二已调整区域，得到所述每一视频帧的所述至少一个第一图像区域。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述至少一个第一图像区域，对所述待识别对象的行为进行分类，得到分类结果，包括：从所述视频帧序列中，选择小于预设帧数的视频帧作为目标视频帧；基于每一目标视频帧中的第一图像区域，对所述待识别对象的行为进行分类，得到所述分类结果。5.根据权利要求4所述的方法，其特征在于，所述从所述视频帧序列中，选择小于预设帧数的视频帧作为目标视频帧，包括：从所述视频帧序列中，选择首帧视频帧、中间帧视频帧和尾帧视频帧作为所述目标视频帧。6.根据权利要求1至5任一项所述的方法，其特征在于，在所述视频序列中的目标视频帧包括至少一个第一图像区域的情况下，所述在所述至少一个第一图像区域中，选择所述分类结果满足预设条件的第二图像区域，包括：确定所述目标视频帧中每一第一图像区域的分类结果为预设类别的第二置信度；在所述目标视频帧中，确定所述第二置信度大于预设置信度阈值的第一图像区域为所述第二图像区域。7.根据权利要求4至6任一项所述的方法，其特征在于，在所述目标视频帧为至少一帧的情况下，所述基于所述第二图像区域，对所述待识别对象的行为进行识别，得到识别结果，包括：基于...

【专利技术属性】
技术研发人员：苏海昇，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：