行为类别识别方法、装置、电子设备以及计算机存储介质制造方法及图纸

本申请提供行为类别识别方法、装置、电子设备以及计算机存储介质，在该方法中，先确定待识别视频中的关注区域，基于关注区域，在待识别视频中筛选视频帧，并对选定视频帧中移动对象的行为特征进行特征提取，获得移动对象的行为特征，由于在获得移动对象的行为特征时，基于选定视频帧进行特征提取，进而使得提取移动对象的行为特征的效率更高。在获得移动对象的行为特征后，将移动对象的行为特征与各个标准行为特征进行比较，进而确定移动对象的行为特征与各个标准行为特征之间的第一相似度，之后，基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型，使得确定的移动对象的行为类型更加准确。的移动对象的行为类型更加准确。的移动对象的行为类型更加准确。

【技术实现步骤摘要】
行为类别识别方法、装置、电子设备以及计算机存储介质


[0001]本申请涉及计算机
，具体涉及一种行为类别识别方法、装置、电子设备以及计算机存储介质。

技术介绍

[0002]随着图像处理技术在图像处理领域中的快速发展，现在越来越多的图像处理方式在日常的图像处理过程中占据着重要地位，作为图像处理的一个环节，基于图像识别技术对图像中对象的行为进行分析，越来越受到关注。
[0003]例如，在对图像或者视频中的内容进行识别时，可以对图像中的人物的行为特征进行分析，进而确定出图像中人物的具体行为类型。这种对图像中人物的具体行为类型进行确定的方式，可以用于多种场景中。例如，在售卖汽车的实体店中，可以对图像或者视频中人物的上车或者下车行为进行分析统计并进行计数，进而确定出用户对各个汽车型号的喜好程度。然而，在一些场景中，不同的行为可能在图像或者视频识别过程中较难以区分，导致无法精确分析出图像或者视频中对象的某种行为，因而，如何对图像或者视频进行分析以精确识别图像或者视频中对象的行为类型成为当前亟需解决的技术问题。

技术实现思路

[0004]本申请提供一种行为类别识别方法，以解决如何对图像或者视频进行分析以精确识别图像或者视频中对象的行为类型的技术问题，本申请还提供与行为类别识别方法对应的装置、电子设备以及计算机存储介质。
[0005]本申请提供一种行为类别识别方法，包括：对待识别视频进行区域检测，确定所述待识别视频中的关注区域；将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧；基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征；确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度；基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型。
[0006]可选的，所述基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型，包括：基于所述第一相似度，确定各个标准行为特征中与所述移动对象的行为特征最相似的候选标准行为特征；判断所述候选标准行为特征与所述移动对象的行为特征之间的第一相似度是否满足设定的第一相似度阈值条件；如果是，则将所述候选标准行为特征的标准行为类型作为所述目标行为类型。
[0007]可选的，所述待识别视频包括多个视频，所述多个视频来自于多个视频获取设备；所述第一相似度包括各个视频中移动对象的行为特征与各个标准行为特征之间的第一相似度；所述基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型，包括：针对某个选定视频，确定所述选定视频中移动对象的标准行为类型作为候选标准行为类型；确定所述选定视频中移动对象的行为特征与所述候选标准行为类型的标准行为特征之间的第一候选相似度；将各个候选标准行为类型与其对应的第一候选相似度进行加权运算，确定所述移动对象的目标行为类型，所述各个候选标准行为类型为各个选定视频中移动对象的标准行为类型。
[0008]可选的，所述将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧，包括：基于所述待识别视频，对所述关注区域进行背景建模，确定所述待识别视频的背景；基于所述背景，在所述待识别视频中识别出前景区域；判断所述前景区域像素在相邻接的视频帧中是否存在像素偏差，若是，则选择存在像素偏差的相关视频帧序列作为所述选定视频帧。
[0009]可选的，所述基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征，包括：将所述选定视频帧作为经过训练的特征提取网络模型的输入数据，获得所述移动对象的行为特征；所述经过训练的特征提取网络模型是用于根据视频帧获得视频帧中对象的行为特征的模型。
[0010]可选的，还包括：获得各个标准行为特征；所述获得各个标准行为特征，包括：将预先采集的包含各个标准行为的视频帧序列分别作为所述特征提取网络模型的输入数据，从中提取各个标准行为的属性特征，作为所述标准行为特征。
[0011]可选的，还包括：基于所述选定视频帧，在预设的标准对象库中，确定所述移动对象对应的标准对象。
[0012]可选的，所述基于所述选定视频帧，在预设的标准对象库中，确定所述移动对象对应的标准对象，包括：获得所述选定视频帧中移动对象的属性特征；确定所述移动对象的属性特征与所述标准对象库中各个标准对象的属性特征之间的第二相似度；基于所述第二相似度，确定各个标准对象中与所述移动对象最相似的候选标准对象；判断所述候选标准对象的属性特征与所述移动对象的属性特征之间的第二相似度是否满足设定的第二相似度阈值条件；
如果是，则将所述候选标准对象作为所述移动对象对应的标准对象。
[0013]可选的，所述确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度，包括：获得用于对所述移动对象的行为特征进行向量表示的对象行为特征向量；获得用于对所述各个标准行为特征进行向量表示的各个标准行为特征向量；分别对所述对象行为特征向量与所述各个标准行为特征向量进行向量点积运算，确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度。
[0014]可选的，如果所述候选标准行为特征与所述移动对象的行为特征之间的第一相似度不满足设定的第一相似度阈值条件，所述方法还包括：计算所述移动对象的行为类型被确认为各个标准行为类型的置信度；将置信度最高的标准行为类型作为所述目标行为类型。
[0015]可选的，所述计算所述移动对象的行为类型被确认为各个标准行为类型的置信度，包括：针对某个选定标准行为类型，将所述选定标准行为类型的标准行为特征与所述移动对象的行为特征之间的第一相似度、用于评价获取所述待识别视频的视频获取设备的质量指标进行相乘，获得所述移动对象的行为类型被确认为所述选定标准行为类型的置信度。
[0016]可选的，还包括：获得用于评价获取所述待识别视频的视频获取设备的质量指标；所述获得用于评价获取所述待识别视频的视频获取设备的质量指标，包括：将所述待识别视频的各个视频帧作为图像质量指标获得模型的输入数据，获得各个视频帧对应的图像质量指标；所述图像质量指标获得模型是用于根据图像获得图像对应的图像质量指标的模型；根据所述各个视频帧对应的图像质量指标，获得用于评价获取所述待识别视频的视频获取设备的质量指标。
[0017]可选的，还包括：针对所述目标行为类型进行计数处理，获得所述目标行为类型的计数结果。
[0018]对应地，本申请提供一种行为类别识别装置，包括：关注区域确定单元，用于对待识别视频进行区域检测，确定所述待识别视频中的关注区域；待识别视频处理单元，用于将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧；特征提取单元，用于基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征；第一相似度确定单元，用于确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度；目标行为类型确定单元，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为类别识别方法，其特征在于，包括：对待识别视频进行区域检测，确定所述待识别视频中的关注区域；将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧；基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征；确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度；基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型，包括：基于所述第一相似度，确定各个标准行为特征中与所述移动对象的行为特征最相似的候选标准行为特征；判断所述候选标准行为特征与所述移动对象的行为特征之间的第一相似度是否满足设定的第一相似度阈值条件；如果是，则将所述候选标准行为特征的标准行为类型作为所述目标行为类型。3.根据权利要求1所述的方法，其特征在于，所述待识别视频包括多个视频，所述多个视频来自于多个视频获取设备；所述第一相似度包括各个视频中移动对象的行为特征与各个标准行为特征之间的第一相似度；所述基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型，包括：针对某个选定视频，确定所述选定视频中移动对象的标准行为类型作为候选标准行为类型；确定所述选定视频中移动对象的行为特征与所述候选标准行为类型的标准行为特征之间的第一候选相似度；将各个候选标准行为类型与其对应的第一候选相似度进行加权运算，确定所述移动对象的目标行为类型，所述各个候选标准行为类型为各个选定视频中移动对象的标准行为类型。4.根据权利要求1所述的方法，其特征在于，所述将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧，包括：基于所述待识别视频，对所述关注区域进行背景建模，确定所述待识别视频的背景；基于所述背景，在所述待识别视频中识别出前景区域；判断所述前景区域像素在相邻接的视频帧中是否存在像素偏差，若是，则选择存在像素偏差的相关视频帧序列作为所述选定视频帧。5.根据权利要求1所述的方法，其特征在于，所述基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征，包括：将所述选定视频帧作为经过训练的特征提取网络模型的输入数据，获得所述移动对象的行为特征；所述经过训练的特征提取网络模型是用于根据视频帧获得视频帧中对象的行为特征的模型。6.根据权利要求5所述的方法，其特征在于，还包括：获得各个标准行为特征；
所述获得各个标准行为特征，包括：将预先采集的包含各个标准行为的视频帧序列分别作为所述特征提取网络模型的输入数据，从中提取各个标准行为的属性特征，作为所述标准行为特征。7.根据权利要求5所述的方法，其特征在于，还包括：基于所述选定视频帧，在预设的标准对象库中，确定所述移动对象对应的标准对象。8.根据权利要求7所述的方法，其特征在于，所述基于所述选定视频帧，在预设的标准对象库中，确定所述移动对象对应的标准对象，包括：获得所述选定视频帧中移动对象的属性特征；确定所述移动对象的属性特征与所述标准对象库中各个标准对象的属性...

【专利技术属性】
技术研发人员：潘科辰，
申请(专利权)人：浙江莲荷科技有限公司，
类型：发明
国别省市：