对象识别方法、网络训练方法、装置、设备及介质制造方法及图纸

本申请实施例公开了一种对象识别方法、网络训练方法、装置、设备及介质；其中，所述对象识别方法包括：获取画面包括目标对象的待识别视频帧；所述待识别视频帧为所述目标对象的视频流中的任一视频帧；基于待识别视频帧和所述待识别视频帧在所述视频流中的历史视频帧，确定所述目标对象的初始姿态序列；对所述初始姿态序列进行概率映射，得到所述待识别视频帧中所述目标对象的目标姿态序列；对所述目标姿态序列在空间和时间上进行特征转换，得到所述待识别视频帧中所述目标对象的姿态特征轨迹；基于所述姿态特征轨迹，确定所述待识别视频帧中所述目标对象的行为状态。所述目标对象的行为状态。所述目标对象的行为状态。

【技术实现步骤摘要】
对象识别方法、网络训练方法、装置、设备及介质


[0001]本申请实施例涉及图像处理领域，尤其涉及一种对象识别方法、网络训练方法、装置、设备及介质。

技术介绍

[0002]相关技术中，基于光流或帧梯度等像素法从视频流识别异常视频帧，易受受视频画面中的噪声的影响，使得识别结果不佳。

技术实现思路

[0003]本申请实施例提供一种对象识别技术方案。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供一种对象识别方法，所述方法包括：
[0006]获取画面包括目标对象的待识别视频帧；所述待识别视频帧为所述目标对象的视频流中的任一视频帧；
[0007]基于待识别视频帧和所述待识别视频帧在所述视频流中的历史视频帧，确定所述目标对象的初始姿态序列；
[0008]对所述初始姿态序列进行概率映射，得到所述待识别视频帧中所述目标对象的目标姿态序列；
[0009]对所述目标姿态序列在空间和时间上进行特征转换，得到所述待识别视频帧中所述目标对象的姿态特征轨迹；
[0010]基于所述姿态特征轨迹，确定所述待识别视频帧中所述目标对象的行为状态。
[0011]在一些实施例中，所述基于待识别视频帧和所述待识别视频帧在所述视频流中的历史视频帧，确定所述目标对象的初始姿态序列，包括：分别对所述待识别视频帧和所述历史视频帧进行关键点识别，得到所述待识别视频帧中所述目标对象的关键点，和所述历史视频帧中所述目标对象的关键点；分别基于所述待识别视频帧中所述目标对象的关键点，和所述历史视频帧中所述目标对象的关键点，确定所述待识别视频帧中的所述姿态信息和所述历史视频帧中的所述姿态信息；按照所述历史视频帧和所述待识别视频帧之间的时序关系，将所述历史视频帧中的姿态信息和所述待识别视频帧中的姿态信息进行排序，得到初始姿态序列。如此，能够在确定精准度较高的姿态信息的基础上，提高确定初始姿态序列的精准度。
[0012]在一些实施例中，所述对所述初始姿态序列进行概率映射，得到所述待识别视频帧中所述目标对象的目标姿态序列，包括：基于每一初始姿态中关键点的位置信息，得到用于确定相邻初始姿态位移的中心点序列，以及所述初始姿态序列的归一化姿态序列；基于所述中心点序列对所述归一化姿态序列进行概率映射，得到所述目标姿态序列。如此，可以实现将待识别视频帧中目标对象的姿态情况映射至前期运动对应的特定概率，进而能够基于历史姿态信息以及当前姿态信息对待识别视频帧中目标对象的姿态信息进行表征。
[0013]在一些实施例中，所述基于所述每一初始姿态中关键点的位置信息，得到用于确定相邻初始姿态位移的中心点序列，以及所述初始姿态序列的归一化姿态序列，包括：基于所述每一初始姿态中关键点的位置信息，确定所述每一初始姿态的包围框；在所述初始姿态序列中，对所述每一初始姿态的包围框的中心点进行排序，得到所述中心点序列；采用所述每一初始姿态的包围框，对所述每一初始姿态进行归一化，得到所述归一化姿态序列。如此，能够提高确定的中心点序列以及归一化姿态序列的准确度；同时基于对每一初始姿态进行归一化操作，得到对应的归一化数据即归一化姿态序列，以便后续基于该归一化数据提高确定目标姿态序列的精度和速度。
[0014]在一些实施例中，所述基于所述中心点序列对所述归一化姿态序列进行概率映射，得到所述目标姿态序列，包括：在所述中心点序列中，基于每两个相邻中心点的位置信息之间的差值，得到位移序列；基于所述每一初始姿态的包围框的尺寸信息，对所述位移序列中每一位移进行归一化，得到归一化位移序列；基于所述归一化位移序列对所述归一化姿态序列进行概率映射，得到所述目标姿态序列。如此，能够使得确定的目标姿态序列能够更加精准地匹配待识别视频帧中目标对象的运动信息。
[0015]在一些实施例中，所述基于所述归一化位移序列对所述归一化姿态序列进行概率映射，得到所述目标姿态序列，包括：拟合所述归一化位移序列中每一归一化位移，得到拟合结果；确定所述拟合结果满足的连续分布函数；将所述每一归一化位移输入所述连续分布函数，得到所述每一归一化位移的缩放概率；基于所述每一归一化位移的缩放概率，对每一归一化姿态进行映射，得到所述目标姿态序列。如此，基于特定概率对历史姿态信息以及当前姿态信息对待识别视频帧中目标对象的姿态信息进行映射，能够提高表征待识别视频帧中目标对象的运动信息，即目标姿态序列的精准度。
[0016]在一些实施例中，所述对所述目标姿态序列在空间和时间上进行特征转换，得到所述待识别视频帧中所述目标对象的姿态特征轨迹，包括：在所述目标姿态序列中，基于每一目标姿态的关键点，对所述每一目标姿态进行特征转换，得到待调整特征序列；对每一待调整特征在空间和时间上进行特征维度调整，得到所述姿态特征轨迹。如此，能够现对目标姿态序列中每一目标姿态在时间维度和空间维度上进行特征转换以及维度调整，进而得到与待识别视频帧中目标对象的运动信息更加匹配的姿态特征轨迹。
[0017]在一些实施例中，所述对每一待调整特征在空间和时间上进行特征维度调整，得到所述姿态特征轨迹，包括：将每一待调整特征和所述每一待调整特征的预设空间特征进行融合，得到空间特征序列；基于空间维度在注意力机制中的注意力参数，对所述空间特征序列进行多层维度调整，得到空间姿态特征序列；将每一空间姿态特征和所述每一空间姿态特征的预设时间特征进行融合，得到时间特征序列；基于时间维度在注意力机制中的注意力参数，对所述时间特征序列进行多层维度调整，得到所述姿态特征轨迹；其中，上一层维度调整的输出为下一层维度调整的输入。如此，能够使得确定的姿态特征轨迹精准度更高。
[0018]在一些实施例中，所述基于所述姿态特征轨迹，确定所述待识别视频帧中所述目标对象的行为状态之后，所述方法还包括：获取所述待识别视频帧对应的场景信息；确定与所述场景信息关联的预设行为规则；采用所述预设行为规则，确定所述行为状态所属的所述待识别视频帧是否为异常视频帧。如此，能够更加精准且便捷地确定视频帧是否属于异
常视频帧。
[0019]在一些实施例中，所述目标对象包括至少两个待识别对象，所述采用所述预设行为规则确定所述行为状态所属的所述待识别视频帧是否为异常视频帧，包括：采用所述预设行为规则，对所述至少两个待识别对象中每一待识别对象的行为状态进行识别，得到行为识别结果集；对每一行为识别结果的置信度进行排序，得到结果评分序列；基于处于所述结果评分序列中预设位置对应的行为识别结果，确定所述待识别视频帧是否为所述异常视频帧。如此，能够提高识别视频帧异常的精准度。
[0020]本申请实施例提供一种对象识别网络的训练方法，所述方法包括：
[0021]获取包括样本对象的样本视频帧；其中，所述样本视频帧为所述样本对象的样本视频流中的任一视频帧；
[0022]确定所述样本视频帧中所述样本对象的样本归一化姿态序列；
[0023]采用待训练的对象识别网络，对所述样本归一化姿态序列进行概率映射，得到样本姿态序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象识别方法，其特征在于，所述方法包括：获取画面包括目标对象的待识别视频帧；所述待识别视频帧为所述目标对象的视频流中的任一视频帧；基于待识别视频帧和所述待识别视频帧在所述视频流中的历史视频帧，确定所述目标对象的初始姿态序列；对所述初始姿态序列进行概率映射，得到所述待识别视频帧中所述目标对象的目标姿态序列；对所述目标姿态序列在空间和时间上进行特征转换，得到所述待识别视频帧中所述目标对象的姿态特征轨迹；基于所述姿态特征轨迹，确定所述待识别视频帧中所述目标对象的行为状态。2.根据权利要求1所述的方法，其特征在于，所述基于待识别视频帧和所述待识别视频帧在所述视频流中的历史视频帧，确定所述目标对象的初始姿态序列，包括：分别对所述待识别视频帧和所述历史视频帧进行关键点识别，得到所述待识别视频帧中所述目标对象的关键点，和所述历史视频帧中所述目标对象的关键点；分别基于所述待识别视频帧中所述目标对象的关键点，和所述历史视频帧中所述目标对象的关键点，确定所述待识别视频帧中的所述姿态信息和所述历史视频帧中的所述姿态信息；按照所述历史视频帧和所述待识别视频帧之间的时序关系，将所述历史视频帧中的姿态信息和所述待识别视频帧中的姿态信息进行排序，得到初始姿态序列。3.根据权利要求1或2所述的方法，其特征在于，所述对所述初始姿态序列进行概率映射，得到所述待识别视频帧中所述目标对象的目标姿态序列，包括：基于每一初始姿态中关键点的位置信息，得到用于确定相邻初始姿态位移的中心点序列，以及所述初始姿态序列的归一化姿态序列；基于所述中心点序列对所述归一化姿态序列进行概率映射，得到所述目标姿态序列。4.根据权利要求3所述的方法，其特征在于，所述基于所述每一初始姿态中关键点的位置信息，得到用于确定相邻初始姿态位移的中心点序列，以及所述初始姿态序列的归一化姿态序列，包括：基于所述每一初始姿态中关键点的位置信息，确定所述每一初始姿态的包围框；在所述初始姿态序列中，对所述每一初始姿态的包围框的中心点进行排序，得到所述中心点序列；采用所述每一初始姿态的包围框，对所述每一初始姿态进行归一化，得到所述归一化姿态序列。5.根据权利要求3或4所述的方法，其特征在于，所述基于所述中心点序列对所述归一化姿态序列进行概率映射，得到所述目标姿态序列，包括：在所述中心点序列中，基于每两个相邻中心点的位置信息之间的差值，得到位移序列；基于所述每一初始姿态的包围框的尺寸信息，对所述位移序列中每一位移进行归一化，得到归一化位移序列；基于所述归一化位移序列对所述归一化姿态序列进行概率映射，得到所述目标姿态序列。
6.根据权利要求5所述的方法，其特征在于，所述基于所述归一化位移序列对所述归一化姿态序列进行概率映射，得到所述目标姿态序列，包括：拟合所述归一化位移序列中每一归一化位移，得到拟合结果；确定所述拟合结果满足的连续分布函数；将所述每一归一化位移输入所述连续分布函数，得到所述每一归一化位移的缩放概率；基于所述每一归一化位移的缩放概率，对每一归一化姿态进行映射，得到所述目标姿态序列。7.根据权利要求1至6任一所述的方法，其特征在于，所述对所述目标姿态序列在空间和时间上进行特征转换，得到所述待识别视频帧中所述目标对象的姿态特征轨迹，包括：在所述目标姿态序列中，基于每一目标姿态的关键点，对所述每一目标姿态进行特征转换，得到待调整特征序列；对每一待调整特征在空间和时间上进行特征维度调整，得到所述姿态特征轨迹。8.根据权利要求7所述的方法，其特征在于，所述对每一待调整特征在空间和时间上进行特征维度调整，得到所述姿态特征轨迹，包括：将每一待调整特征和所述每一待调整特征的预设空间特征进行融合，得到空间特征序列；基于空间维度在注意力机制中的注意力参数，对所述空间特征序列进行多层维度调整，得到空间姿态特征序列；将每一空间姿态特征和所述每一空间姿态特征的预设时间特征进行融合，得到时间特征序列；基于时间维度在注意力机制中的注意力参数，对所述时...

【专利技术属性】
技术研发人员：苏海昇，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：