行为识别模型的训练方法、行为识别方法以及相关装置制造方法及图纸

本发明专利技术实施例公开了一种行为识别模型的训练方法、行为识别方法以及相关装置。该训练方法包括：获取多个样本图像；使用行为识别模型对各样本图像进行特征编码，获取各样本图像的行为特征数据和显著性特征数据；将各样本图像的行为特征数据和显著性特征数据进行特征融合，得到各样本图像的融合特征数据；将各样本图像的融合特征数据进行特征解码，得到各样本图像的行为预测结果；根据各样本图像的行为预测结果和行为标定结果之间的损失值，调整行为识别模型的训练参数。通过本发明专利技术，解决了相关技术中的级联行为识别模型存在误差大、维护成本高和非级联模型性能较差的技术问题，达到了降低模型误差和维护成本，有效提升模型性能的技术效果。的技术效果。的技术效果。

【技术实现步骤摘要】
行为识别模型的训练方法、行为识别方法以及相关装置


[0001]本专利技术涉及行为识别
，尤其涉及一种行为识别模型的训练方法、行为识别方法以及相关装置。

技术介绍

[0002]驾驶室行为识别用于主/副驾驶人员定位、司机打电话、未系安全带等识别功能，主要作为取证处罚。常见的违法行为判断方法首先通过定位特征区域，在对特征区域进行违法识别分类，并通过对不同区域的分类结果进行逻辑校验得到最终的违法判断结果。以驾驶室行为识别为例，首先根据车窗检测的结果截取驾驶室车窗位置，再检测车窗位置中的人体和物品关键区域，用于后续安全带/打电话/抽烟等各个模块的分类，最后根据各模块的检测和分类结果进行逻辑判断输出最终算法结果。然而，这种模型级联的方式模型数量多，且容易产生累计误差，每新增一个违法业务判断就需要新增模型和逻辑，维护成本高；另外，对于复杂的场景而言，非级联行为识别模型的性能较差。
[0003]针对上述的问题，尚未提出有效地解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种行为识别模型的训练方法、行为识别方法以及相关装置，以至少解决相关技术中的级联行为识别模型存在误差大、维护成本高和非级联模型性能较差的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种行为识别模型的训练方法，包括：获取多个样本图像，其中，所述样本图像包含至少一种标定结果，所述标定结果包括行为标定结果，所述行为标定结果用于指示预先标定的所述样本图像中所包含的目标对象的行为类别；使用预先构建的行为识别模型对各所述样本图像进行特征编码，获取各所述样本图像的行为特征数据和显著性特征数据；将各所述样本图像的行为特征数据和显著性特征数据进行特征融合，得到各所述样本图像的融合特征数据；将各所述样本图像的融合特征数据进行特征解码，得到各所述样本图像的行为预测结果；根据各所述样本图像的行为预测结果和行为标定结果之间的损失值，调整所述行为识别模型的训练参数。
[0006]可选地，所述标定结果还包括位置标定结果，其中，所述位置标定结果用于指示预先标定的所述样本图像中的显著性区域所包含的目标位置信息，在获取各所述样本图像的显著性特征数据之后，所述方法还包括：将各所述样本图像的显著性特征数据进行特征解码，得到各所述样本图像的位置预测结果；根据各所述样本图像的位置预测结果和位置标定结果之间的损失值，调整所述行为识别模型的训练参数；其中，所述位置预测结果用于指示检测到的所述样本图像中的显著性区域所包含的目标位置信息。
[0007]可选地，获取各所述样本图像的行为特征数据和显著性特征数据，包括：提取各所述样本图像的特征数据；从各所述样本图像的特征数据中分别获取各所述样本图像的行为特征数据和显著性特征数据。
[0008]可选地，从各所述样本图像的特征数据中获取各所述样本图像的显著性特征数据，包括：对各所述样本图像的特征数据进行识别，确定各所述样本图像的至少一个显著性区域；对各所述样本图像的至少一个显著性区域进行特征提取，得到各所述样本图像的显著性特征数据。
[0009]可选地，根据各所述样本图像的行为预测结果和行为标定结果之间的损失值，调整所述行为识别模型的训练参数，包括：根据各所述样本图像的显著性特征数据对各所述样本图像进行预处理，得到各所述样本图像的预处理图像，其中，所述样本图像的预处理图像包含至少一个显著性区域；对各所述样本图像的预处理图像进行逐像素处理，计算出各所述样本图像的行为预测结果和行为标定结果之间的损失值；将各所述样本图像的行为预测结果和行为标定结果之间的损失值反向求取损失值梯度，并基于所述损失值梯度调整所述行为识别模型的训练参数。
[0010]根据本专利技术实施例的另一个方面，还提供了一种行为识别模型的训练装置，包括：第一获取模块，用于获取多个样本图像，其中，所述样本图像包含至少一种标定结果，所述标定结果包括行为标定结果，所述行为标定结果用于指示所述样本图像中所包含的目标对象的行为类别；特征编码模块，用于使用预先构建的行为识别模型对各所述样本图像进行特征编码，获取各所述样本图像的行为特征数据和显著性特征数据；特征融合模块，用于将各所述样本图像的行为特征数据和显著性特征数据进行特征融合，得到各所述样本图像的融合特征数据；第一特征解码模块，用于将各所述样本图像的融合特征数据进行特征解码，得到各所述样本图像的行为预测结果；第一调整模块，用于根据各所述样本图像的行为预测结果和行为标定结果之间的损失值，调整所述行为识别模型的训练参数。
[0011]可选地，所述标定结果还包括位置标定结果，其中，所述位置标定结果用于指示预先标定的所述样本图像中的显著性区域所包含的目标位置信息，所述装置还包括：第二特征解码模块，用于在获取各所述样本图像的显著性特征数据之后，将各所述样本图像的显著性特征数据进行特征解码，得到各所述样本图像的位置预测结果；第二调整模块，用于根据各所述样本图像的位置预测结果和位置标定结果之间的损失值，调整所述行为识别模型的训练参数；其中，所述位置预测结果用于指示检测到的所述样本图像中的显著性区域所包含的目标位置信息。
[0012]根据本专利技术实施例的另一个方面，还提供了一种行为识别方法，包括：获取待识别图像；使用训练好的行为识别模型对所述待识别图像进行处理，得到所述待识别图像的行为预测结果，其中，所述行为识别模型是根据上述中任一项所述的行为识别模型的训练方法训练得到的，所述行为预测结果用于指示检测到的所述样本图像中所包含的目标对象的行为类别。
[0013]根据本专利技术实施例的另一个方面，还提供了一种行为识别装置，包括：第二获取模块，用于获取待识别图像；处理模块，用于使用训练好的行为识别模型对所述待识别图像进行处理，得到所述待识别图像的行为预测结果，其中，所述行为识别模型是根据上述中任一项所述的行为识别模型的训练方法训练得到的，所述行为预测结果用于指示检测到的所述样本图像中所包含的目标对象的行为类别。
[0014]根据本专利技术实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述中任一项所述的行为
识别模型的训练方法或者所述的行为识别方法。
[0015]在本专利技术实施例中，采用获取多个样本图像，其中，样本图像包含至少一种标定结果，标定结果包括行为标定结果，行为标定结果用于指示预先标定的样本图像中所包含的目标对象的行为类别；使用预先构建的行为识别模型对各样本图像进行特征编码，获取各样本图像的行为特征数据和显著性特征数据；将各样本图像的行为特征数据和显著性特征数据进行特征融合，得到各样本图像的融合特征数据；将各样本图像的融合特征数据进行特征解码，得到各样本图像的行为预测结果；根据各样本图像的行为预测结果和行为标定结果之间的损失值，调整行为识别模型的训练参数。也就是说，本专利技术实施例基于预先构建的行为识别模型对多个样本图像进行特征编码，得到各样本图像的行为特征数据和显著性特征数据；然后将各样本图像的行为特征数据和显著性特征数据进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别模型的训练方法，其特征在于，包括：获取多个样本图像，其中，所述样本图像包含至少一种标定结果，所述标定结果包括行为标定结果，所述行为标定结果用于指示预先标定的所述样本图像中所包含的目标对象的行为类别；使用预先构建的行为识别模型对各所述样本图像进行特征编码，获取各所述样本图像的行为特征数据和显著性特征数据；将各所述样本图像的行为特征数据和显著性特征数据进行特征融合，得到各所述样本图像的融合特征数据；将各所述样本图像的融合特征数据进行特征解码，得到各所述样本图像的行为预测结果；根据各所述样本图像的行为预测结果和行为标定结果之间的损失值，调整所述行为识别模型的训练参数。2.根据权利要求1所述的方法，其特征在于，所述标定结果还包括位置标定结果，其中，所述位置标定结果用于指示预先标定的所述样本图像中的显著性区域所包含的目标位置信息，在获取各所述样本图像的显著性特征数据之后，所述方法还包括：将各所述样本图像的显著性特征数据进行特征解码，得到各所述样本图像的位置预测结果；根据各所述样本图像的位置预测结果和位置标定结果之间的损失值，调整所述行为识别模型的训练参数；其中，所述位置预测结果用于指示检测到的所述样本图像中的显著性区域所包含的目标位置信息。3.根据权利要求1所述的方法，其特征在于，获取各所述样本图像的行为特征数据和显著性特征数据，包括：提取各所述样本图像的特征数据；从各所述样本图像的特征数据中分别获取各所述样本图像的行为特征数据和显著性特征数据。4.根据权利要求3所述的方法，其特征在于，从各所述样本图像的特征数据中获取各所述样本图像的显著性特征数据，包括：对各所述样本图像的特征数据进行识别，确定各所述样本图像的至少一个显著性区域；对各所述样本图像的至少一个显著性区域进行特征提取，得到各所述样本图像的显著性特征数据。5.根据权利要求1至4中任一项所述的方法，其特征在于，根据各所述样本图像的行为预测结果和行为标定结果之间的损失值，调整所述行为识别模型的训练参数，包括：根据各所述样本图像的显著性特征数据对各所述样本图像进行预处理，得到各所述样本图像的预处理图像，其中，所述样本图像的预处理图像包含至少一个显著性区域；对各所述样本图像的预处理图像进行逐像素处理，计算出各所述样本图像的行为预测结果和行为标定结果之间的损失值；将各所述样本图像的行为预测结果和行为标定结果之间的损失值反向求取损失值梯
度，并基于所述损失值梯度...

【专利技术属性】
技术研发人员：李瞻宁，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：