行为识别模型的训练方法及装置、设备、介质和程序产品制造方法及图纸

本申请实施例公开了一种行为识别模型的训练方法，包括：获取训练样本集合；所述训练样本集合是对至少一个样本图像通过混合解码和/或数据增强处理得到的；利用所述训练样本集合，训练基于生成对抗网络而搭建的行为识别模型。本申请实施例还同时提供了一种行为识别模型的训练装置、设备、存储介质和程序产品。存储介质和程序产品。存储介质和程序产品。

【技术实现步骤摘要】
行为识别模型的训练方法及装置、设备、介质和程序产品


[0001]本申请涉及计算机视觉领域，涉及但不限定于行为识别模型的训练方法及装置、设备、介质和程序产品。

技术介绍

[0002]对于视频理解任务来说，不同的数据读取格式和低效的前处理极大制约了海量数据驱动下的模型高效训练。此外，不同于去噪、超分等低级别的视觉任务，高层级的识别分类任务对于不同解码和预处理方案十分敏感，当训练与部署采用不同的前处理逻辑时，将极大影响部署精度。然而，因为不同的硬件平台往往提供了不同的解码和预处理实现方案，导致了离线测试和线上部署不可避免地存在不对齐的现象。

技术实现思路

[0003]本申请实施例提供一种行为识别模型的训练方法及装置、设备、介质和程序产品。
[0004]本申请实施例的技术方案是这样实现的：
[0005]第一方面，本申请实施例提供一种行为识别模型的训练方法，所述方法包括：
[0006]获取训练样本集合；所述训练样本集合是对至少一个样本图像通过混合解码和/或数据增强处理得到的；
[0007]利用所述训练样本集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别模型的训练方法，其特征在于，所述方法包括：获取训练样本集合；所述训练样本集合是对至少一个样本图像通过混合解码和/或数据增强处理得到的；利用所述训练样本集合，训练基于生成对抗网络而搭建的行为识别模型。2.如权利要求1所述的方法，其特征在于，所述获取训练样本集合，包括：从预处理库中随机选取至少一种解码方式和/或至少一种数据增强方案对每一所述样本图像进行预处理，得到所述训练样本集合；所述预处理库中包括至少两种所述解码方式和至少两种所述数据增强方案。3.如权利要求2所述的方法，其特征在于，所述从预处理库中随机选取至少一种解码方式和至少一种数据增强方案对每一所述样本图像进行预处理，得到所述训练样本集合，包括：从所述预处理库中随机选取一种所述解码方式对每一所述样本图像进行数据解码；随机选取一种所述数据增强方案对解码后的每一所述样本图像进行数据增强处理，得到所述训练样本集合。4.如权利要求3所述的方法，其特征在于，所述数据增强方案包括几何变换操作和颜色变换操作，所述随机选取一种所述数据增强方案对解码后的每一所述样本图像进行数据增强处理，得到所述训练样本集合，包括：对解码后的每一所述样本图像进行随机的几何变换操作和/或颜色变换操作，得到所述训练样本集合。5.如权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：利用统一的数据载入接口，对不同存储格式的图像进行格式转换，得到统一格式的所述至少一个样本图像。6.如权利要求1至5任一项所述的方法，其特征在于，所述训练样本集合包括真实标注数据和生成的虚拟样本数据；所述搭建的行为识别模型包括骨干网络、与所述骨干网络的输出分别连接的分类器、生成器和判别器；所述利用所述训练样本集合，训练基于生成对抗网络而搭建的行为识别模型，包括：交替固定所述行为识别模型的第一部分和第二部分的网络参数；其中，所述第一部分包括所述骨干网络、所述分类器和所述生成器，所述第二部分包括所述判别器；在固定所述行为识别模型中其中一部分的网络参数的情况下，利用所述真实标注数据和所述虚拟样本数据，迭代训练所述行为识别模型的剩余部分；其中，所述其中一部分为所述第一部分或所述第二部分。7.如权利要求6所述的方法，其特征在于，所述在固定所述行为识别模型中其中一部分的网络参数的情况下，利用真实标注数据和生成的虚拟样本数据，迭代训练所述行为识别模型的剩余部分，包括：在固定所述第一部分的网络参数的情况下，通过所述骨干网络对所述真实标注数据和所述虚拟样本数据进行特征提取，得到所述真实标注数据的第一特征向量和所述虚拟样本数据的第二特征向量；利用所述第一特征向量和所述第二特征向量，迭代训练所述判别器。8.如权利要求6或7所述的方法，其特征在于，所述在固定所述行为识别模型中其中一
部分的网络参数的情况下，利用真实标注数据和生成的虚拟样本数据，迭代训练所述行为识别模型的剩余部分，包括：在固定所述第二部分的网络参数的情况下，通过所述判别器为所述骨干网络输出的特征向量标注真或假标签；利用所述携带真标签的特征向量对应的数据和所述携带假标签的特征向量对应的数据，迭代训练所述分类器；利用所述携带假标签的特征向量对应的数据，迭代训练所述生成器。9.如权利要求6至8任一项所述的方法，其特征在于，所述在固定所述行为识别模型中其中一部分的网络参数的情况下，利用真实标注数据和生成的虚拟样本数据，迭代训练所述行为识别模型的剩余部分，包括：确定所述分类器的分类损失和所述判别器的对抗损失；对所述分类损失和所述对抗损失进行加权求和，确定所述行为识别模型的优化目标函数；按照所述优化目标函数，在固...

【专利技术属性】
技术研发人员：苏海昇，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：