训练方法、分类方法、检测方法、装置、系统及设备制造方法及图纸

本公开提供了一种训练方法、分类方法、检测方法、装置、系统及设备，可以应用于行为分类和金融领域。该训练方法包括获取训练集，训练集包括多个训练视频和分类标签；将训练视频输入至初始行为分类模型，输出与训练视频对应的多个多尺度特征矩阵，每个多尺度特征矩阵包括多个包括对象不同关键点的预测区域；基于训练视频的标记点，对训练视频对应的多个预测区域进行行为分类处理，得到训练视频的行为分类结果，标记点表征每个图像帧中的对象的不同关键点的位置；将与每个训练视频对应的分类结果和分类标签输入损失函数，输出损失结果；根据损失结果迭代地调整初始行为分类模型的网络参数，生成经训练的对象行为分类模型。生成经训练的对象行为分类模型。生成经训练的对象行为分类模型。

【技术实现步骤摘要】
训练方法、分类方法、检测方法、装置、系统及设备


[0001]本公开涉及行为分类和金融领域，尤其涉及一种对象行为分类模型的训练方法、对象行为分类方法、运输车辆的行驶安全性检测方法、对象行为分类模型的训练装置、对象行为分类装置、车辆监控系统、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]随着技术的发展，金融业务管理对金融安全、金融服务质效等方面提出了更高标准。其中，作为金融业务中的重要组成部分，金融押运在维护财产运输安全、保障银行金融业务、提高金融服务质量、建设金融市场秩序等方面具有重要作用。
[0003]在金融押运业务中，传统的金融押运存在较多人为操作流程，这将对银行开展金融业务和系统管理产生诸多影响。其中，运输车辆和押运人员具有不确定性、随机性、流动性等特点，这些具有不可控性的因素是降低金融押运业务效率的主要原因之一。同时押运人员的一些不合规行为可能会降低运输任务的安全性，从而给押运任务带来不必要的安全风险和财产损失。
[0004]在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下问题：相关技术中在对对象的行为进行分类时，其分类结果的准确性较差，不能准确识别对象的行为，从而对押运任务造成影响。

技术实现思路

[0005]鉴于上述问题，本公开提供了一种对象行为分类模型的训练方法、对象行为分类方法、运输车辆的行驶安全性检测方法、对象行为分类模型的训练装置、对象行为分类装置、车辆监控系统、电子设备、计算机可读存储介质和计算机程序产品。
[0006]根据本公开的第一个方面，提供了一种对象行为分类模型的训练方法，包括：
[0007]获取训练集，其中，上述训练集包括多个训练视频和分类标签，上述视频包括时序上关联的多个图像帧；
[0008]将上述训练视频输入至初始行为分类模型，输出与上述训练视频对应的多个多尺度特征矩阵，其中，每个上述多尺度特征矩阵包括多个包括对象不同关键点的预测区域；
[0009]基于上述训练视频的标记点，对上述训练视频对应的多个上述预测区域进行行为分类处理，得到上述训练视频的行为分类结果，其中，上述标记点表征每个图像帧中的上述对象的不同关键点的位置；
[0010]将与每个上述训练视频对应的分类结果和分类标签输入损失函数，输出损失结果；
[0011]根据上述损失结果迭代地调整上述初始行为分类模型的网络参数，生成经训练的对象行为分类模型。
[0012]根据本公开的实施例，在上述多尺度特征矩阵的数量为三个的情况下，上述将上述训练视频输入至初始行为分类模型，输出与上述训练视频对应的多个多尺度特征矩阵，
包括：
[0013]基于第一预设步长，利用特征提取子模型对多个上述图像帧进行通道调整和特征提取处理，得到第一图像特征；
[0014]利用通道调整子模型处理上述第一图像特征，得到第二图像特征和第三图像特征；
[0015]利用第一多尺度子模型、第二多尺度子模型和第三多尺度子模型分别处理上述第一图像特征、上述第二图像特征和上述第三图像特征，得到三个上述多尺度特征矩阵。
[0016]根据本公开的实施例，上述基于第一预设步长，利用特征提取子模型对多个上述图像帧进行通道调整和特征提取处理，得到第一图像特征，包括：
[0017]利用多个第一卷积归一化层对多个上述图像帧进行通道调整和特征提取处理，得到第一中间特征，其中，一个上述卷积归一化层对应于一个第一预设步长；
[0018]利用第一特征处理层对上述第一中间特征进行通道调整和特征堆叠处理，得到第二中间特征；
[0019]利用第一下采样层对上述第二中间特征进行下采样处理，得到第三中间特征；
[0020]利用第二特征处理层对上述第三中间特征进行通道调整和特征堆叠处理，得到上述第一图像特征。
[0021]根据本公开的实施例，上述利用通道调整子模型处理上述第一图像特征，得到第二图像特征和第三图像特征，包括：
[0022]利用第二下采样层对上述第一图像特征进行下采样处理，得到第四中间特征；
[0023]利用第三特征处理层对上述第四中间特征进行通道调整和特征提取处理，得到上述第二图像特征；
[0024]利用第三下采样层对上述第二图像特征进行下采样处理，得到第五中间特征；
[0025]利用第四特征处理层对上述第五中间特征进行通道调整和特征提取处理，得到上述第三图像特征。
[0026]根据本公开的实施例，上述利用第一多尺度子模型、第二多尺度子模型和第三多尺度子模型分别处理上述第一图像特征、上述第二图像特征和上述第三图像特征，得到三个上述多尺度特征矩阵，包括：
[0027]利用上述第一多尺度子模型处理上述第一图像特征和第一过渡特征，输出一个上述多尺度特征矩阵和第二过渡特征；
[0028]利用上述第二多尺度子模型处理上述第二图像特征、上述第二过渡特征和第三过渡特征，输出一个上述多尺度特征矩阵、上述第一过渡特征和第四过渡特征；
[0029]利用上述第三多尺度子模型处理上述第三图像特征和上述第四过渡特征，输出一个上述多尺度特征矩阵和上述第三过渡特征。
[0030]根据本公开的实施例，上述利用上述第一多尺度子模型处理上述第一图像特征和第一过渡特征，输出一个上述多尺度特征矩阵和第二过渡特征，包括：
[0031]基于第二预设步长，利用两个第二卷积归一化层分别对上述第一图像特征和上述第一过渡特征进行通道调整和特征提取处理，得到第一通道特征和第二通道特征；
[0032]利用第一特征扩张层对上述第二通道特征进行特征层扩张处理，得到第三通道特征；
[0033]利用第一特征堆叠层对上述第一通道特征和上述第三通道特征进行特征堆叠处理，得到第四通道特征；
[0034]利用第五特征处理层对上述第四通道特征进行通道调整和特征提取处理，得到第五通道特征，其中，上述第五通道特征包括两个预设通道数的子通道特征；
[0035]利用第四下采样层对一个上述子通道特征进行下采样处理，得到上述第二过渡特征；
[0036]利用第一卷积叠加层对另一个上述子通道特征进行卷积、归一化和特征叠加处理，得到第六通道特征；
[0037]基于上述第二预设步长，利用第三卷积归一化层对上述第六通道特征进行通道调整和特征提取处理，得到第一个上述多尺度特征矩阵，其中，上述第一个多尺度特征矩阵包括第一预设数量的网格数和目标数量的通道数。
[0038]根据本公开的实施例，上述利用上述第二多尺度子模型处理上述第二图像特征、上述第二过渡特征和第三过渡特征，输出一个上述多尺度特征矩阵、上述第一过渡特征和第四过渡特征，包括：
[0039]基于第三预设步长，利用两个第四卷积归一化层分别对上述第二图像特征和上述第三过渡特征进行通道调整和特征提取处理，得到第七通道特征和第八通道特征；
[0040]利用第二特征扩张层对上述第八通道特征进行特征层扩张处理，得到第九通道特征；...

【技术保护点】

【技术特征摘要】
1.一种对象行为分类模型的训练方法，包括：获取训练集，其中，所述训练集包括多个训练视频和分类标签，所述视频包括时序上关联的多个图像帧；将所述训练视频输入至初始行为分类模型，输出与所述训练视频对应的多个多尺度特征矩阵，其中，每个所述多尺度特征矩阵包括多个包括对象不同关键点的预测区域；基于所述训练视频的标记点，对所述训练视频对应的多个所述预测区域进行行为分类处理，得到所述训练视频的行为分类结果，其中，所述标记点表征每个图像帧中的所述对象的不同关键点的位置；将与每个所述训练视频对应的分类结果和分类标签输入损失函数，输出损失结果；根据所述损失结果迭代地调整所述初始行为分类模型的网络参数，生成经训练的对象行为分类模型。2.根据权利要求1所述的方法，其中，在所述多尺度特征矩阵的数量为三个的情况下，所述将所述训练视频输入至初始行为分类模型，输出与所述训练视频对应的多个多尺度特征矩阵，包括：基于第一预设步长，利用特征提取子模型对多个所述图像帧进行通道调整和特征提取处理，得到第一图像特征；利用通道调整子模型处理所述第一图像特征，得到第二图像特征和第三图像特征；利用第一多尺度子模型、第二多尺度子模型和第三多尺度子模型分别处理所述第一图像特征、所述第二图像特征和所述第三图像特征，得到三个所述多尺度特征矩阵。3.根据权利要求2所述的方法，其中，所述基于第一预设步长，利用特征提取子模型对多个所述图像帧进行通道调整和特征提取处理，得到第一图像特征，包括：利用多个第一卷积归一化层对多个所述图像帧进行通道调整和特征提取处理，得到第一中间特征，其中，一个所述卷积归一化层对应于一个第一预设步长；利用第一特征处理层对所述第一中间特征进行通道调整和特征堆叠处理，得到第二中间特征；利用第一下采样层对所述第二中间特征进行下采样处理，得到第三中间特征；利用第二特征处理层对所述第三中间特征进行通道调整和特征堆叠处理，得到所述第一图像特征。4.根据权利要求2所述的方法，其中，所述利用通道调整子模型处理所述第一图像特征，得到第二图像特征和第三图像特征，包括：利用第二下采样层对所述第一图像特征进行下采样处理，得到第四中间特征；利用第三特征处理层对所述第四中间特征进行通道调整和特征提取处理，得到所述第二图像特征；利用第三下采样层对所述第二图像特征进行下采样处理，得到第五中间特征；利用第四特征处理层对所述第五中间特征进行通道调整和特征提取处理，得到所述第三图像特征。5.根据权利要求2所述的方法，其中，所述利用第一多尺度子模型、第二多尺度子模型和第三多尺度子模型分别处理所述第一图像特征、所述第二图像特征和所述第三图像特征，得到三个所述多尺度特征矩阵，包括：
利用所述第一多尺度子模型处理所述第一图像特征和第一过渡特征，输出一个所述多尺度特征矩阵和第二过渡特征；利用所述第二多尺度子模型处理所述第二图像特征、所述第二过渡特征和第三过渡特征，输出一个所述多尺度特征矩阵、所述第一过渡特征和第四过渡特征；利用所述第三多尺度子模型处理所述第三图像特征和所述第四过渡特征，输出一个所述多尺度特征矩阵和所述第三过渡特征。6.根据权利要求5所述的方法，其中，所述利用所述第一多尺度子模型处理所述第一图像特征和第一过渡特征，输出一个所述多尺度特征矩阵和第二过渡特征，包括：基于第二预设步长，利用两个第二卷积归一化层分别对所述第一图像特征和所述第一过渡特征进行通道调整和特征提取处理，得到第一通道特征和第二通道特征；利用第一特征扩张层对所述第二通道特征进行特征层扩张处理，得到第三通道特征；利用第一特征堆叠层对所述第一通道特征和所述第三通道特征进行特征堆叠处理，得到第四通道特征；利用第五特征处理层对所述第四通道特征进行通道调整和特征提取处理，得到第五通道特征，其中，所述第五通道特征包括两个预设通道数的子通道特征；利用第四下采样层对一个所述子通道特征进行下采样处理，得到所述第二过渡特征；利用第一卷积叠加层对另一个所述子通道特征进行卷积、归一化和特征叠加处理，得到第六通道特征；基于所述第二预设步长，利用第三卷积归一化层对所述第六通道特征进行通道调整和特征提取处理，得到第一个所述多尺度特征矩阵，其中，所述第一个多尺度特征矩阵包括第一预设数量的网格数和目标数量的通道数。7.根据权利要求5或6所述的方法，其中，所述利用所述第二多尺度子模型处理所述第二图像特征、所述第二过渡特征和第三过渡特征，输出一个所述多尺度特征矩阵、所述第一过渡特征和第四过渡特征，包括：基于第三预设步长，利用两个第四卷积归一化层分别对所述第二图像特征和所述第三过渡特征进行通道调整和特征提取处理，得到第七通道特征和第八通道特征；利用第二特征扩张层对所述第八通道特征进行特征层扩张处理，得到第九通道特征；利用第二特征堆叠层对所述第七通道特征和所述第九通道特征进行特征堆叠处理，得到第十通道特征；利用第六特征处理层对所述第十通道特征进行通道调整和特征提取处理，得到第十一通道特征；利用第三特征堆叠层对所述第十一通道特征和所述第二过渡特征进行特征堆叠处理，得到第十二通道特征；利用第七特征处理层对所述第十二通道特征进行通道调整和特征提取处理，得到第十三通道特征；利用第五下采样层对所述第十三通道特征进行下采样处理，得到所述第四过渡特征；利用第二卷积叠加层对所述第十三通道特征进行卷积、归一化和特征叠加处理，得到第十四通道特征；基于所述第三预设步长，利用第五卷积归一化层对所述第十四通道特征进行通道调整
和特征提取处理，得到第二个所述多尺度特征矩阵，其中，所述第二个多尺度特征矩阵包括第二预设数量的网格数和目标数量的通道数。8.根据权利要求5所述的方法，其中，所述利用所述第三多尺度子模型处理所述第三图像特征和所述第四过渡特征，输出一个所述多尺度特征矩阵和所述第三过渡特征，包括：利用特征提取堆叠层对所述第三图像特征进行特征提取、池化和堆叠处理，得到所述第三过渡特征；利用第四特征堆叠层对所述第三过渡特征和所述第四过渡特征进行特征堆叠处理，得到第十五通道特征；利用第八特征处理层对所述第十五通道特征进行通道调整和特征提取处理，得到第十六通道特征；利用第三卷积叠加层对所述第十六通道特征进行卷积、归一化和特征叠加处理，得到第十七通道...

【专利技术属性】
技术研发人员：张伟，袁甲，张浩，李溢翔，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：