一种分类模型训练方法、图像分类方法及相关设备技术

本申请提供一种分类模型训练方法、图像识别方法及相关设备，分类模型训练方法包括：使用图像分类模型分别对多个第一样本数据进行前向传播计算，以得到多个第一样本数据的第一损失值，图像分类模型包括多个出口，每一第一样本数据的第一损失值包括在多个出口的损失值，多个第一样本数据为第一采样得到的图像帧数据；使用权重预测模型对多个第一样本数据的第一损失值进行权重预测，得到多个第一样本数据分别在每一出口的目标权重；基于多个第一样本数据分别在每一出口的预测权重，以及多个第一样本数据的第一损失值，对图像分类模型进行训练，得到用于对图像进行分类的图像分类模型。本申请可以提升模型性能。本申请可以提升模型性能。本申请可以提升模型性能。

【技术实现步骤摘要】
一种分类模型训练方法、图像分类方法及相关设备


[0001]本申请涉及人工智能
，尤其涉及一种分类模型训练方法、图像分类方法及相关设备。

技术介绍

[0002]视频监控场景下，由于带宽的限制，通常采用边缘设备进行收取摄像头发送的视频流，用深度学习模型进行推理，并将推理结果发送给客户端，或者将推理结果上传到云端服务器。
[0003]而边缘设备的功耗较低、运算能力较弱，可以采用动态“早退”机制的多出口网络，根据输入样本自适应的提前终止运算，从而减少不必要的冗余计算。然而，现有的动态“早退”神经网络模型往往采用和静态神经网络模型相同的训练策略，忽视了模型的自适应推理特性，导致模型性能较差。

技术实现思路

[0004]本申请提供一种分类模型训练方法、图像分类方法及相关设备，以解决模型性能较差的问题。
[0005]第一方面，本申请实施例提供了一种分类模型训练方法，包括：
[0006]使用图像分类模型分别对多个第一样本数据进行前向传播计算，以得到所述多个第一样本数据的第一损失值，所述分类模型包括多个出口，每一第一样本数据的第一损失值包括在所述多个出口的损失值，所述多个第一样本数据为第一采样得到的图像帧数据；
[0007]使用权重预测模型对所述多个第一样本数据的第一损失值进行权重预测，得到所述多个第一样本数据分别在每一出口的目标权重；
[0008]基于所述多个第一样本数据分别在每一出口的预测权重，以及所述多个第一样本数据的第一损失值，对所述图像分类模型进行训练，得到用于对图像进行分类的图像分类模型。
[0009]第二方面，本申请实施例还提供一种图像分类方法，包括：
[0010]将待识别视频的图像帧输入至图像分类模型进行类别预测，得到预测结果，所述图像分类模型包括多个出口；
[0011]在所述预测结果表示所述多个出口中的目标出口输出的预测类别的置信度大于预设阈值的情况下，确定所述目标出口输出的预测类别为所述图像帧的类别；
[0012]其中，所述图像分类模型利用第一方面公开的所述分类模型训练方法进行训练得到。
[0013]第三方面，本申请实施例还提供一种电子设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如本申请实施例第一方面所述方法中的步骤，或者实现如本申请实施例第二方面所述方法中的步骤。
[0014]第四方面，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程序，所述程序被处理器执行时实现如本申请实施例第一方面所述方法中的步骤，或者实现如本申请实施例第二方面所述方法中的步骤。
[0015]本申请实施例中，使用图像分类模型分别对多个第一样本数据进行前向传播计算，以得到所述多个第一样本数据的第一损失值，并使用权重预测模型对所述多个第一样本数据的第一损失值进行权重预测，得到所述多个第一样本数据分别在每一出口的目标权重，基于所述多个第一样本数据分别在每一出口的目标权重，以及所述多个第一样本数据的第一损失值，对所述图像分类模型进行训练，得到用于对图像进行分类的图像分类模型。使用所述权重预测网络对每一样本数据在不同出口的输出损失值的权重进行预测，使得可以基于所述多个第一样本数据分别在每一出口的目标权重，和所述多个第一样本数据的第一损失值对所述分类模型进行训练，这样，得到的所述图像分类模型在训练过程中可以利用模型的自适应推理特性，从而提升所述图像分类模型的性能。
附图说明
[0016]为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本申请实施例提供的一种分类模型训练方法的流程示意图；
[0018]图2是本申请实施例提供的一种图像识别方法的流程示意图；
[0019]图3是本申请实施例提供的一种主干网络和权重预测网络交替优化的示意图；
[0020]图4是本申请实施例提供的一种分类模型训练装置的结构示意图；
[0021]图5是本申请实施例提供的一种图像识别装置的结构示意图；
[0022]图6是本申请实施例提供的一种电子设备的结构示意图；
[0023]图7是本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
[0024]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0025]本申请实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，本申请中使用“和/或”表示所连接对象的至少其中之一，例如A和/或B和/或C，表示包含单独A，单独B，单独C，以及A和B都存在，B和C都存在，A和C都存在，以及A、B和C都存在的7种情况。
[0026]请参阅图1，图1是本申请实施例提供的一种分类模型训练方法的流程示意图，如
图1所示，包括以下步骤：
[0027]步骤101、使用图像分类模型分别对多个第一样本数据进行前向传播计算，以得到所述多个第一样本数据的第一损失值，所述分类模型包括多个出口，每一第一样本数据的第一损失值包括在所述多个出口的损失值，所述多个第一样本数据为第一采样得到的图像帧数据。
[0028]上述图像分类模型包括多个出口，例如：上述图像分类模型可以是多尺度密集连接网络( Multi
‑
Scale Dense Networks，MSDNet)模型、分辨率自适应网络(Resolution Adaptive Network，RANet)模型等多出口动态神经网络模型。应理解的是，在上述图像分类模型应用于图像识别之前，需要对上述图像分类模型进行多次训练，以更新上述图像分类模型的模型参数，优化上述图像分类模型的识别性能。
[0029]需要说明的是，上述步骤101中的图像分类模型可以是初始的图像分类模型(模型参数为初始值)，也可以是对图像分类模型进行一次或多次训练后得到的模型(模型参数已进行一次或多次迭代更新)。例如：以上述图像分类模型在应用于图像识别之前需要进行T次的迭代训练为例，在t(0≤t≤T)次训练过程中，若t＝0，则该次训练过程在步骤101中所使用的图像分类模型为初始的分类模型，也即此时上述分类模型的参数为初始的预设值；若0＜t≤T本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分类模型训练方法，其特征在于，包括：使用图像分类模型分别对多个第一样本数据进行前向传播计算，以得到所述多个第一样本数据的第一损失值，所述图像分类模型包括多个出口，每一第一样本数据的第一损失值包括在所述多个出口的损失值，所述多个第一样本数据为第一采样得到的图像帧数据；使用权重预测模型对所述多个第一样本数据的第一损失值进行权重预测，得到所述多个第一样本数据分别在每一出口的目标权重；基于所述多个第一样本数据分别在每一出口的目标权重，以及所述多个第一样本数据的第一损失值，对所述图像分类模型进行训练，得到用于对图像进行分类的图像分类模型。2.如权利要求1所述的方法，其特征在于，所述使用权重预测模型对所述多个第一样本数据的第一损失值进行权重预测，得到所述多个第一样本数据分别在每一出口的目标权重，包括：使用权重预测模型对所述多个第一样本数据的第一损失值进行权重预测，得到所述多个第一样本数据分别在每一出口的预测权重；基于所述多个第一样本数据分别在每一出口的预测权重，以及所述多个第一样本数据的第一损失值，对所述图像分类模型的模型参数进行更新，得到参考分类模型；使用所述参考分类模型分别对多个第二样本数据进行分类预测，得到每一出口的样本数据集合以及每一第二样本数据的预测结果，所述多个第二样本数据为第二采样得到的图像帧数据，所述多个第二样本数据包括所述样本数据集合中的样本数据；基于所述每一出口的样本数据集合以及每一第二样本数据的预测结果，计算第二损失值；使用所述第二损失值对所述权重预测模型进行更新；使用更新后的权重预测模型对所述多个第一样本数据的第一损失值进行权重预测，得到所述多个第一样本数据分别在每一出口的目标权重。3.如权利要求2所述的方法，其特征在于，所述使用所述参考分类模型分别对多个第二样本数据进行分类预测，得到每一个出口的样本数据集合以及每一第二样本数据的预测结果，包括：获取所述每一出口的输出样本比例；使用所述参考分类模型分别对多个第二样本数据进行分类预测，得到每一第二样本数据分别在所述多个出口输出的结果；基于所述每一出口的输出样本比例，以及所述每一第二样本数据分别在所述多个出口输出的结果，确定所述每一出口的样本数据集合以及每一第二样本数据的预测结果。4.如权利要求3所述的方法，其特征在于，所述每一第二样本数据分别在所述多个出口输出的结果包括所述每一第二样本数据分别在所述多个出口输出的预测置信度；所述基于所述每一出口的输出样本比例，以及所述每一第二样本数据分别在所述多个出口输出的结果，确定所述每一出口的样本数据集合以及每一第二样本数据的预测结果，包括：获取所述多个出口在所述图像分类模型中的顺序；按照所述每一第二样本数据分别在所述多个出口输出的预测置信度和所述顺序，依次确定所述每一出口的样本数据集合以及每一第二样本数据的预测结果，每一出口的样本数
据集合中的样本数量与所述每一出口的输出样本比例匹配。5.一种图像分类方法，其特征在于，包括：将待识别视频的图像帧输入至图像分类模型进行类别预测，得到预测结果，所述图像分类模型包括多个出口；在所述预测结果表示所述多个出口中的目标出口输出的预测类别的置信度大于预设阈值的情况下，确定所述目标出口输出的预测类别为所述图像帧的类别；其中，所述图像分类模型利用权利要求1至4中任一项所述的分类模型训练方法进行训练得到。6.一种分类模型训练装置，其特征在于，包括：计算模块，用于使用图像分类模型分别对多个第一样本数据进行前向传播计算，以得到所述多个第一样本数据的第一损失值，所述图...

【专利技术属性】
技术研发人员：韩益增，齐鹏飞，浦一凡，王语霖，冯俊兰，邓超，黄高，
申请(专利权)人：清华大学中国移动通信集团有限公司，
类型：发明
国别省市：