训练图像分类模型的系统及方法和对图像进行分类的方法技术方案

本申请公开了用于训练图像分类模型的计算机实现的方法、用于训练图像分类模型的系统以及用于对图像进行分类的计算机实现的方法。在一个或多个实施例中，紧凑的深度学习模型包括更少的层，这需要更少的浮点运算(FLOP)。本文还提供了新的学习率函数的实施例，其可以在两个线性函数之间自适应地改变学习率。在一个或多个实施例中，在训练过程中，半精度浮点格式训练与更大批量大小的组合也可用于帮助训练过程。练过程。练过程。

【技术实现步骤摘要】
训练图像分类模型的系统及方法和对图像进行分类的方法


[0001]本公开总体上涉及用于计算机学习的系统和方法，其可以提供改 进的计算机性能、特征和使用。更具体地，本公开涉及用于改进的深 度学习模型和改进深度学习网络的训练的系统和方法。

技术介绍

[0002]深度学习(DL)在诸如计算机视觉、自然语言处理、医学图像处 理等的许多不同领域得到了广泛的应用。逐渐地，深度学习已经成为 近来人工智能/机器学习(AI/ML)革命的基础，这对众多产业产生了 影响并产生了更多的产业。在大多数情况下，DL任务的训练过程非常 长，甚至在现代高级图形处理单元(GPU)机器(诸如，由加利福尼 亚桑尼维尔的Nvidia制造的V100 Tensor Core，或由 加利福尼亚山景城的Google制造的Tensor处理单元(TPU))上也是 如此。非常需要设计新的模型和方法来加速DL模型的训练过程，以 提高效率和节约成本。
[0003]作为示例，考虑深度学习文本到语音(TTS)系统。由于它们的 复杂性，开发TTS系统可能是非常劳动密集型的和困难的。最近关于 神经TTS本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练图像分类模型的计算机实现的方法，所述方法包括：形成一个或多个批次，所述一个或多个批次包括图像及与所述图像对应的标签，所述图像及与所述图像对应的标签选自一个或多个训练数据集，其中，每个图像具有对应的标签；对于每个训练循环重复一组步骤，直到达到停止条件为止，所述一组步骤包括：将批次输入到所述图像分类模型中，所述图像分类模型包括：卷积模块，包括具有一组滤波器的卷积、批次归一化操作和激活操作；第一残差模块，包括由最大池化层分开的至少两个卷积模块，其中，每个卷积模块具有其自己的滤波器组；第二残差模块，包括由最大池化层分开的至少两个卷积模块，其中，每个卷积模块具有其自己的滤波器组；以及全连接层，接收从所述第二残差模块的输出获得的输入；在给出所述批次的预测输出的情况下，确定所述图像分类模型的损失；以及利用所述损失更新所述图像分类模型的一个或多个参数。2.如权利要求1所述的计算机实现的方法，还包括：确定每个训练循环的学习率。3.如权利要求2所述的计算机实现的方法，其中，确定每个训练循环学习率的步骤包括：使用分段线性函数来确定训练循环的学习率，所述分段线性函数将训练循环数与学习率相关联。4.如权利要求3所述的计算机实现的方法，其中，所述分段线性函数包括：第一线性部分，其中，随着训练循环的增加，学习率从零或接近零线性增加到峰值点；以及第二线性部分，其中，随着训练循环的增加，学习率从峰值点线性地降低到接近零，其中，所述第一线性部分的斜率大小大于所述第二线性部分的斜率大小。5.如权利要求1所述的计算机实现的方法，其中，所述第一残差模块和所述第二残差模块中的至少一个包括增加数量的滤波器以增加所述图像分类模型的特征表示。6.如权利要求1所述的计算机实现的方法，其中，所述第一残差模块和所述第二残差模块中的至少一个还包括位于所述最大池化层之后的两个卷积模块。7.如权利要求1所述的计算机实现的方法，其中，用于卷积的滤波器的数量与用于训练所述图像分类模型的系统的处理器单元并行能力相匹配。8.如权利要求1所述的计算机实现的方法，其中，为批次选择的图像的数量被确定为使得所述批次的存储要求小于用于训练所述图像分类模型的处理器单元的存储限制。9.一种用于训练图像分类模型的系统，所述系统包括：一个或多个处理器；以及非暂时性计算机可读介质，包括一组或多组指令，所述一组或多组指令在由所述一个或多个处理器中的至少一个执行时使得执行以下步骤：形成一个或多个批次，所述一个或多个批次包括图像及与所述图像对应的标签，所述图像及与所述图像对应的标签选自一个或多个训练数据集，其中，每个图像具有对应的标
签；对于每个训练循环重复一组步骤，直到达到停止条件为止，所述一组步骤包括：将批次输入到所述图像分类模型中，所述图像分类模型包括：卷积模块，包括具有一组滤波器的卷积、批次归一化操作和...

【专利技术属性】
技术研发人员：李宝普，程治宇，包英泽，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：