模型训练方法、系统、电子设备及存储介质技术方案

本申请实施例涉及计算机技术领域，公开了一种模型训练方法、系统、电子设备及存储介质。应用在模型训练系统的主处理器中，模型训练系统还包括处理器集群和数据库，方法包括：将原始数据集拆分为多个第一数据子集，并为各第一数据子集分配数据标识；将各数据标识和各第一数据子集存入数据库的第一表结构中；以供处理器集群中的各处理器从第一表结构中获取各第一数据子集和各数据标识，对各第一数据子集进行处理生成各第二数据子集，并根据各数据标识将各第二数据子集存入数据库的第二表结构中；从第二表结构中获取各第二数据子集，并基于各第二数据子集进行模型训练。能够保证数据的处理速度与模型训练的处理速度相匹配，从而提高模型训练的速度。模型训练的速度。模型训练的速度。

【技术实现步骤摘要】
模型训练方法、系统、电子设备及存储介质


[0001]本申请实施例涉及计算机
，特别涉及一种模型训练方法、系统、电子设备及存储介质。

技术介绍

[0002]机器学习和深度学习是当前人工智能领域最热门的研究方向。在机器学习中，机器学习任务80％的时间都用在数据处理设备处理模型输入所需要的数据和特征加工上，而且需要多次加工不同且大量的特征，经过多次尝试才能得到有效的特征，每次尝试都需要等待长时间，导致数据处理设备的处理速度与模型训练设备的训练速度不匹配；而深度学习任务需要大量数据支撑，在训练时，通常会把数据以一定的大小的数据分组，经过一定的数据增强操作之后，才进行基于小批次的数据集mini
‑
batch的梯度下降训练；深度学习的模型训练设备资源昂贵而稀缺，但速度快，而数据处理设备相对便宜，但速度相对慢，也会使数据处理设备的处理速度跟不上模型训练设备的训练速度；而机器学习和深度学习中的数据处理设备和模型训练设备的速度不匹配，导致模型训练设备的利用率低，从而降低了机器学习模型或深度学习模型的训练速度。

技术实现思路

[0003]本申请实施例的目的在于提供一种模型训练方法、系统、电子设备及存储介质，使得数据的处理速度与模型训练的处理速度相匹配，从而提高模型训练的速度。
[0004]为解决上述技术问题，本申请的实施例提供了一种模型训练方法，其特征在于，应用在模型训练系统的主处理器中，所述模型训练系统还包括处理器集群和数据库；包括：将原始数据集拆分为多个第一数据子集，并为各所述第一数据子集分配数据标识；将各所述数据标识和各所述第一数据子集存入所述数据库的第一表结构中；以供所述处理器集群中的各处理器从所述第一表结构中获取各所述第一数据子集和各所述数据标识，对各所述第一数据子集进行处理生成各第二数据子集，并根据各所述数据标识将各所述第二数据子集存入所述数据库的第二表结构中；从所述第二表结构中获取各所述第二数据子集，并基于各所述第二数据子集进行模型训练。
[0005]本申请的实施例还提供了一种模型训练系统，其特征在于，所述系统包括：主处理器、处理器集群和数据库；其中，所述主处理器，用于将原始数据集拆分为多个第一数据子集，并为各所述第一数据子集分配数据标识，将各所述数据标识和各所述第一数据子集存入所述数据库的第一表结构中；所述处理器集群中的各处理器，用于从所述第一表结构中获取各所述第一数据子集和各所述数据标识，对各所述第一数据子集进行处理生成各第二数据子集，并根据各所述数据标识将各所述第二数据子集存入所述数据库的第二表结构中；所述主处理器，还用于从所述第二表结构中获取各所述第二数据子集，并基于各所述第二数据子集进行模型训练。
[0006]本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至
少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述模型训练方法。
[0007]本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练方法。
[0008]本申请实施例中，在模型训练系统的主处理器中，将原始数据集拆分为多个第一数据子集，并为各第一数据子集分配数据标识；将各数据标识和各第一数据子集存入数据库的第一表结构中；以供处理器集群中的各处理器从第一表结构中获取各第一数据子集和各数据标识，对各第一数据子集进行处理生成各第二数据子集，并根据各数据标识将各第二数据子集存入数据库的第二表结构中；从第二表结构中获取各第二数据子集，并基于各所述第二数据子集进行模型训练。通过将数据拆分成多个小的数据子集，并分发到多个处理器中进行处理，再基于处理之后的数据进行模型训练，使得本申请可以提高数据集的处理速度，减少模型训练的等待时长，保证数据的处理速度与模型训练的处理速度相匹配，从而提高模型训练的速度，解决了现有技术中由于数据处理设备和模型训练设备的速度不匹配导致模型训练设备的利用率低和模型训练速度低的技术问题。
附图说明
[0009]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
[0010]图1是本申请实施例提供的模型训练方法的流程图；
[0011]图1a是本申请实施例提供的数据库中第一表结构和第二表结构的结构示意图；
[0012]图2是本申请实施例提供的模型训练方法的流程图；
[0013]图3是本申请实施例提供的模型训练方法的流程图；
[0014]图4是本申请实施例提供的模型训练方法的流程图；
[0015]图5是本申请实施例提供的模型训练系统的结构示意图；
[0016]图6是本申请实施例提供的模型训练系统的结构示意图；
[0017]图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0018]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
[0019]本申请的实施例涉及一种模型训练方法，应用在模型训练系统的主处理器中，模型训练系统还包括处理器集群和数据库，如图1所示，具体包括以下步骤。
[0020]步骤101，将原始数据集拆分为多个第一数据子集，并为各第一数据子集分配数据标识。
[0021]在一示例实施中，当需要进行训练的模型为机器学习模型时，模型训练系统中的主处理器为中央处理器(Central Processing unit，简称CPU)；而当需要进行训练的模型为深度学习模型时，模型训练系统中的主处理器为中央处理器CPU或图形处理器(Graphics Processing Unit，简称GPU)；而无论需要进行训练的模型为机器学习模型还是深度学习模型，模型训练系统中的处理器集群由各中央处理器CPU组成。
[0022]在一示例实施中，当主处理器获取到原始数据集之后，并不会对原始数据集进行相关的数据处理工作，而是根据深度学习或机器学习的特性和需求将原始数据集拆分成多个第一数据子集，并为每一个第一数据子集都分配唯一的数据标识，本申请并不对原始数据集中的各原始数据的具体形式进行限制。
[0023]在一示例实施中，主处理器所获取的原始数据集中存储的是各原始数据的数据存储地址，而此时的模型训练系统中还包含一个存储模块，该存储模块的作用在于存储各原始数据。
[0024]步骤102，将各数据标识和各第一数据子集存入数据库的第一表结构中；以供处理器集群中的各处理器从第一表结构中获取各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，应用在模型训练系统的主处理器中，所述模型训练系统还包括处理器集群和数据库；所述方法包括：将原始数据集拆分为多个第一数据子集，并为各所述第一数据子集分配数据标识；将各所述数据标识和各所述第一数据子集存入所述数据库的第一表结构中；以供所述处理器集群中的各处理器从所述第一表结构中获取各所述第一数据子集和各所述数据标识，对各所述第一数据子集进行处理生成各第二数据子集，并根据各所述数据标识将各所述第二数据子集存入所述数据库的第二表结构中；从所述第二表结构中获取各所述第二数据子集，并基于各所述第二数据子集进行模型训练。2.根据权利要求1所述的模型训练方法，其特征在于，所述将原始数据集拆分为多个第一数据子集，并为各所述第一数据子集分配数据标识，包括：当所述模型为机器学习模型时，根据各预设特征要求将所述原始数据集拆分为各所述第一数据子集，并根据各所述预设特征要求为各所述第一数据子集分配各所述数据标识。3.根据权利要求2所述的模型训练方法，其特征在于，所述从所述第二表结构中获取各所述第二数据子集，并基于各所述第二数据子集进行模型训练，包括：轮询各所述数据标识，检测各所述数据标识是否存在于所述第二表结构中；当各所述数据标识均存在于所述第二表结构中时，从所述第二表结构中获取各所述第二数据子集；将各所述第二数据子集汇总成训练数据集，并基于所述训练数据集进行模型训练。4.根据权利要求1所述的模型训练方法，其特征在于，所述将原始数据集拆分为多个第一数据子集，并为各所述第一数据子集分配数据标识，包括：当所述模型为深度学习模型时，根据预设的批次数将所述原始数据集拆分为各所述第一数据子集，并根据各所述批次为各所述第一数据子集分配各所述数据标识。5.根据权利要求4所述的模型训练方法，其特征在于，所述从所述第二表结构中获取各所述第二数据子集，并基于各所述第二数据子集进行模型训练，包括：轮询各所述数据标识，检测本次轮询的数据标识是否存在于所述第二...

【专利技术属性】
技术研发人员：余养强，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：