【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种数据训练的优化方法及系统。
技术介绍
1、目前大部分的人工智能ai场景中，都需要一个通用的或专门的大模型进行数据的分析以及结果的输出，大模型通常使用python语言进行编程并通过大量的训练数据进行模型训练以得到所需要的大模型，在训练的过程中，由于需要使用海量的训练数据，因此，训练过程耗时久，为了减少训练时长，通过都会采用分布式任务的训练方式，将相关的训练任务切片后分配到不同的机器节点上进行任务训练，由于每一个机器节点都需要进行任务训练可能会存在数据的重复以及数据被占用的情况，从而影响训练效率。
技术实现思路
1、本专利技术所要解决的技术问题是：本专利技术提供一种数据训练的优化方法及系统，减少训练时长的同时提高训练效率。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、第一方面，本专利技术提供一种数据训练的优化方法，包括：
4、数据管理层获取待训练任务的待训练数据量，同时获取每一个空闲节点的节点处理量，并根据所述节点处理量计算出当次待加载数据总量；
5、所述数据管理层根据所述当次待加载数据总量对所述待训练数据量进行分批次加载，并在每加载完一次当次待加载数据总量时根据所述节点处理量将所述当次待加载数据总量分发至对应的空闲节点进行数据训练；
6、所述空闲节点在进行数据训练时将产生的训练结果存储至本地，同时将所述训练结果发送至所述数据管理层进行存储，当所述数据管理层进行下一次当次待加载
7、本专利技术的有益效果在于：通过数据管理层统一管理待训练任务，根据每一个空闲节点的节点处理量计算出当次待加载数据总量，从而根据当次待加载数据总量对待训练任务的待训练数据量进行分批次加载，每加载完一次当次待加载数据总量就根据节点处理量对其进行分发，避免重复加载数据，同时提高加载效率，空闲节点在进行数据训练时产生的训练结果不仅存储在本地还存储在数据管理层，在数据管理层进行下一次当次待加载数据总量分发时，会预先判断是否存在需要训练结果的空闲节点，如果存在，则将进行当次待加载数据总量分发时将训练结果也一起发送到对应的空闲节点进行数据训练，无需后期再进行训练结果的申请的传输，减少传输时间和训练时长，提高训练效率。
8、可选地，所述同时获取每一个空闲节点的节点处理量，并根据所述节点处理量计算出当次待加载数据总量包括：
9、将每一个空闲节点的节点处理量进行汇总计算出当次待加载数据总量；
10、或
11、从所有节点处理量中筛选出最小的节点处理量，根据最小的节点处理量统计出当次待加载数据总量。
12、根据上述描述可知，将多种情况考虑在内采用多种方式计算当次待加载数据总量，保证所计算出的的当次待加载数据总量的灵活性，以每一个空闲节点的节点处理量进行汇总计算出当次待加载数据总量，保证每一个节点的充分利用，提高利用率，以最小的节点处理量统计出当次待加载数据总量，提高当次待加载数据总量的加载效率。
13、可选地，所述当所述数据管理层进行下一次当次待加载数据总量分发时包括：
14、判断是否存在新的空闲节点，若存在，则根据新的空闲节点的节点处理量对所述当次待加载数据总量进行更新。
15、根据上述描述可知，数据管理层在进行下一次当次待加载数据总量分发时会对空闲节点进行更新，保证空闲节点的实时性提高节点的利用率。
16、可选地，所述训练结果包括当前节点id。
17、根据上述描述可知，训练结果包括当前节点id，使得数据管理层知悉训练结果的来源，便于后续进行溯源。
18、第二方面，本专利技术提供一种数据训练的优化系统，包括：
19、管理模块，用于数据管理层获取待训练任务的待训练数据量，同时获取每一个空闲节点的节点处理量，并根据所述节点处理量计算出当次待加载数据总量；
20、分发模块，用于所述数据管理层根据所述当次待加载数据总量对所述待训练数据量进行分批次加载，并在每加载完一次当次待加载数据总量时根据所述节点处理量将所述当次待加载数据总量分发至对应的空闲节点进行数据训练；
21、训练模块，用于所述空闲节点在进行数据训练时将产生的训练结果存储至本地，同时将所述训练结果发送至所述数据管理层进行存储，当所述数据管理层进行下一次当次待加载数据总量分发时，判断是否存在需要所述训练结果的空闲节点，若存在，则在进行当次待加载数据总量分发时将所述训练结果发送至对应的空闲节点进行数据训练。
22、本专利技术的有益效果在于：通过数据管理层统一管理待训练任务，根据每一个空闲节点的节点处理量计算出当次待加载数据总量，从而根据当次待加载数据总量对待训练任务的待训练数据量进行分批次加载，每加载完一次当次待加载数据总量就根据节点处理量对其进行分发，避免重复加载数据，同时提高加载效率，空闲节点在进行数据训练时产生的训练结果不仅存储在本地还存储在数据管理层，在数据管理层进行下一次当次待加载数据总量分发时，会预先判断是否存在需要训练结果的空闲节点，如果存在，则将进行当次待加载数据总量分发时将训练结果也一起发送到对应的空闲节点进行数据训练，无需后期再进行训练结果的申请的传输，减少传输时间和训练时长，提高训练效率。
23、可选地，所述管理模块具体为：
24、将每一个空闲节点的节点处理量进行汇总计算出当次待加载数据总量；
25、或
26、从所有节点处理量中筛选出最小的节点处理量，根据最小的节点处理量统计出当次待加载数据总量。
27、根据上述描述可知，将多种情况考虑在内采用多种方式计算当次待加载数据总量，保证所计算出的的当次待加载数据总量的灵活性，以每一个空闲节点的节点处理量进行汇总计算出当次待加载数据总量，保证每一个节点的充分利用，提高利用率，以最小的节点处理量统计出当次待加载数据总量，提高当次待加载数据总量的加载效率。
28、可选地，所述训练模块包括：
29、更新模块，用于判断是否存在新的空闲节点，若存在，则根据新的空闲节点的节点处理量对所述当次待加载数据总量进行更新。
30、根据上述描述可知，数据管理层在进行下一次当次待加载数据总量分发时会对空闲节点进行更新，保证空闲节点的实时性提高节点的利用率。
31、可选地，所述训练结果包括当前节点id。
32、根据上述描述可知，训练结果包括当前节点id，使得数据管理层知悉训练结果的来源，便于后续进行溯源。
本文档来自技高网...【技术保护点】
1.一种数据训练的优化方法，其特征在于，包括：
2.如权利要求1所述的一种数据训练的优化方法，其特征在于，所述同时获取每一个空闲节点的节点处理量，并根据所述节点处理量计算出当次待加载数据总量包括：
3.如权利要求1所述的一种数据训练的优化方法，其特征在于，所述当所述数据管理层进行下一次当次待加载数据总量分发时包括：
4.如权利要求1所述的一种数据训练的优化方法，其特征在于，所述训练结果包括当前节点ID。
5.一种数据训练的优化系统，其特征在于，包括：
6.如权利要求5所述的一种数据训练的优化系统，其特征在于，所述管理模块具体为：
7.如权利要求5所述的一种数据训练的优化系统，其特征在于，所述训练模块包括：
8.如权利要求5所述的一种数据训练的优化系统，其特征在于，所述训练结果包括当前节点ID。
【技术特征摘要】
1.一种数据训练的优化方法，其特征在于，包括：
2.如权利要求1所述的一种数据训练的优化方法，其特征在于，所述同时获取每一个空闲节点的节点处理量，并根据所述节点处理量计算出当次待加载数据总量包括：
3.如权利要求1所述的一种数据训练的优化方法，其特征在于，所述当所述数据管理层进行下一次当次待加载数据总量分发时包括：
4.如权利要求1所述的一种数据训练的优化...
【专利技术属性】
技术研发人员：林伟，蒋锋，
申请(专利权)人：福建福诺移动通信技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。