模型训练方法、装置、介质及电子设备制造方法及图纸

技术编号:41395194 阅读:32 留言:0更新日期:2024-05-20 19:18
本公开涉及一种模型训练方法、装置、介质及电子设备,方法包括:通过数据源配置入口,接收用户指定的训练任务对应的多个数据源以及各自对应的排序方式;数据源配置入口支持添加多个数据源和定义数据源的排序计算方式,多个数据源的类型包括批式数据源和/或流式数据源;通过数据源排序器按照指定的排序方式对多个数据源进行排序关键字计算,并向批流数据源混合器返回计算结果;通过批流数据源混合器根据返回的计算结果调整多个数据源的顺序;调用批流数据源混合器返回的数据准备状态,根据数据准备状态控制模型的训练任务的执行情况,实现用于模型训练的数据的个性化编排,且在一次模型训练中同时实现同个模型的实时性和准确性的优化。

【技术实现步骤摘要】

本公开涉及电子信息,具体地,涉及一种模型训练方法、装置、介质及电子设备


技术介绍

1、在机器学习中,模型预测的实时性和准确性是至关重要的。相关技术中,针对实时性,一般采用更加频繁的小时级训练、天级训练来提高模型预测的实时性;针对准确性,一般采用多个数据源分别训练多个模型,再采用多个模型协同计算的方式来提高模型预测的准确性,但这种方式需要额外对协同计算的方式进行训练,导致模型训练复杂且迭代效率低;或者基于前置的预处理对多个数据源进行混合后的数据用于模型的训练,以提高模型预测的准确性,但这种方式存在额外的资源开销,且不同模型需要准备不同的预处理。

2、此外,上述提高准确性和实用性的方式往往采取线性方式消费数据,这也不利于提升模型的预测效果,且在一次模型训练中,无法同时确保实时性和准确性的优化。


技术实现思路

1、提供该
技术实现思路
部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保本文档来自技高网...

【技术保护点】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过数据源排序器按照指定的排序方式对多个数据源进行排序关键字计算,并向批流数据源混合器返回计算结果,包括:

3.根据权利要求1所述的方法,其特征在于,所述通过所述批流数据源混合器根据所述数据源排序器返回的计算结果调整多个数据源的顺序,包括:

4.根据权利要求3所述的方法,其特征在于,所述调用所述批流数据源混合器返回的数据准备状态,根据所述数据准备状态控制模型的训练任务的执行情况,包括:

5.根据权利要求4所述的方法,其特征在于,所述控制开始执行模...

【技术特征摘要】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过数据源排序器按照指定的排序方式对多个数据源进行排序关键字计算,并向批流数据源混合器返回计算结果,包括:

3.根据权利要求1所述的方法,其特征在于,所述通过所述批流数据源混合器根据所述数据源排序器返回的计算结果调整多个数据源的顺序,包括:

4.根据权利要求3所述的方法,其特征在于,所述调用所述批流数据源混合器返回的数据准备状态,根据所述数据准备状态控制模型的训练任务的执行情况,包括:

5.根据权利要求4所述的方法,其特征在于,所述控制开始执行模型的训练任务,包括:

6.根据权利要求5所述的方法,其特征在于,所述将排序结...

【专利技术属性】
技术研发人员:单既喜王灿周东炎杨震徐经纬
申请(专利权)人:抖音视界有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1