一种基于大数据驱动的人工智能模型训练方法技术

本发明专利技术公开了一种基于大数据驱动的人工智能模型训练方法，包括如下步骤：S1、采集并标准化多源训练数据，构建结构化数据集并划分训练批次；S2、分析训练批次与整体数据的分布差异，判断数据漂移状态；S3、根据漂移状态选择优化器，稳定时使用改进型AdaBelief优化器，不稳定时使用Yogi优化器；S4、使用选定优化器进行训练，划分结构化参数组并基于梯度残差计算动量状态；S5、结合动量状态与漂移状态调整学习率并更新参数；S6、当存在时间依赖特征时设定滑动窗口控制参数更新；S7、训练结束后执行参数压缩与转换，生成推理参数集合；S8、输出训练模型与推理参数。本发明专利技术提升人工智能模型在复杂数据环境下的训练稳定性与推理部署效率。

【技术实现步骤摘要】

本专利技术涉及人工智能模型训练，尤其涉及一种基于大数据驱动的人工智能模型训练方法。

技术介绍

1、在当前人工智能模型训练领域，优化器的选择与调节策略在很大程度上决定了模型训练的效率与稳定性。现有主流训练方法普遍依赖如sgd、adam、rmsprop、adabelief等优化器，通过固定或弱动态调整的学习率，在整个训练过程中对参数进行更新。这类方法通常基于预设的超参数对梯度信号进行一阶或二阶估计，虽然在特定任务中表现良好，但在面对大规模、多源异构数据时，其在收敛速度、参数稳定性和泛化能力方面仍存在局限。

2、尤其在大数据驱动的训练场景中，样本特征分布呈现高度动态性，数据漂移现象普遍存在，使得传统优化器固定策略难以适应模型参数与数据状态的耦合关系。例如，在部分批次中训练数据的分布与整体训练数据差异显著时，固定优化器可能导致梯度更新方向偏移或动量估计失效，从而影响训练稳定性和收敛质量。此外，现有方法大多忽略模型结构参数之间的差异性处理，统一使用单一优化策略更新全部参数，难以兼顾不同模块的敏感度和学习节奏。

3、adabelief优化器作为本文档来自技高网...

【技术保护点】

1.一种基于大数据驱动的人工智能模型训练方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于大数据驱动的人工智能模型训练方法，其特征在于，所述结构化数据集包含样本特征、标签信息、分布指标和可选的时间依赖特征。

3.根据权利要求1所述的一种基于大数据驱动的人工智能模型训练方法，其特征在于，所述改进型AdaBelief优化器：

4.根据权利要求1所述的一种基于大数据驱动的人工智能模型训练方法，其特征在于，所述S1具体包括：

5.根据权利要求1所述的一种基于大数据驱动的人工智能模型训练方法，其特征在于，所述S2具体包括：

...

【技术特征摘要】

1.一种基于大数据驱动的人工智能模型训练方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于大数据驱动的人工智能模型训练方法，其特征在于，所述结构化数据集包含样本特征、标签信息、分布指标和可选的时间依赖特征。

3.根据权利要求1所述的一种基于大数据驱动的人工智能模型训练方法，其特征在于，所述改进型adabelief优化器：

4.根据权利要求1所述的一种基于大数据驱动的人工智能模型训练方法，其特征在于，所述s1具体包括：

5.根据权利要求1所述的一种基于大数据驱动的人工智能模型训练方法，其特征在于，所述...

【专利技术属性】
技术研发人员：徐旭，王一，马牮，陈亮，王达，张智鹏，
申请(专利权)人：杭州市卫生健康事业发展中心，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人