模型训练方法及装置制造方法及图纸

本说明书一个或多个实施方式提供了一种模型训练方法及装置，模型训练方法包括基于实时接收到的训练数据的时间信息确定训练数据的时效性，在训练数据的时效性为有效的情况下，将训练数据存储在云服务器的存储模块中，利用存储模块中存储的训练数据对部署于云服务器的全局模型进行训练。本公开实施方式中，通过对训练数据的时效性筛选，仅存储有效的训练数据，缩减云服务器存储数据量，降低存储压力，而且可以过滤过期或者错误数据，为模型训练提供正确且可靠的数据基础，提高模型训练的稳定性和训练效果。稳定性和训练效果。稳定性和训练效果。

【技术实现步骤摘要】
模型训练方法及装置


[0001]本说明书一个或多个实施方式涉及大数据分析
，尤其涉及一种模型训练方法及装置。

技术介绍

[0002]端边云协同的模型训练中，数据是实现机器学习模型训练的基石，在海量数据规模场景下，云服务器会源源不断接收到用户端和边缘节点发送的海量数据，但是云端并不能及时消耗这些数据，大量的数据在云端缓存积压，给云端数据库带来很大的存储压力，很容易造成云端数据库宕机。更重要的是，对于云端的模型训练，数据的时效性是保障模型精度的根本，如果利用积压的过期数据训练模型，将带来灾难性的影响。

技术实现思路

[0003]为解决海量数据规模场景下云服务器的训练数据管理与存储问题，本说明书一个或多个实施方式提供了一种模型训练方法、装置、电子设备及存储介质。
[0004]第一方面，本说明书一个或多个实施方式提供了一种模型训练方法，应用于云服务器，所述方法包括：基于实时接收到的训练数据的时间信息，确定所述训练数据的时效性；在所述训练数据的时效性为有效的情况下，将所述训练数据存储在所述云服务器的存储模块中；利用所述存储模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，应用于云服务器，所述方法包括：基于实时接收到的训练数据的时间信息，确定所述训练数据的时效性；所述训练数据包括边缘节点发送的梯度数据，所述梯度数据由与所述边缘节点对应的应用端基于特征数据对本地模型训练得到，所述训练数据的时间信息包括所述梯度数据的时间戳信息和所述梯度数据对应的所述本地模型的版本标识信息；在所述训练数据的时效性为有效的情况下，将所述训练数据存储在所述云服务器的存储模块中；利用所述存储模块中存储的所述训练数据，对部署于所述云服务器的全局模型进行训练；所述基于实时接收到的训练数据的时间信息，确定所述训练数据的时效性，包括：获取所述训练数据包括的所述梯度数据的时间戳信息；在所述梯度数据的时间戳信息与当前时间的差值小于或等于第二时间阈值的情况下，获取所述梯度数据的版本标识信息；在所述梯度数据的版本标识信息，与当前训练的全局模型的版本标识信息相匹配的情况下，将所述梯度数据存储在所述存储模块中。2.根据权利要求1所述的方法，所述训练数据包括应用端发送的特征数据，所述训练数据的时间信息包括所述特征数据的时间戳信息；所述基于实时接收到的训练数据的时间信息，确定所述训练数据的时效性，包括：获取所述训练数据包括的所述特征数据的时间戳信息；在所述特征数据的时间戳信息与当前时间的差值小于或等于第一时间阈值的情况下，将所述特征数据存储在所述存储模块中。3.根据权利要求1所述的方法，在所述基于实时接收到的训练数据的时间信息，确定所述训练数据的时效性之前，所述方法还包括：对实时接收到的所述训练数据进行分类，得到所述训练数据的数据类型，所述数据类型包括由应用端发送的特征数据和由边缘节点发送的梯度数据，所述梯度数据由与所述边缘节点对应的应用端基于特征数据对本地模型训练得到。4.根据权利要求1至3任一项所述的方法，还包括：在对所述全局模型进行训练过程中，响应于满足模型收敛条件，生成当前版本的全局模型，并基于当前版本的全局模型的版本标识信息对存...

【专利技术属性】
技术研发人员：宋金洲，孙仁恩，魏鹏，张冠男，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：