【技术实现步骤摘要】
一种数据模型的训练方法及装置
本专利技术涉及计算机数据挖掘领域,特别地,涉及一种数据模型的训练方法及装置。
技术介绍
通过人工智能、机器学习、统计学和数据库的交叉方法以发现数据内在关系、潜在信息和价值的数据挖掘是计算机应用之一,其本质是在相对较大型的数据集中发现模式的计算过程。数据挖掘过程中用于训练数据挖掘模型的数据被称为训练数据。训练数据选择一般有以下要求:数据样本尽可能大、数据多样化,数据样本质量较高。目前数据模型的训练按照训练数据来源方式大致有两类:第一类:利用来源于各开发团队搜集到的数据作为训练数据来训练数据模型。这种方法的效果取决于开发团队搜集到的样本数据来源,由于数据可能与用户实际应用场景有差别,训练后数据模型识别率低,对不同场景的识别效果适应性差。且训练一旦结束之后,除非搜集到新的一批数据,通常不会对训练结果进行更新。例如,用于图像识别的卷积神经网络(CNN)模型,目前采取的CNN识别训练算法,其数据来源为各开发团队搜集到的数据,基于对收集的图片进行标的,再进行训练,训练完成之后进行部署。而在部署之后,如果没有收集到大量的新数据,通常不会对训练结果进行更新,用户则一直沿用原始部署的模型来进行图像的识别。第二类:是利用公有云所存储的数据作为训练数据来训练数据模型。由于这些公有云上存储了用户大量的数据,数据具有多样性,且用户会不断地更新和增加,可以不断进行训练以得到训练结果的改进。但这种方式用户数据的隐私性无法完全保证,并且用户也可能不会将部分数据上传,某些特殊样式的数据有可 ...
【技术保护点】
1.一种数据模型的训练方法,其特征在于,该方法包括,在网络侧,/n统计来自各用户侧网络设备上报的差异信息,该差异信息为用户侧网络设备部署的第一数据模型输出结果与期望结果的差异;/n将统计的差异信息作为训练依据,调整第一数据模型的模型参数;/n将调整后的模型参数分发至各用户侧网络设备,使得用户侧网络设备部署的第一数据模型按照分发的模型参数更新。/n
【技术特征摘要】
1.一种数据模型的训练方法,其特征在于,该方法包括,在网络侧,
统计来自各用户侧网络设备上报的差异信息,该差异信息为用户侧网络设备部署的第一数据模型输出结果与期望结果的差异;
将统计的差异信息作为训练依据,调整第一数据模型的模型参数;
将调整后的模型参数分发至各用户侧网络设备,使得用户侧网络设备部署的第一数据模型按照分发的模型参数更新。
2.如权利要求1所述的方法,其特征在于,所述差异信息通过用户侧设备捕获对于所述输出结果的纠错操作而获得。
3.如权利要求2所述的方法,其特征在于,所述通过用户侧设备捕获对于所述输出结果的纠错操作包括:捕获用户侧设备应用程序对于输出结果的纠错操作,基于纠错操作生成上报的差异信息。
4.如权利要求3所述的方法,其特征在于,所述统计来自各用户侧网络设备上报的差异信息包括,
根据所述差异信息,统计来自各用户侧网络设备中具有第p代子孙模型参数的第一数据模型所输出样本特征值;
所述将统计的差异信息作为训练依据,调整第一数据模型的模型参数包括:
将统计的样本特征值作为训练依据,统计各所述样本特征值与预设第一阈值的误差;
按照所述误差最小的原则,选择出m对第一数据模型的模型参数,
将m对第一数据模型的模型参数按照遗传算法分别进行杂交,得到第p+1代子孙模型参数,
将所述第p+1代子孙模型参数作为所述调整后的模型参数,并执行所述将调整后的模型参数分发至各用户侧网络设备的步骤;
其中,p、m为自然数。
5.如权利要求4所述的方法,其特征在于,当所述第一数据模型的模型参数为初始模型参数时,所述将统计的样本特征值作为训练依据,统计各所述样本特征值与预设的第一阈值的误差还包括,
根据统计的误差,计算所有误差的方差,以方差为变化区间为参考,对所述初始模型参数进行随机计算,得到N个第一代子孙模型参数;
所述第p+1代子孙模型参数为N个,
其中,N为自然数。
6.如权利要求1所述的方法,其特征在于,所述统计来自各用户侧网络设备上报的差异信息按照定期进行统计。
7.如权利要求4所述的方法,其特征在于,所述选择出m对第一数据模型的模型参数按照定期进行选择。
8.如权利要求4所述的方法,其特征在于,所述统计来自各用户侧网络设备中具有第p代子孙模型参数的第一数据模型所输出样本特征值按照定期进行统计。
9.如权利要求4所述的方法,其特征在于,所述将所述第p+1代子孙模型参数作为所述调整后的模型参数、并执行所述将调整后的模型参数分发至各用户侧网络设备的步骤之后进一步包括:
判断遗传算法当前迭代次数是否到达预设的迭代阈值,或者统计的所述误差值是否达到预期并稳定,如果是,则结束遗传算法的迭代,并结束模型参数更新;否则,返回执行所述将统计的样本特征值作为训练依据,统计各所述样本特征值与预设第一阈值的误差的步骤。
10.如权利要求3所述的方法,其特征在于,所述差异信息为样本特征值;
所述将统计的差异信息作为训练依据,调整第一数据模型的模型参数包括,
将统计的样本特征值作为训练依据,统计各所述样本特征值与预设第二阈值的误差;
根据统计的误差,计算所有误差的方差,以方差为参考值,对第一数据模型参数进行随机计算,得到N个模型参数,其中,N为自然数。
11.如权利要求5或10所述的方法,其特征在于,所述N个模型参数分发至各用户侧网络设备。
12.如权利要求3所述的方法,其特征在于,所述数据模型为用于识别图片中的文字信息的卷积神经网络CNN模型;
所述捕获用户侧设备应用程序对于输出结果的纠错操作,基于纠错操作而生成的差异信息包括:
识别有误的文字、修正后的文字、以及
基于识别有误的文字所在坐标区域进行的抠图;或者,原始图片抠图之后的图片和/或抠图本身图片应用所述用于识别图片中的文字信息的CNN模型进行识别所输出的图片特征向量;其中,
所述识别有误的文字所在坐标区域通过应用程序以编辑的方式修正根据图片识别结果所生成的文本中的文字、并记录每个文字在图片中的坐标区域确定。
13.如权利要求3所述的方法,其特征在于,所述数据模型为用于识别语音中的文字信息的CNN模型;
所述捕获用户侧设备应用程序对于输出结果的纠错操作,基于纠错操作生成的差异信息包括:识别的错误文字、修正后的文字、以及识别有误文字所在语音时间段内的语音频谱特征向量;其中,
识别有误文字所在语音时间段通过应用程序以编辑的方式修正根据语音识别所生成的文本中的文字、根据记录文字和语音时间段的对应关系查找得到。
14.如权利要求3所述的方法,其特征在于,所述数据模型为用于人脸识别的CNN模型;
所述用户侧网络设备部署的第一数据模型输出结果为,通过人工智能算法应用部...
【专利技术属性】
技术研发人员:戚世葛,孙承华,
申请(专利权)人:杭州海康存储科技有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。