模型优化方法、装置、设备、终端设备及可读存储介质制造方法及图纸

技术编号:39175977 阅读:8 留言:0更新日期:2023-10-27 08:23
本发明专利技术提供一种模型优化方法、装置、设备、终端设备及可读存储介质,涉及人工智能技术领域。该方法包括:获取服务场景数据;根据二分类模型对所述服务场景数据进行分类,得到分类结果;根据所述分类结果,对第一模型进行优化,得到目标模型。本发明专利技术实施例的模型优化方法,通过二分类模型对所述服务场景数据进行分类,能够根据得到的分类结果判断所述服务场景数据相对于所述第一模型的原始训练数据是否发生了数据漂移,并在所述服务场景数据发生数据漂移的情况下对所述第一模型进行优化。解决了现有技术中没有针对数据进行检查,当模型的性能下降时,对于问题的根因定位效率较低,无法及时确认模型的优化方向的问题。时确认模型的优化方向的问题。时确认模型的优化方向的问题。

【技术实现步骤摘要】
模型优化方法、装置、设备、终端设备及可读存储介质


[0001]本专利技术涉及人工智能
,特别是指一种模型优化方法、装置、设备、终端设备及可读存储介质。

技术介绍

[0002]随着社会的数字化转型,越来越多的应用中涉及到人工智能服务,在网络图像信息的违规识别领域,已经有多项机器视觉的人工智能能力落地部署,提高了审核准确度与审核效率。随之,人工智能的可信任性、稳定性等,是人工智能是否能广泛赋能的决定性因素。人工智能主要依靠对数据的学习掌握特征,继而实现判断与决策功能,当服务场景变化导致数据类型与原始的训练数据产生差别时,会导致人工智能能力性能下降,无法对新类型的图像做出准确判断,导致违规图像的社会面传播。
[0003]目前,在违规图像识别业务中,大部分已部署的人工智能应用缺乏数据漂移的检测能力,对于服务场景数据改变导致的模型性能下降的优化有一定的滞后性,具有数据漂移检测能力的系统没有针对数据进行检查,当模型的性能下降时,对于问题的根因定位效率较低,无法及时确认模型的优化方向。

技术实现思路

[0004]本专利技术的目的是提供一种模型优化方法、装置、设备、终端设备及可读存储介质,用以解决现有技术中没有针对数据进行检查,当模型的性能下降时,对于问题的根因定位效率较低,无法及时确认模型的优化方向的问题。
[0005]为达到上述目的,本专利技术的实施例提供一种模型优化方法,包括:
[0006]获取服务场景数据;
[0007]根据二分类模型对所述服务场景数据进行分类,得到分类结果;
[0008]根据所述分类结果,对第一模型进行优化,得到目标模型;
[0009]其中,所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
[0010]进一步地,所述方法还包括:
[0011]获取原始训练数据以及对照数据;
[0012]对所述原始训练数据以及所述对照数据进行二分类训练,得到所述二分类模型;
[0013]其中,所述原始训练数据为所述第一模型的训练数据,所述对照数据为随机选取的与所述第一模型不相关的数据。
[0014]进一步地,所述对所述原始训练数据以及所述对照数据进行二分类训练,得到所述二分类模型,包括:
[0015]对所述原始训练数据进行主成分分析,得到作为所述二分类训练的正样本的第一样本数据;
[0016]对所述对照数据进行主成分分析,得到作为所述二分类训练的负样本的第二样本数据;
[0017]对所述第一样本数据和所述第二样本数据进行二分类训练,得到所述二分类模型。
[0018]进一步地,所述对所述原始训练数据进行主成分分析,得到作为所述二分类训练的正样本的第一样本数据,包括:
[0019]将所述原始训练数据分为M组数据;
[0020]通过主成分分析法将每组数据均划分为多维数据;
[0021]根据每组数据中的每维数据与所述原始训练数据的相关度,对所述每组数据中的多维数据进行排序;
[0022]将所述每一组数据中排序后的前N维数据确定为所述第一样本数据;
[0023]其中,M和N均为大于1的整数。
[0024]进一步地,所述对所述对照数据进行主成分分析,得到第二样本数据,包括:
[0025]将所述对照数据分为I组;
[0026]通过主成分分析法将每组数据均划分为多维数据;
[0027]根据每组数据中的每维数据与所述对照数据的相关度,对所述每组数据中的多维数据进行排序;
[0028]将所述每一组数据中排序后的前N维数据确定为所述第二样本数据;
[0029]其中,M和I均为大于1的整数。
[0030]进一步地,所述根据所述二分类模型对所述服务场景数据进行分类,得到分类结果,包括:
[0031]对所述服务场景数据进行主成分分析,得到第三样本数据;
[0032]将所述第三样本数据作为所述二分类模型的输入,得到所述分类结果;
[0033]其中,所述分类结果包括:所述服务场景数据为与所述原始训练数据相比未发生数据漂移的正类数据或者与所述原始训练数据相比发生了数据漂移的负类数据。
[0034]进一步地,所述对所述服务场景数据进行主成分分析,得到第三样本数据,包括:
[0035]通过主成分分析法将所述服务场景数据划分为N维,得到所述第三样本数据;
[0036]其中,N为大于1的整数。
[0037]进一步地,所述根据所述分类结果,对所述第一模型进行优化,得到目标模型,包括:
[0038]若所述分类结果为所述服务场景数据为负类数据,则通过所述原始训练数据和所述服务场景数据对所述第一模型进行训练,将训练后得到的所述目标模型确定为优化后的第一模型。
[0039]进一步地,所述方法还包括:
[0040]若所述分类结果为所述服务场景数据为负类数据,则通过所述第一样本数据、所述第二样本数据以及所述第三样本数据,对所述二分类模型进行训练,得到目标二分类模型确定为优化后的所述二分类模型。
[0041]为达到上述目的,本专利技术的实施例提供一种模型优化装置,包括:
[0042]获取模块,用于获取服务场景数据;
[0043]分类模块,用于根据二分类模型对所述服务场景数据进行分类,得到分类结果;
[0044]优化模块,用于根据所述分类结果,对第一模型进行优化,得到目标模型;
[0045]其中,所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
[0046]为达到上述目的,本专利技术的实施例提供一种模型优化设备,包括处理器和收发机,其中,
[0047]所述收发机用于获取服务场景数据;
[0048]所述处理器用于根据二分类模型对所述服务场景数据进行分类,得到分类结果;
[0049]根据所述分类结果,对第一模型进行优化,得到目标模型;
[0050]其中,所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
[0051]为达到上述目的,本专利技术的实施例提供一种移动终端,包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令;所述处理器执行所述程序或指令时实现如上所述的模型优化方法。
[0052]为达到上述目的,本专利技术的实施例提供一种可读存储介质,其上存储有程序或指令,所述程序或指令被处理器执行时实现如上所述的模型优化方法中的步骤。
[0053]本专利技术的上述技术方案的有益效果如下:
[0054]本专利技术实施例的模型优化方法,通过二分类模型对所述服务场景数据进行分类,能够根据得到的分类结果判断所述服务场景数据相对于所述第一模型的原始训练数据是否发生了数据漂移,并在所述服务场景数据发生数据漂移的情况下对所述第一模型进行优化。解决了现有技术中没有针对数据进行检查,当模型的性能下降时,对于问题的根因定位效率较低,无法及时确认模型的优化方向的问题。
附图说明
[0本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种模型优化方法,其特征在于,包括:获取服务场景数据;根据二分类模型对所述服务场景数据进行分类,得到分类结果;根据所述分类结果,对第一模型进行优化,得到目标模型;其中,所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。2.根据权利要求1所述的模型优化方法,其特征在于,所述方法还包括:获取原始训练数据以及对照数据;对所述原始训练数据以及所述对照数据进行二分类训练,得到所述二分类模型;其中,所述原始训练数据为所述第一模型的训练数据,所述对照数据为随机选取的与所述第一模型不相关的数据。3.根据权利要求2所述的模型优化方法,其特征在于,所述对所述原始训练数据以及所述对照数据进行二分类训练,得到所述二分类模型,包括:对所述原始训练数据进行主成分分析,得到作为所述二分类训练的正样本的第一样本数据;对所述对照数据进行主成分分析,得到作为所述二分类训练的负样本的第二样本数据;对所述第一样本数据和所述第二样本数据进行二分类训练,得到所述二分类模型。4.根据权利要求3所述的模型优化方法,其特征在于,所述对所述原始训练数据进行主成分分析,得到作为所述二分类训练的正样本的第一样本数据,包括:将所述原始训练数据分为M组数据;通过主成分分析法将每组数据均划分为多维数据;根据每组数据中的每维数据与所述原始训练数据的相关度,对所述每组数据中的多维数据进行排序;将所述每一组数据中排序后的前N维数据确定为所述第一样本数据;其中,M和N均为大于1的整数。5.根据权利要求3所述的模型优化方法,其特征在于,所述对所述对照数据进行主成分分析,得到第二样本数据,包括:将所述对照数据分为I组;通过主成分分析法将每组数据均划分为多维数据;根据每组数据中的每维数据与所述对照数据的相关度,对所述每组数据中的多维数据进行排序;将所述每一组数据中排序后的前N维数据确定为所述第二样本数据;其中,M和I均为大于1的整数。6.根据权利要求3所述的模型优化方法,其特征在于,所述根据所述二分类模型对所述服务场景数据进行分类,得到分类结果,包括:对所述服务场景数据进行主成分分析,得到第三样本数据;将所述第三样本数据作为所述二分类模型的输入,得到所述分类结果;...

【专利技术属性】
技术研发人员:王梓岚任智杰冯俊兰
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1