【技术实现步骤摘要】
模型调整与业务处理的方法、装置、设备及存储介质
[0001]本申请涉及数据处理
,尤其涉及一种模型调整的方法、一种业务处理方法、一种模型调整的装置、一种业务处理装置、一种业务处理设备、一种计算机可读存储介质以及一种计算机程序产品。
技术介绍
[0002]考虑到短视频/图片审核以及推荐的实时性和规模性问题,目前大部分的审核和推荐流程都倾向于使用机器和人工结合的方式进行,其中机器处理部分占据主要地位。以机审为例,其能够在保证一定准确率的同时高速发现并处理90%以上的违规。
[0003]当前主流的深度学习机审/机推系统都倾向于使用平面化的方法来解决大范围的、复杂的审核/推荐应用情景,即并行使用多个功能不同的模型来应对不同的业务需求。当业务的大环境发生变化时,由于业务系统较低的复用能力,使得其较难适应快速变化的业务需求和数据分布,在需要对系统进行更新调整时也需要花费较长的时间,特别是多模型协作的情况使得花费的时间更长。
技术实现思路
[0004]本申请提供一种模型调整与业务处理的方法、装置、设备及存储介 ...
【技术保护点】
【技术特征摘要】
1.一种模型调整的方法,其特征在于,所述方法包括:确定待调整的目标模型的目标调整类型;根据所述目标调整类型,确定所述目标模型的已有能力数据;根据所述目标调整类型,确定所述目标模型中需要调整的目标权重;获取与所述目标权重对应的目标训练数据;基于所述已有能力数据以及所述目标训练数据对所述目标模型进行调整,所述调整包括对所述目标权重的调整。2.根据权利要求1所述的方法,其特征在于,所述确定待调整的目标模型的目标调整类型,包括:获取用户针对所述目标模型输入的模型需求信息;获取所述目标模型的已有模型信息;将所述模型需求信息与所述已有模型信息进行比较,以确定模型扩展信息;获取一个或多个预设的调整类型的调整逻辑;将所述模型扩展信息与所述一个或多个预设调整类型的调整逻辑进行匹配,并将匹配到的调整类型作为所述目标调整类型。3.根据权利要求1或2所述的方法,其特征在于,所述目标调整类型包括模式调整类型,所述根据所述目标调整类型,确定所述目标模型的已有能力数据,包括:获取所述目标模型的模式库,所述模式库中包括多个模式条目;获取所述目标模型的各个处理层的权重;将所述模式库以及所述各个处理层的权重作为所述已有能力数据。4.根据权利要求3所述的方法,其特征在于,所述处理层包括固定处理层以及非固定处理层;所述根据所述目标调整类型,确定所述目标模型中需要调整的目标权重,包括:将所述非固定处理层的权重进行初始化;将初始化后的所述权重作为所述目标模型中需要调整的目标权重。5.根据权利要求4所述的方法,其特征在于,所述基于所述已有能力数据以及所述目标训练数据,对所述目标模型进行调整,包括:基于所述模式库中的模式条目,确定所述目标模型的旧模式特征信息;将所述目标训练数据输入所述目标模型,在所述目标模型中采用所述固定处理层对所述目标训练数据进行特征提取,获得新特征信息;采用所述旧模式特征信息以及所述新特征信息对所述目标模型进行调整。6.根据权利要求5所述的方法,其特征在于,所述基于所述模式库中的模式条目,确定所述目标模型的旧模式特征信息,包括:采用随机向量生成器,针对各模式条目生成对应的一个或多个扰动向量,其中,所述随机向量生成器为模拟了多模态的正态分布的随机向量生成器;以所述模式条目作为中心,分别采用所述一个或多个扰动向量对所述模式条目进行扰动,获得该模式条目对应的旧模式特征信息。7.根据权利要求5所述的方法,其特征在于,所述采用所述旧模式特征信息以及所述新特征信息对所述目标模型进行调整,包括:
采用所述旧模式特征信息对所述目标权重进行更新;采用所述新特征信息对所有处理层的权重进行更新。8.根据权利要求5所述的方法,其特征在于,所述方法还包括:在对所述目标模型进行调整时,采用L2正则项来扩充损失函数,所述L2正则项为结合了拉普拉斯估计和Fisher编码的正则项。9.根据权利要求3所述的方法,其特征在于,所述方法还包括:当对目标模型调整完成以后,采用调整后的目标模型对新产生的训练数据提取特征信息;将所有获得的特征信息进行聚类,获得聚类中心;将所述聚类中心作为模式条目添加至所述模式库中。10.根据权利要求2所述的方法,其特征在于,所述目标调整类型包括任务范围调整类型,所述根据所述目标调整类型,确定所述目标模型的已有能力数据,包括:获取所述目标模型的各个处理层的权重;获取所述目标模型的各个已有输出分支的权重;将所述各个处理层的权重以及所述各个已有输出分支的权重作为所述已有能力数据。11.根据权利要求10所述的方法,其特征在于,所述处理层包括高层处理层;所述根据所述目标调整类型,确定所述目标模型中需要调整的目标权重,包括:针对所述模型扩展信息生成对应的范围扩展分支...
【专利技术属性】
技术研发人员:罗雄文,陈德健,项伟,
申请(专利权)人:百果园技术新加坡有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。