【技术实现步骤摘要】
本申请涉及计算机，具体涉及一种网络模型构建方法以及相关设备。
技术介绍
1、在实际业务中客户有不同的网络模型构建需要，但不同场景的样本往往不足，目前一般会采取收集更多的有标签样本进行建模或利用迁移学习从其他相似场景的样本中迁移出有用的知识给到客户场景的方法解决此问题。但是有标签样本收集周期长，真实业务场景通常等不了这么久，很难达成；迁移学习通常采用多个相似场景的样本直接混合训练通用模型的方式，导致网络模型的泛化性低，不利于增强网络模型效果。
技术实现思路
1、本申请实施例提供一种网络模型构建方法以及相关设备，相关设备可以包括网络模型构建装置、电子设备、计算机可读存储介质和计算机程序产品，用于提高网络模型的泛化性，增强网络模型效果。
2、本申请实施例提供一种网络模型构建方法，包括：
3、获取构建网络模型所需的参考样本；
4、以所述参考样本为基准，通过预设选择网络模型，对样本库中的多个样本进行样本选择处理，得到从所述样本库中筛选出的与所述参考样本相似的多个目标样本；
5、以所述参考样本为基准，通过所述预设选择网络模型，基于专家模型库中多个专家模型在训练时所应用的训练样本，对所述专家模型库中的多个专家模型进行样本选择处理，得到从所述专家模型库中筛选出的所述训练样本与所述参考样本相似的多个目标专家模型；
6、通过知识蒸馏处理，学习多个所述目标专家模型的模型信息，以得到融合后专家模型；
7、基于所述参考样本以及所述目标样
8、相应的，本申请实施例提供一种网络模型构建装置，包括：
9、获取单元，用于获取构建网络模型所需的参考样本；
10、第一选择单元，用于以所述参考样本为基准，通过预设选择网络模型，对样本库中的多个样本进行样本选择处理，得到从所述样本库中筛选出的与所述参考样本相似的多个目标样本；
11、第二选择单元，用于以所述参考样本为基准，通过所述预设选择网络模型，基于专家模型库中多个专家模型在训练时所应用的训练样本，对所述专家模型库中的多个专家模型进行样本选择处理，得到从所述专家模型库中筛选出的所述训练样本与所述参考样本相似的多个目标专家模型；
12、融合单元，用于通过知识蒸馏处理，学习多个所述目标专家模型的模型信息，以得到融合后专家模型；
13、增强单元，用于基于所述参考样本以及所述目标样本，对所述融合后专家模型进行网络模型训练，得到训练后的目标网络模型。
14、可选的，在本申请的一些实施例中，所述第一选择单元可以包括第一预测子单元、第一筛选子单元和采样子单元，如下：
15、所述第一预测子单元，用于通过所述预设选择网络模型，对样本库中的多个样本进行相似度分布预测处理，得到所述样本库中的不同样本与所述参考样本之间的第一相似度分布距离；
16、所述第一筛选子单元，用于基于所述第一相似度分布距离，从所述样本库的不同样本中筛选出多个候选样本；
17、所述采样子单元，用于对所述候选样本进行下采样，得到与所述参考样本相似的多个目标样本。
18、可选的，在本申请的一些实施例中，所述采样子单元具体可以用于确定每个所述样本集合中黑样本和白样本之间的样本比例；基于所述样本比例对所述候选样本进行下采样，得到与所述参考样本相似的多个目标样本。
19、可选的，在本申请的一些实施例中，所述第二选择单元可以包括第一确定子单元、第二预测子单元和第二筛选子单元，如下：
20、所述第一确定子单元，用于确定所述专家模型库中每个专家模型在训练时所应用的训练样本；
21、所述第二预测子单元，用于通过所述预设选择网络模型，对所述专家模型在训练时所应用的训练样本进行相似度分布预测处理，得到所述专家模型在训练时所应用的训练样本与所述参考样本之间的第二相似度分布距离；
22、所述第二筛选子单元，用于基于所述第二相似度分布距离，从所述专家模型库的专家模型中筛选出多个目标专家模型。
23、可选的，在本申请的一些实施例中，所述融合单元可以包括第三预测子单元、蒸馏子单元、第四预测子单元、构建子单元和训练子单元，如下：
24、所述第三预测子单元，用于基于多个所述目标专家模型针对所述参考样本的预测结果，构建混合模型预测分；
25、所述蒸馏子单元，用于基于预设学生模型框架，学习多个所述目标专家模型的模型信息，以得到蒸馏后专家模型；
26、所述第四预测子单元，用于通过所述蒸馏后专家模型，对所述参考样本进行预测处理，得到蒸馏模型预测结果；
27、所述构建子单元，用于基于所述混合模型预测分、所述参考样本携带的真实标签、以及所述蒸馏模型预测结果，构建模型损失；
28、所述训练子单元，用于基于所述模型损失训练所述蒸馏后专家模型，得到融合后专家模型。
29、可选的，在本申请的一些实施例中，所述第三预测子单元可以包括第五预测子单元、第二确定子单元和第一生成子单元，如下：
30、所述第五预测子单元，用于通过多个所述目标专家模型，分别对所述参考样本进行预测处理，得到每个所述目标专家模型对应的目标专家模型预测结果；
31、所述第二确定子单元，用于基于所述目标专家模型预测结果的数值大小、以及所述参考样本携带的所述真实标签，为每个所述目标专家模型赋予表征模型区分度的权重；
32、所述第一生成子单元，用于将所述目标专家模型预测结果、以及所述目标专家模型对应的权重进行数值融合，得到混合模型预测分。
33、可选的，在本申请的一些实施例中，所述构建子单元可以包括第一构建子单元、第二构建子单元和第二生成子单元，如下：
34、所述第一构建子单元，用于基于所述参考样本携带的真实标签、以及所述蒸馏模型预测结果之间的差异，构建第一模型损失；
35、所述第二构建子单元，用于基于所述混合模型预测分、以及所述蒸馏模型预测结果之间的差异，构建第二模型损失；
36、所述第二生成子单元，用于将所述第一模型损失、以及所述第二模型损失进行损失融合处理，得到模型损失。
37、可选的，在本申请的一些实施例中，所述网络模型构建装置还可以包括抽取子单元、第二抽取子单元、选取子单元、确定子单元、预测子单元和训练子单元，如下：
38、所述第一抽取子单元，用于从网络训练样本库中选取第一训练样本集合，所述网络训练样本库包括多个训练样本集合；
39、所述第二抽取子单元，用于从所述网络训练样本库中选取第二训练样本集合，所述网络训练样本库中包括所述第一训练样本集合；
40、所述选取子单元，用于从所述第一训练样本集合中选取第一训练样本，并从所述第二训练样本集合中选取第二训练样本；
41、所述确定子单元，用于从根据所述第一本文档来自技高网...
【技术保护点】
1.一种网络模型构建方法，其特征在于，包括：
2.根据权利要求1所述的网络模型构建方法，其特征在于，所述以所述参考样本为基准，通过预设选择网络模型，对样本库中的多个样本进行样本选择处理，得到从所述样本库中筛选出的与所述参考样本相似的多个目标样本，包括：
3.根据权利要求2所述的网络模型构建方法，其特征在于，所述对所述候选样本进行下采样，得到与所述参考样本相似的多个目标样本，所述候选样本中包括多个样本集合，包括：
4.根据权利要求1所述的网络模型构建方法，其特征在于，所述以所述参考样本为基准，通过所述预设选择网络模型，基于专家模型库中多个专家模型在训练时所应用的训练样本，对所述专家模型库中的多个专家模型进行样本选择处理，得到从所述专家模型库中筛选出的所述训练样本与所述参考样本相似的多个目标专家模型，包括：
5.根据权利要求1所述的网络模型构建方法，其特征在于，所述通过知识蒸馏处理，学习多个所述目标专家模型的模型信息，以得到融合后专家模型，包括：
6.根据权利要求5所述的网络模型构建方法，其特征在于，所述基于多个所述目标专家
7.根据权利要求5所述的网络模型构建方法，其特征在于，所述基于所述混合模型预测分、所述参考样本携带的真实标签、以及所述蒸馏模型预测结果，构建模型损失，包括：
8.根据权利要求1所述的网络模型构建方法，其特征在于，所述通过预设选择网络模型，以所述参考样本为基准，对样本库中的多个样本进行样本选择处理，得到从所述样本库中筛选出的与所述参考样本相似的多个目标样本之前，还包括：
9.一种网络模型构建装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至8任一项所述的网络模型构建方法中的步骤。
11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至8任一项所述网络模型构建方法中的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的网络模型构建方法中的步骤。
...【技术特征摘要】
1.一种网络模型构建方法，其特征在于，包括：
2.根据权利要求1所述的网络模型构建方法，其特征在于，所述以所述参考样本为基准，通过预设选择网络模型，对样本库中的多个样本进行样本选择处理，得到从所述样本库中筛选出的与所述参考样本相似的多个目标样本，包括：
3.根据权利要求2所述的网络模型构建方法，其特征在于，所述对所述候选样本进行下采样，得到与所述参考样本相似的多个目标样本，所述候选样本中包括多个样本集合，包括：
4.根据权利要求1所述的网络模型构建方法，其特征在于，所述以所述参考样本为基准，通过所述预设选择网络模型，基于专家模型库中多个专家模型在训练时所应用的训练样本，对所述专家模型库中的多个专家模型进行样本选择处理，得到从所述专家模型库中筛选出的所述训练样本与所述参考样本相似的多个目标专家模型，包括：
5.根据权利要求1所述的网络模型构建方法，其特征在于，所述通过知识蒸馏处理，学习多个所述目标专家模型的模型信息，以得到融合后专家模型，包括：
6.根据权利要求5所述的网络模型构建方法，其特征在于，所述基于多个所述目标专家模型针对所述参考样本的预测...
【专利技术属性】
技术研发人员：郭清宇，欧阳天雄，何茂亮，李超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。