【技术实现步骤摘要】
本专利技术涉及人工智能领域，特别是涉及一种门控模型。
技术介绍
1、在人工智能领域中，混合专家系统(mixture of experts,moe)是在神经网络(neural network,nn)领域发展起来的一种集成学习(ensemble learning)技术，它实现了在预测建模问题的子任务上培训专家的想法。moe技术目前是训练万亿参数量级模型的关键技术。
2、在moe架构中，一组专家和一个门控相互合作。门控模型用于解释每个专家所做的预测，并帮助决定对给定输入信任哪个专家，这被称为门控模型或门控网络。moe将预测建模任务分解为若干子任务，在每个子任务上训练一个专家模型(expert model)，开发一个门控模型(gating model)，该模型根据要预测的输入来学习信任哪个专家，并组合预测结果。尽管该技术最初是使用神经网络专家和门控模型来描述的，但它可以推广到使用任何类型的模型。
3、现有技术为moe的混合专家模型，它有两种方式实现门控系统，一种是将门控系统嵌入在各个底座模型的上层，在进行底座模型的训练时，随着底座模型一起训练，但是这种方法使得模型比较庞大，训练起来成本较大，且拓展性差。另一种方式就是训练一个独立的门控系统，对用户的输入调用各个模型进行回答后，采用该门控模型进行评价，使得输出的效果最好，该方法对单个问题需调度若干个模型进行响应，使得成本增大，且需对各个回答的内容进行评价，使得整个流程加长，时间成本加大。
4、由于对于每次用户的输入，该方法会调用若干个模型，再针对若干个模
技术实现思路
1、本专利技术的目的是提供一种门控模型，解决现有技术问题中对各个底座模型的路由控制的问题，实现高质量响应用户问题与运营目标，降低运营成本、时间成本，缩短整个流程。
2、为实现上述技术目的，本专利技术提供一种门控模型，其包括：反馈数据收集与存储模块、特征抽取与门控建模模块及模型调度模块，所述反馈数据收集与存储模块用于产品中模型对用户所问的问题数据、模型的回答的数据、用户对问答对的评价数据的收集与存储，所述特征抽取与门控建模模块用于对所述收集的数据进行特征抽取与门控模型的建模，所述模型调度模块表示建模好的门控模型对各个底座模型进行打分和调度，使得最终的模型能够符合业务设定的运营目标。
3、本专利技术提供一种门控模型，由三个模块组成，通过设计的门控模型对多种底座模型调度，可实现某种运营目标，这种运营目标包括但不限于调度的性价比最高、用户的反馈最好、用户追问的次数越多、问题的启发性越高等。
4、作为进一步的改进，所述运营目标至少包括：调度的性价比最高、用户的反馈最好、用户追问的次数越多、问题的启发性越高等。
5、作为进一步的改进，所述反馈数据收集与存储模块用于冷启动阶段和用于收集初期数据，以便于用来进行门控模型的训练，同时也用于模型调度后的数据收集阶段，用于门控模型的迭代优化。
6、作为进一步的改进，所述反馈数据收集与存储模块的流程包括：(1)若用户输入不为空，则随机选择模型响应输入；(2)用户对模型响应的评价反馈和追问；(3)用户信息、用户问题和模型响应、响应评价信息、模型信息存储。
7、作为进一步的改进，所述用户评价反馈将被量化，所述量化公式为：
8、
9、其中up_cnt表示对某一轮对话的点赞次数，down_cnt表示对某一轮对话的踩次数，flow_cnt表示对某一轮对话的追问次数，flow_cntmin表示统计的追问次数的最小值，可以直接设定为0，flow_cntmax表示统计的追问次数的最大值。comment_cnt表示对某一轮对话的评论次数，comment_cntmin表示统计的评论次数的最小值，可以直接设定为0，comment_cntmax表示统计的评论次数的最大值，score为量化分数，ω1、ω2、ω3分别表示各个特征之间的权重，这个分数一般为0-1之间，其中ω1+ω2+ω3＝1。
10、作为进一步的改进，所述存储为将用户的信息、用户输入和模型回答的文本、调用的模型的信息实时存储。
11、作为进一步的改进，所述特征抽取与门控建模模块用于建立门控模型，所述模型可识别出用户的输入属于哪一个领域的问题，同时会给每一个底座模型分别打一个分数，根据分数决定其作为哪一个模型的输入，并调用相应的模型进行响应。
12、作为进一步的改进，所述特征抽取与门控建模模块的流程包括：(1)设定运营目标；(2)提取所述反馈数据收集与存储模块中的数据；(3)对所述数据进行特征提取；(4)建立门控模型并训练；(5)将训练的模型进行离线测试，直到性能达标；(6)输出训练好的模型。
13、作为进一步的改进，所述特征提取包括：将模型的类别作为标签，基于运营指标建立损失函数，用户的输入、模型的类别、模型的响应，模型的成本、模型的大小、模型的响应时间、用户的信息等作为特征。
14、作为进一步的改进，所述模型调度模块使用训练好的所述门控模型对各个底座模型进行调度，当用户进行输入时，先经过门控模型，所述门控模型充分了解各个底座模型在各个领域的性能并根据输入的问题给各个模型打个分数，所述分数可以体现实现运营目标的一个程度，一般越高则说明期望表现越好，所述门控模型会选择分数最高的模型进行用户输入的响应。
15、本专利技术提供有效地利用了用户在产品中的行为数据来进行建立门控模型，使得门控模型可以充分的了解各个底座模型在各个领域中的能力，且将运营指标加入到模型的损失函数设计中，使得模型的训练朝着有利于实现运营目标的方向收敛。
本文档来自技高网...【技术保护点】
1.一种门控模型，其特征在于，其包括：反馈数据收集与存储模块、特征抽取与门控建模模块及模型调度模块，所述反馈数据收集与存储模块用于产品中模型对用户所问的问题数据、模型的回答的数据、用户对问答对的评价数据的收集与存储，所述特征抽取与门控建模模块用于对所述收集的数据进行特征抽取与门控模型的建模，所述模型调度模块表示建模好的门控模型对各个底座模型进行打分和调度，使得最终的模型能够符合业务设定的运营目标。
2.根据权利要求1所述的一种门控模型，其特征在于，所述运营目标至少包括：调度的性价比最高、用户的反馈最好、用户追问的次数越多、问题的启发性越高等。
3.根据权利要求2所述的一种门控模型，其特征在于，所述反馈数据收集与存储模块用于冷启动阶段和用于收集初期数据，以便于用来进行门控模型的训练，同时也用于模型调度后的数据收集阶段，用于门控模型的迭代优化。
4.根据权利要求3所述的一种门控模型，其特征在于，所述反馈数据收集与存储模块的流程包括：
5.根据权利要求4所述的一种门控模型，其特征在于，所述用户评价反馈将被量化，所述量化公式为：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。