【技术实现步骤摘要】
本申请涉及计算机，尤其涉及人工智能，具体涉及一种模型处理方法、装置、设备、介质及产品。
技术介绍
1、随着人工智能技术的发展，通过终端输入查询文本，或与计算机设备（如智能机器人）进行对话，能够得到反馈的查询结果。在查询处理的过程中，需将文本映射到高维向量空间，得到用于表征该文本的表征向量，通过向量匹配，查找出表征向量与查询文本的表征向量相匹配的文本，将查找出的文本作为该查询文本的查询结果。但目前传统表征模型难以为查询业务场景生成准确表征文本的表征向量，降低了查询准确率。
技术实现思路
1、本申请实施例提供一种模型处理方法、装置、设备、介质及产品，能应用目标表征模型为查询业务场景生成准确表征文本的表征向量，提升查询准确率。
2、一方面，本申请实施例提供了一种模型处理方法，该方法包括：
3、获取查询业务场景的业务知识库，并对业务知识库进行文本分割处理，得到n个知识文本块；n为正整数；
4、调用文本生成模型分别为每个知识文本块构建问题簇；每个知识文本块分别对应一个问题簇，每个问题簇包含多个问题，每个问题簇包含的各个问题的答案均能够从对应的知识文本块中获得；
5、基于n个知识文本块及构建得到的n个问题簇，构建微调数据集；
6、采用微调数据集对预训练表征模型进行微调处理，得到目标表征模型；目标表征模型被应用在查询业务场景中为文本生成表征向量。
7、另一方面，本申请实施例提供了一种模型处理装置，该装置包括：
8
9、处理单元，用于调用文本生成模型分别为每个知识文本块构建问题簇；每个知识文本块分别对应一个问题簇，每个问题簇包含多个问题，每个问题簇包含的各个问题的答案均能够从对应的知识文本块中获得；
10、处理单元，还用于基于n个知识文本块及构建得到的n个问题簇，构建微调数据集；
11、处理单元，还用于采用微调数据集对预训练表征模型进行微调处理，得到目标表征模型；目标表征模型被应用在查询业务场景中为文本生成表征向量。
12、在一实现方式中，处理单元用于对业务知识库进行文本分割处理，得到n个知识文本块时，具体用于执行如下步骤：
13、分析业务知识库的属性；属性包含以下至少一种：结构、内容组织方式；
14、基于业务知识库的属性确定文本分割策略；文本分割策略包括以下至少一种：标题分割策略、段落分割策略、列表分割策略、篇幅分割策略、聚类分割策略；
15、基于确定的文本分割策略对业务知识库进行文本分割处理，得到n个知识文本块；
16、其中，任一个知识文本块对应一个知识领域，n个知识文本块各自对应的知识领域之间相互独立。
17、在一实现方式中，处理单元用于基于确定的文本分割策略对业务知识库进行文本分割处理，得到n个知识文本块时，具体用于执行如下步骤：
18、获取业务知识库包括的内容；
19、对业务知识库包括的内容进行预处理，得到预处理后的内容；预处理包括以下至少一种：数据清洗、分词、去除停用词；
20、按照确定的文本分割策略，对预处理后的内容进行文本分割处理，得到n个知识文本块。
21、在一实现方式中，知识文本块i为n个知识文本块中的任一个，i为小于或等于n的正整数；处理单元用于调用文本生成模型为知识文本块i构建对应的问题簇时，具体用于执行如下步骤：
22、调用文本生成模型对知识文本块i进行提问生成处理，得到多个候选问题；
23、调用文本生成模型对多个候选问题进行提问复核处理，得到多个候选问题分别对应的复核结果；复核结果用于指示对应候选问题是否能够利用知识文本块i中的内容进行解答；
24、基于多个候选问题和各个候选问题分别对应的复核结果，为知识文本块i构建对应的问题簇。
25、在一实现方式中，处理单元用于基于多个候选问题和各个候选问题分别对应的复核结果，为知识文本块i构建对应的问题簇时，具体用于执行如下步骤：
26、基于每个候选问题分别对应的复核结果，从多个候选问题中选择p个候选问题；p为正整数；
27、调用文本生成模型对p个候选问题进行数据增强处理，得到p个候选问题分别对应的增强问题；
28、基于p个候选问题和p个候选问题分别对应的增强问题，构建知识文本块i对应的问题簇。
29、在一实现方式中，处理单元用于基于n个知识文本块及构建得到的n个问题簇，构建微调数据集时，具体用于执行如下步骤：
30、从n个知识文本块及n个问题簇中获取参考文本；其中，参考文本为任一知识文本块中的内容，或者为任一问题簇中的任一问题；
31、为参考文本生成正文本和负文本；参考文本的正文本是对参考文本进行数据增强处理得到的；若参考文本为第一知识文本块中的内容，则参考文本的负文本为第二知识文本块中的内容，第一知识文本块和第二知识文本块为n个知识文本块中的任意两个知识文本块；若参考文本为第一问题簇中的问题，则参考文本的负文本为第二问题簇中的问题，第一问题簇和第二问题簇为n个问题簇中的任意两个问题簇；
32、将参考文本，以及参考文本的正文本和负文本作为微调数据集中的一个训练样本并添加至微调数据集中。
33、在一实现方式中，处理单元用于采用微调数据集对预训练表征模型进行微调处理，得到目标表征模型时，具体用于执行如下步骤：
34、获取微调数据集，微调数据集包括多个训练样本，每个训练样本包括参考文本以及参考文本的正文本和负文本；
35、调用预训练表征模型分别提取每个训练样本中的各文本的表征向量；
36、按照减小参考文本的表征向量与其正文本的表征向量之间的差异，并增大参考文本的表征向量与其负文本的表征向量之间的差异的原则，构建预训练表征模型的损失信息；
37、基于预训练表征模型的损失信息，对预训练表征模型进行微调处理，得到目标表征模型。
38、在一实现方式中，处理单元用于基于n个知识文本块及构建得到的n个问题簇，构建微调数据集时，具体用于执行如下步骤：
39、从第三问题簇中获取参考问题；第三问题簇是n个问题簇中的任一个，参考问题为第三问题簇中的任一问题；
40、根据第三问题簇对应的知识文本块，得到参考问题的答案标签；
41、将参考问题和参考问题的答案标签确定为微调数据集中的一个训练样本并添加至微调数据集中。
42、在一实现方式中，处理单元用于采用微调数据集对预训练表征模型进行微调处理，得到目标表征模型时，具体用于执行如下步骤：
43、获取微调数据集，微调数据集包括多个训练样本，每个训练样本包括参考问题和参考问题的答案标签；
44、调用预训练表征模型对每个训练样本中本文档来自技高网...
【技术保护点】
1.一种模型处理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述对所述业务知识库进行文本分割处理，得到N个知识文本块，包括：
3.如权利要求2所述的方法，其特征在于，所述基于确定的文本分割策略对所述业务知识库进行文本分割处理，得到N个知识文本块，包括：
4.如权利要求1-3任一项所述的方法，其特征在于，知识文本块i为所述N个知识文本块中的任一个，i为小于或等于N的正整数；调用文本生成模型为所述知识文本块i构建问题簇，包括：
5.如权利要求4所述的方法，其特征在于，所述基于所述多个候选问题和各个所述候选问题分别对应的复核结果，为所述知识文本块i构建对应的问题簇，包括：
6.如权利要求1所述的方法，其特征在于，所述基于所述N个知识文本块及构建得到的N个问题簇，构建微调数据集，包括：
7.如权利要求6所述的方法，其特征在于，所述采用所述微调数据集对预训练表征模型进行微调处理，得到目标表征模型，包括：
8.如权利要求1所述的方法，其特征在于，所述基于所述N个知识文本块及构建得到的N个
9.如权利要求8所述的方法，其特征在于，所述采用所述微调数据集对预训练表征模型进行微调处理，得到目标表征模型，包括：
10.如权利要求6-9任一项所述的方法，其特征在于，所述方法还包括：
11.如权利要求1所述的方法，其特征在于，所述业务知识库包含所述N个知识文本块分别对应的索引；所述方法还包括：
12.如权利要求11所述的方法，其特征在于，所述方法还包括：
13.如权利要求12所述的方法，其特征在于，所述基于所述第二查询文本的表征向量在所述知识向量库中确定匹配知识文本块对应的索引，包括：
14.如权利要求12或13所述的方法，其特征在于，所述获取的匹配知识文本块包括Q个，Q为大于1的整数；所述基于获取的匹配知识文本块，确定所述第二查询文本的查询结果，包括：
15.一种模型处理装置，其特征在于，包括：
16.一种计算机设备，其特征在于，包括：
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于被处理器加载并执行如权利要求1-14任一项所述的模型处理方法。
18.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1-14任一项所述的模型处理方法。
...【技术特征摘要】
1.一种模型处理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述对所述业务知识库进行文本分割处理，得到n个知识文本块，包括：
3.如权利要求2所述的方法，其特征在于，所述基于确定的文本分割策略对所述业务知识库进行文本分割处理，得到n个知识文本块，包括：
4.如权利要求1-3任一项所述的方法，其特征在于，知识文本块i为所述n个知识文本块中的任一个，i为小于或等于n的正整数；调用文本生成模型为所述知识文本块i构建问题簇，包括：
5.如权利要求4所述的方法，其特征在于，所述基于所述多个候选问题和各个所述候选问题分别对应的复核结果，为所述知识文本块i构建对应的问题簇，包括：
6.如权利要求1所述的方法，其特征在于，所述基于所述n个知识文本块及构建得到的n个问题簇，构建微调数据集，包括：
7.如权利要求6所述的方法，其特征在于，所述采用所述微调数据集对预训练表征模型进行微调处理，得到目标表征模型，包括：
8.如权利要求1所述的方法，其特征在于，所述基于所述n个知识文本块及构建得到的n个问题簇，构建微调数据集，包括：
9.如权利要求8所述的方法，其特征在于，所述采用所述微调数据集对预训...
【专利技术属性】
技术研发人员：许冉，岑东益，邵燃，郭润增，侯锦坤，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。