【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种问题查询处理方法、装置及存储介质。
技术介绍
1、随着大模型技术的不断发展和进步，大模型技术也越来越多的应用到了对话和数据处理分析场景。智能对话场景需要通用大模型算法不仅能够支持开放域问答，还能够对私有数据进行问答、理解和分析，从而提升办公效率。
2、在现有技术中，为了能够实现对私有数据的问答、理解和分析，一般会收集大量的私域数据(非公开的公司私有数据)对大模型(如gpt4以及其它企业研发的大语言模型等)进行微调。具体地，举例来说，当准备对医疗领域的私有数据进行问答时，可以收集大量的医疗领域私有数据，并使用该医疗领域私有数据替换掉大模型中原有的部分其它领域的数据(如金融领域)，以实现对大模型的微调。
3、但是，现有技术的方法至少存在以下问题：
4、微调后的模型只能应付当前领域的问题，待切换到新的领域后，还需要重新针对新的领域进行微调，通用性较差。并且，现有技术的微调方法容易让大模型出现过拟合的情况，即降低了大模型原始的能力，影响了模型在开放域进行问答的准确性。
技术实现思路
1、本申请的多个方面提供一种问题查询处理方法、装置及存储介质，不会对设定语言模型的原始能力产生影响，在能够顺利回答私域问题的同时，保证了设定语言模型在开放域进行问答的准确性。
2、本申请实施例提供一种问题查询处理方法，包括：
3、获取待查询问题数据；
4、在设定私域数据库中获取与所述待查询问题数据对应的私域文
5、将所述待查询问题数据和所述私域文本数据输入至设定语言模型中，以得到与所述待查询问题数据对应的问题查询结果，其中，所述设定语言模型根据多个阅读理解数据集训练得到，每个阅读理解数据集中包含文本内容数据、与所述文本内容数据对应的问题数据和答案数据。
6、在一可选的实施例中，所述设定语言模型的训练过程包括以下步骤：
7、获取所述多个阅读理解数据集，其中，所述多个阅读理解数据集中的文本内容数据、与所述文本内容数据对应的问题数据作为训练样本数据，所述答案数据作为与所述训练样本对应的标签数据；
8、基于所述训练样本数据和所述标签数据对设定语言模型进行训练。
9、在一可选的实施例中，所述基于所述训练样本数据和所述标签数据对设定语言模型进行训练之前，所述方法包括：
10、基于设定文本大小，对所述多个阅读理解数据集进行拼接处理。
11、在一可选的实施例中，所述基于设定文本大小，对所述多个阅读理解数据集进行拼接处理，包括；
12、在所述多个阅读理解数据集中确定符合所述设定文本大小的目标阅读理解数据集和随机筛选的至少一个阅读理解数据集；
13、将所述目标阅读理解数据集和随机筛选的至少一个阅读理解数据集进行拼接处理。
14、在一可选的实施例中，所述基于设定文本大小，对所述多个阅读理解数据集进行拼接处理，包括；
15、在所述多个阅读理解数据集中确定符合所述设定文本大小的目标阅读理解数据集，以及与所述目标阅读理解数据集文本内容相似的至少一个干扰数据集；
16、将所述目标阅读理解数据集和随机筛选的至少一个干扰数据集进行拼接处理。
17、在一可选的实施例中，所述基于所述训练样本数据和所述标签数据对设定语言模型进行训练，包括：
18、基于所述至少一个干扰数据集、所述训练样本数据和所述标签数据对设定语言模型进行训练。
19、在一可选的实施例中，所述训练样本数据和所述标签数据的文本类型为文档，所述基于所述训练样本数据和所述标签数据对设定语言模型进行训练，包括：
20、获取拒答样本数据，以及与所述拒答样本数据对应的拒答标签，其中，所述拒答样本数据包括文本内容数据、与所述文本内容数据不对应的问题数据，所述拒答标签包括拒绝回答的提示信息；
21、基于所述拒答样本数据、所述拒答标签、所述训练样本数据和所述标签数据对设定语言模型进行训练。
22、在一可选的实施例中，所述训练样本数据和所述标签数据的文本类型为表格，所述基于所述训练样本数据和所述标签数据对设定语言模型进行训练，包括：
23、对所述表格进行切分处理，得到多个子表格，每个子表格中包含有至少一个训练样本数据和对应的标签数据；
24、将多个子表格中的至少一个训练样本数据进行随机调换，以得到多个拒答数据集，每个拒答数据集中包含了至少一个训练样本数据，以及与所述至少一个训练样本数据不对应的标签数据；
25、基于所述多个拒答数据集、所述训练样本数据和所述标签数据对设定语言模型进行训练。
26、在一可选的实施例中，每个所述训练样本数据中均携带有拒答指令，所述拒答指令用于在所述文本内容数据没有找到与所述问题数据对应的答案时，输出相应的拒答提示信息。
27、本申请实施例还提供一种问题查询处理装置，所述装置包括：
28、问题获取模块，用于获取待查询问题数据；
29、文本获取模块，用于在设定私域数据库中获取与所述待查询问题数据对应的私域文本数据；
30、问题查询模块，用于将所述待查询问题数据和所述私域文本数据输入至设定语言模型中，以得到与所述待查询问题数据对应的问题查询结果，其中，所述设定语言模型根据多个阅读理解数据集训练得到，每个阅读理解数据集中包含文本内容数据、与所述文本内容数据对应的问题数据和答案数据。
31、本申请实施例还提供一种一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述问题查询处理方法。
32、在本申请实施例中，通过预先使用多个阅读理解数据集训练得到设定语言模型，每个阅读理解数据集中包含文本内容数据、与文本内容数据对应的问题数据和答案数据，使得设定语言模型具备了对文本的阅读理解能力。通过获取待查询问题数据，并在设定私域数据库中获取与待查询问题数据对应的私域文本数据，再将待查询问题数据和私域文本数据输入至设定语言模型中，即可基于设定语言模型对文本的阅读理解能力，得到与待查询问题数据对应的问题查询结果，通用性强，无论需要查询的问题是哪个领域，只需要在预存的该领域数据库中查找到该领域的私域文本数据，再将待查询问题数据和私域文本数据输入至设定语言模型中，即可查找到对应的答案，应理解，私域文本数据相对于一个领域的私域数据来说非常小，因此，通过这样的方法，不需要设定语言模型去学习某个领域的私域数据，只需要根据待查询问题数据和私域文本数据做阅读理解即可，并不会对设定语言模型的原始能力产生影响，在能够顺利回答私域问题的同时，保证了设定语言模型在开放域进行问答的准确性。
本文档来自技高网...【技术保护点】
1.一种问题查询处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述设定语言模型的训练过程包括以下步骤：
3.根据权利要求2所述的方法，其特征在于，所述基于所述训练样本数据和所述标签数据对设定语言模型进行训练之前，所述方法包括：
4.根据权利要求3所述的方法，其特征在于，所述基于设定文本大小，对所述多个阅读理解数据集进行拼接处理，包括；
5.根据权利要求3所述的方法，其特征在于，所述基于设定文本大小，对所述多个阅读理解数据集进行拼接处理，包括；
6.根据权利要求5所述的方法，其特征在于，所述基于所述训练样本数据和所述标签数据对设定语言模型进行训练，包括：
7.根据权利要求2所述的方法，其特征在于，所述训练样本数据和所述标签数据的文本类型为文档，所述基于所述训练样本数据和所述标签数据对设定语言模型进行训练，包括：
8.根据权利要求2所述的方法，其特征在于，所述训练样本数据和所述标签数据的文本类型为表格，所述基于所述训练样本数据和所述标签数据对设定语言模型进行训练，包括：>
9.根据权利要求2-8任一项所述的方法，其特征在于，每个所述训练样本数据中均携带有拒答指令，所述拒答指令用于在所述文本内容数据没有找到与所述问题数据对应的答案时，输出相应的拒答提示信息。
10.一种问题查询处理装置，其特征在于，包括：
11.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至9中任一项所述的方法。
...【技术特征摘要】
1.一种问题查询处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述设定语言模型的训练过程包括以下步骤：
3.根据权利要求2所述的方法，其特征在于，所述基于所述训练样本数据和所述标签数据对设定语言模型进行训练之前，所述方法包括：
4.根据权利要求3所述的方法，其特征在于，所述基于设定文本大小，对所述多个阅读理解数据集进行拼接处理，包括；
5.根据权利要求3所述的方法，其特征在于，所述基于设定文本大小，对所述多个阅读理解数据集进行拼接处理，包括；
6.根据权利要求5所述的方法，其特征在于，所述基于所述训练样本数据和所述标签数据对设定语言模型进行训练，包括：
7.根据权利要求2所述的方法，其特征在于，所述训练样...
【专利技术属性】
技术研发人员：周磊，李东根，蒲东，
申请(专利权)人：达闼机器人成都有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。