【技术实现步骤摘要】
本公开涉及人工智能领域及金融领域，具体地涉及一种智能文档问答方法、装置、设备、介质和程序产品。
技术介绍
1、在这个信息爆炸的时代，需要有高效获取文档信息的能力。随着人工智能技术的不断发展，文档问答系统已经成为提升这一能力的重要手段之一。近年来，以gpt-3模型为代表的大规模语言模型能力的不断提升，为智能文档问答带来了新的机遇。
2、对用于文档问答领域的大规模语言模型(以下简称文档问答大模型)，现有技术往往聚焦于其自然语言生成能力和模型迭代升级能力，而对自然语言生成结果评价的研究力度还不够。
3、通用领域的文档问答大模型，人们可以容忍一些回答错误，要求其大致回答出相关内容即可。相比而言，人们对专业领域中的文档问答大模型要求更高，例如要求更高的准确率等，这些都需要调整各类参数以应对具体的业务场景。并且，不同领域对文档问答大模型评估维度有不同的容忍能力。
技术实现思路
1、鉴于上述问题，本公开提供了提高智能文档问答准确度等性能的智能文档问答方法、装置、设备、介质和程序产品，用于至少部分解决以上技术问题。
2、根据本公开的第一个方面，提供了一种智能文档问答方法，包括：确定专业领域；根据专业领域，确定预先训练好的文档问答大模型；采用文档问答大模型执行智能文档问答；其中，文档问答大模型由循环调参得到；循环调参包括批量问答和对批量问答结果的评价反馈；以及对批量问答结果的评价反馈包括溯源评价、答案评价和模型接受度。
3、根据本公开的实施例，文档问答
4、根据本公开的实施例，根据批量问答结果，对文档问答大模型进行配置调整包括：确定溯源列表、原文列表、答案列表和正确答案列表；根据溯源列表和原文列表，确定批量问答结果的溯源准确率和/或溯源召回率；根据答案列表和正确答案列表，确定批量问答结果的答案召回率、答案冗余性和答案稳定性中的至少一个；根据溯源准确率和/或溯源召回率，以及答案召回率、答案冗余性和答案稳定性中的至少一个，确定模型接受度。
5、根据本公开的实施例，根据溯源准确率和/或溯源召回率，以及答案召回率、答案冗余性和答案稳定性中的至少一个，确定模型接受度包括：确定溯源准确率和/或溯源召回率，以及答案召回率、答案冗余性和答案稳定性中至少一个的分值；确定溯源准确率和/或溯源召回率，以及答案召回率、答案冗余性和答案稳定性中至少一个的权重；对溯源准确率和/或溯源召回率，以及答案召回率、答案冗余性和答案稳定性中至少一个的分值进行归一化，得到归一化分值；以及根据归一化分值和对应权重，加权得到模型接受度。
6、根据本公开的实施例，确定溯源准确率和/或溯源召回率，以及答案召回率、答案冗余性和答案稳定性中至少一个的分值包括：采用相似度算法确定溯源准确率、答案召回率和答案稳定性；采用统计算法确定溯源召回率和答案冗余性；其中，相似度算法至少包括余弦相似度算法、jaccard相似度算法和编辑距离相似度算法；以及统计算法至少包括tf-idf统计算法和n-gram统计算法。
7、根据本公开的实施例，根据批量问答结果，对文档问答大模型进行配置调整还包括：根据溯源列表、原文列表、答案列表和正确答案列表中的一项或多项，确定批量问答结果的自定义指标；其中，自定义指标至少包括批量问答结果的溯源稳定性指标。
8、根据本公开的实施例，重复批量提问及配置调整步骤，直到调参轮次结束包括：在每次获取批量问答结果之后，判断调参轮次是否结束；在模型接受度大于接受度阈值的情况下，确定调参轮次结束；或者在文档问答大模型的运行时间大于时间阈值的情况下，确定调参轮次结束；或者在收到系统停止指令的情况下，确定调参轮次结束。
9、根据本公开的实施例，根据批量问答结果，对文档问答大模型进行配置调整还包括：对历史全量参数、当前全量参数和当前修改参数进行展示。
10、本公开的第二方面提供了一种智能文档问答装置，包括：第一确定模块，用于确定专业领域；第二确定模块，用于根据专业领域，确定预先训练好的文档问答大模型；以及执行模块，用于采用文档问答大模型执行智能文档问答；其中，文档问答大模型由循环调参得到；循环调参包括批量问答和对批量问答结果的评价反馈；以及对批量问答结果的评价反馈包括溯源评价、答案评价和模型接受度。
11、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例的方法。
12、本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述任一实施例的方法。
13、本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一实施例的方法。
14、与现有技术相比，本公开提供的智能文档问答方法、装置、电子设备、存储介质和程序产品，至少具有以下有益效果：
15、(1)本公开的智能文档问答方法，通过采用经自动循环调参的文档问答大模型来进行文档智能问答，减小了人工调参的工作量，并且通过溯源评价、答案评价来反馈问答结果，也提高了文档问答的准确性和稳定性。以及以模型接受度来表征模型调参效果，直观便捷。
16、(2)本公开的智能文档问答方法，针对不同的专业领域，对文档问答大模型进行初始化配置并循环调参，可以应用于多个不同领域的智能文档问答，提高了文档问答大模型的场景适应性。
17、(3)本公开的智能文档问答方法，采用溯源准确率、溯源召回率、答案召回率、答案冗余性和答案稳定性等多个评估维度来评价文档问答大模型的调参效果，评估维度丰富、场景适应性强，提高了问答结果的准确性和文档问答大模型的鲁棒性。
本文档来自技高网...【技术保护点】
1.一种智能文档问答方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述文档问答大模型由循环调参得到包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述批量问答结果，对所述文档问答大模型进行配置调整包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述溯源准确率和/或溯源召回率，以及所述答案召回率、答案冗余性和答案稳定性中的至少一个，确定所述模型接受度包括：
5.根据权利要求4所述的方法，其特征在于，所述确定所述溯源准确率和/或溯源召回率，以及所述答案召回率、答案冗余性和答案稳定性中至少一个的分值包括：
6.根据权利要求3所述的方法，其特征在于，所述根据所述批量问答结果，对所述文档问答大模型进行配置调整还包括：
7.根据权利要求2所述的方法，其特征在于，所述重复批量提问及配置调整步骤，直到调参轮次结束包括：
8.根据权利要求2所述的方法，其特征在于，所述根据所述批量问答结果，对所述文档问答大模型进行配置调整还包括：
9.一种智能文档问答装置，其特征
10.一种电子设备，其特征在于，包括：
11.一种计算机可读存储介质，其特征在于，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～8中任一项所述的方法。
12.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～8中任一项所述的方法。
...【技术特征摘要】
1.一种智能文档问答方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述文档问答大模型由循环调参得到包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述批量问答结果，对所述文档问答大模型进行配置调整包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述溯源准确率和/或溯源召回率，以及所述答案召回率、答案冗余性和答案稳定性中的至少一个，确定所述模型接受度包括：
5.根据权利要求4所述的方法，其特征在于，所述确定所述溯源准确率和/或溯源召回率，以及所述答案召回率、答案冗余性和答案稳定性中至少一个的分值包括：
6.根据权利要求3所述的方法，其特征在于，所述根据所述批量问答结...
【专利技术属性】
技术研发人员：陆怡，贾玉红，常梦圆，宋哲，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。