【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种基于注意力分布的答案生成方法、系统、设备及介质。
技术介绍
1、在金融领域，经常会碰到大量的客户咨询，如果仅仅依靠人工回答，不仅效率低下且成本高，因此智能问答客服系统被广泛应用在这些场景中，通过智能问答客服系统可以提升客户咨询效率，检索增强语言模型在金融领域的智能客服问答系统中发挥了关键作用。当客户提出问题时，检索增强语言模型首先会从外部知识库中检索相关的参考信息，然后将这些参考信息与客户问题一同输入到语言模型中，生成最终的答案。
2、但是，检索增强语言模型在调用外部知识时，常常会与模型内部参数中存储的知识发生冲突，检索增强语言模型在外部知识与内部知识之间产生竞争，导致生成内容不可预见，进而限制了检索增强语言模型的适用性。
3、当前，对比解码方法已被广泛用于提升检索增强语言模型在知识冲突情况下基于上下文知识回答问题的能力。然而，现有的对比解码方法通常需要进行两次解码，这不仅增加了计算资源的消耗，还因为每次解码时输入不一致，导致解码步骤不对齐，最终输出连贯性较差，影响可读性。>
<本文档来自技高网...
【技术保护点】
1.一种基于注意力分布的答案生成方法，其特征在于，包括：
2.根据权利要求1所述的基于注意力分布的答案生成方法，其特征在于，所述根据所述正确答案在所述候选答案中的排名变化和每一注意力层对所述上下文信息的关注度排名变化，生成注意力样本数据，步骤包括：
3.根据权利要求1所述的基于注意力分布的答案生成方法，其特征在于，所述根据所述注意力样本数据，确定每一注意力层对所述上下文信息的关注度，步骤包括：
4.根据权利要求1所述的基于注意力分布的答案生成方法，其特征在于，所述构造每一注意力层的注意力分布，步骤包括：
5.根据权利要求...
【技术特征摘要】
1.一种基于注意力分布的答案生成方法，其特征在于，包括：
2.根据权利要求1所述的基于注意力分布的答案生成方法，其特征在于，所述根据所述正确答案在所述候选答案中的排名变化和每一注意力层对所述上下文信息的关注度排名变化，生成注意力样本数据，步骤包括：
3.根据权利要求1所述的基于注意力分布的答案生成方法，其特征在于，所述根据所述注意力样本数据，确定每一注意力层对所述上下文信息的关注度，步骤包括：
4.根据权利要求1所述的基于注意力分布的答案生成方法，其特征在于，所述构造每一注意力层的注意力分布，步骤包括：
5.根据权利要求1所述的基于注意力分布的答案生成方法，其特征在于，所述根据所述第一注意力层对应的注意力分布和所述第二注意力层对应的注意力分布，得到每一候选词语的差分注意力概率，计算公式如下：
6.根据权利要求1所述的基于注意力分布的答案生成方法，其特征在于，所...
【专利技术属性】
技术研发人员：张镛，程宁，王少军，马骏，黄燕文，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。