应答信息生成方法、系统、装置、设备、介质及程序产品制造方法及图纸

本发明专利技术涉及人工智能问答技术领域，具体公开了应答信息生成方法、系统、装置、设备、介质及程序产品，在通过根据输入的问题信息获取提示词输入语言模型进行推理计算的过程中，在利用局部过滤注意力层增强模型的自然语言表达能力的基础上，在每次推理计算中进入局部过滤注意力层时，获取上一次推理计算保存的结尾输入张量拼接至卷积层的输入张量之前，并保存本次推理计算卷积层的结尾输入张量，使得从每次推理计算只需输入上一次推理计算生成的标记即可，可以有效减少计算量，提升模型推理效率，进而提高了应答信息生成的效率，同时减少了对计算设备的存储资源和计算资源的需求，降低了计算设备完成人工智能问答任务的压力。

【技术实现步骤摘要】

本专利技术涉及人工智能问答，特别是涉及应答信息生成方法、系统、装置、设备、介质及程序产品。

技术介绍

1、人工智能问答技术是人工智能技术的一个蓬勃发展的分支，其应用涵盖了翻译、文章生成、摘要生成、信息搜索、图像生成、图像解析、代码生成等多个

2、大语言模型（large language model，llm）是人工智能问答技术常采用的模型，在解决人工智能问答问题时进行推理计算产生的计算量也很大，不仅对设备性能产生巨大压力，其所生成应答信息的效率也并不乐观，解决人工智能问答技术生成应答信息的设备压力和生成效率问题，是本领域技术人员需要解决的技术问题。

技术实现思路

1、本专利技术的目的是提供应答信息生成方法、系统、装置、设备、介质及程序产品，用于在保证人工智能问答技术中应答信息生成精度的同时解决应答信息生成效率的问题。

2、为解决上述技术问题，本专利技术提供一种应答信息生成方法，包括：

3、接收输入的问题信息，所述问题信息包括提示词；

4、利用设有局部过滤本文档来自技高网...

【技术保护点】

1.一种应答信息生成方法，其特征在于，包括：

2.根据权利要求1所述的应答信息生成方法，其特征在于，当所述语言模型为动态图语言模型时，获取结尾输入张量拼接至卷积层的输入张量之前得到第一拼接输入张量，将所述第一拼接输入张量输入所述卷积层，包括：

3.根据权利要求1所述的应答信息生成方法，其特征在于，当所述语言模型为静态图语言模型时，获取结尾输入张量拼接至卷积层的输入张量之前得到第一拼接输入张量，将所述第一拼接输入张量输入所述卷积层，包括：

4.根据权利要求1所述的应答信息生成方法，其特征在于，获取结尾输入张量，包括：

5.根据权利要求1所述的...

【技术特征摘要】

1.一种应答信息生成方法，其特征在于，包括：

2.根据权利要求1所述的应答信息生成方法，其特征在于，当所述语言模型为动态图语言模型时，获取结尾输入张量拼接至卷积层的输入张量之前得到第一拼接输入张量，将所述第一拼接输入张量输入所述卷积层，包括：

3.根据权利要求1所述的应答信息生成方法，其特征在于，当所述语言模型为静态图语言模型时，获取结尾输入张量拼接至卷积层的输入张量之前得到第一拼接输入张量，将所述第一拼接输入张量输入所述卷积层，包括：

4.根据权利要求1所述的应答信息生成方法，其特征在于，获取结尾输入张量，包括：

5.根据权利要求1所述的应答信息生成方法，其特征在于，保存本次推理计算中所述卷积层的所述结尾输入张量，包括：

6.根据权利要求1所述的应答信息生成方法，其特征在于，当所述语言模型为动态图语言模型时，利用设有局部过滤注意力层的语言模型对所述提示词进行预设次数的推理计算，并在每次推理计算中进入所述局部过滤注意力层时，获取结尾输入张量拼接至卷积层的输入张量之前得到第一拼接输入张量，将所述第一拼接输入张量输入所述卷积层，并保存本次推理计算中所述卷积层的所述结尾输入张量，包括：

7.根据权利要求1所述的应答信息生成方法，其特征在于，当所述语言模型为静态图语言模型时，利用设有局部过滤注意力层的语言模型对所述提示词进行预设次数的推理计算，并在每次推理计算中进入所述局部过滤注意力层时，获取结尾输入张量拼接至卷积层的输入张量之前得到第一拼接输入张量，将所述第一拼接输入张量输入所述卷积层，并保存本次推理计算中所述卷积层的所述结尾输入张量，包括：

8.根据权利要求1所述的应答信息生成方法，其特征在于，在每次推理计算中进入所述语言模型的全局注意力层时，获取历史推理计算得到的键值矩阵，根据所述键值矩阵计算得到键值向量，而后将所述键值向量拼接至所述全局注意力层的输入张量之前得到第四拼接输入张量，将所述第四拼接输入张量输入所述全局注意力层以进行前向传播计算。

9.根据权利要求1所述的应答信息生成方...

【专利技术属性】
技术研发人员：赵旭东，王申领，罗建刚，毛峻雄，吴韶华，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：