【技术实现步骤摘要】
本专利技术涉及思维链推理，尤其涉及一种基于知识蒸馏的多模态思维链推理方法和装置。
技术介绍
1、随着提示学习(prompt learning)浪潮兴起，以离散式提示学习，即简单地组合提示词开始，到连续化提示学习，即冻结大模型权重，再微调较小参数达到等价性能的进步，逐渐达到了该研究的一个巅峰。但随着研究的不断深入，逐渐有很多人意识到连续化提示学习中的一些好处伴随着一些局限性，比如伪资源节约，不稳定等等。
2、为此，思维链技术(chain-of-thought，cot)随之诞生，和之前的提示词的问题，答案模式不同，思维链提示词模式采用输入问题，思维链，输出结论的形式，通过模仿人类在解决复杂问题的过程，将一个大的问题分解为一些中间问题，然后逐步解决，最后得到最终结果，也称为“自顶向下，逐步求精”。也就是从输入问题为起点，经过一系列自然语言形式的推理过程，得到最终答案。
3、但传统的基于提示的cot推理方法的一个主要缺点是依赖于超过数千亿参数的超大模型，计算需求和推理成本过高，无法在小模型中实现复杂的推理。
技术实现思路
1、本专利技术提供了一种基于知识蒸馏的多模态思维链推理方法和装置，解决了传统的基于提示的cot推理方法的一个主要缺点是依赖于超过数千亿参数的超大模型，计算需求和推理成本过高，无法在小模型中实现复杂的推理的技术问题。
2、本专利技术提供的一种基于知识蒸馏的多模态思维链推理方法，包括：
3、当接收到问题答案数据对和训练图像时，采
4、对所述训练图像进行图像增强，生成多个图像样本并建立与所述风格化样本之间的关联；
5、通过预设的目标推理模型采用所述风格化样本和所述图像样本进行推理，生成目标风格化答案。
6、可选地，所述当接收到问题答案数据对和训练图像时，采用预设的大语言模型对所述问题答案数据对进行知识蒸馏，生成多个风格化样本的步骤，包括：
7、当接收到问题答案数据对和训练图像时，采用预设的大语言模型生成所述问题答案数据对对应的初始推理解释和对应的初始答案；
8、对各所述初始推理解释和各所述初始答案进行敏感词过滤，得到中间推理解释和中间答案；
9、将所述中间推理解释分别加载至所述大语言模型内的第一提示模版进行分解，生成多个关系序列；
10、筛选与所述问题答案数据对内的真实答案一致的中间答案作为目标答案；
11、采用所述目标答案关联的中间推理解释和关系序列，构建推理样本；
12、采用多个不同的语言模版分别对所述推理样本进行风格优化，生成多个风格化样本。
13、可选地，所述对各所述初始推理解释和各所述初始答案进行敏感词过滤，得到中间推理解释和中间答案的步骤，包括：
14、遍历所述初始推理解释内的每个第一字符和所述初始答案内的每个第二字符；
15、按照各个所述第一字符和各个所述第二字符匹配预设的敏感词汇列表，判断所述第一字符或所述第二字符是否匹配成功；
16、采用预设字符替换匹配成功的第一字符和/或第二字符，生成中间推理解释和中间答案。
17、可选地，所述将所述中间推理解释分别加载至所述大语言模型内的第一提示模版进行分解，生成多个关系序列的步骤，包括：
18、将所述中间推理解释分别加载至所述大语言模型内的第一提示模版；所述中间推理解释包括多个推理假设解释；
19、通过所述大语言模型按照所述第一提示模版对各个所述推理假设解释进行占位符标识，得到多个占位符；
20、通过所述大语言模型对各个所述占位符进行文本替换，生成多个关系序列。
21、可选地，所述采用多个不同的语言模版分别对所述推理样本进行风格优化，生成多个风格化样本的步骤，包括：
22、将多个不同的语言模版输入至所述大语言模型，通过所述大语言模型按照各所述语言模版分别对所述推理样本进行文本提取，生成同一所述语言模版下的多个初始风格化样本；
23、生成所述初始风格化样本和所述推理样本之间的拓扑关系展示页面，并显示对应的问题二级页；
24、响应接收到的回答信息，从多个所述初始风格化样本中选取所属语言模版对应的风格化样本。
25、可选地，所述风格化样本包括语言样本和关系样本，所述目标推理模型包括原理推理模型和答案生成模型；所述通过预设的目标推理模型采用所述风格化样本和所述图像样本进行推理，生成目标风格化答案的步骤，包括：
26、通过所述原理推理模型对所述语言样本和所述图像样本进行交互融合后，结合所述关系样本生成基本原理序列和简化关系序列；
27、采用所述大语言模型对所述基本原理序列和所述简化关系序列进行逻辑修正并进行敏感词过滤，生成优化基本原理和简化关系数据；
28、拼接所述语言样本和所述优化基本原理，构建语言数据；
29、通过所述答案生成模型对所述语言数据和所述图像样本进行交互融合后，结合所述简化关系数据生成目标答案；
30、采用所述大语言模型对所述目标答案进行风格优化，生成多个风格化答案。
31、可选地，所述原理推理模型包括第一编码单元、自注意力网络、门控融合机制、第一解码单元和第二解码单元；所述通过所述原理推理模型对所述语言样本和所述图像样本进行交互融合后，结合所述关系样本生成基本原理序列和简化关系序列的步骤，包括：
32、通过所述第一编码单元对所述语言样本、所述图像样本和所述关系样本分别进行编码，对应生成文本表示特征、图像特征和关系表示特征；
33、通过自注意力网络对所述文本表示特征和所述图像特征进行交互，生成第一注意力输出特征；
34、通过门控融合机制对所述文本表示特征和所述第一注意力输出特征进行融合，生成第一融合输出特征；
35、通过自注意力网络对所述第一融合输出特征和所述关系表示特征进行交互，生成第一输出特征；
36、通过所述第一解码单元对所述第一输出特征进行三层解码，生成简化关系序列；
37、通过所述第二解码单元根据所述简化关系序列和所述第一输出特征进行六层解码，生成基本原理序列。
38、可选地，所述采用所述大语言模型对所述基本原理序列和所述简化关系序列进行逻辑修正并进行敏感词过滤，生成优化基本原理和简化关系数据的步骤，包括：
39、通过所述大语言模型按照预设的第二提示模版分别加载所述基本原理序列和所述简化关系序列，得到中间基本原理序列和中间简化关系序列；
40、通过所述大语言模型按照预设的第一比对条件判断所述中间基本原理序列与所述基本原理序列是否相同；
41、若相同，则将所述中间基本原理序列并进行敏感词过滤，生成优化基本原理；
42、若不同，则将所述基本原理序列并进行敏感词过滤，生成优本文档来自技高网...
【技术保护点】
1.一种基于知识蒸馏的多模态思维链推理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述当接收到问题答案数据对和训练图像时，采用预设的大语言模型对所述问题答案数据对进行知识蒸馏，生成多个风格化样本的步骤，包括：
3.根据权利要求2所述的方法，其特征在于，所述对各所述初始推理解释和各所述初始答案进行敏感词过滤，得到中间推理解释和中间答案的步骤，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述中间推理解释分别加载至所述大语言模型内的第一提示模版进行分解，生成多个关系序列的步骤，包括：
5.根据权利要求2所述的方法，其特征在于，所述采用多个不同的语言模版分别对所述推理样本进行风格优化，生成多个风格化样本的步骤，包括：
6.根据权利要求1所述的方法，其特征在于，所述风格化样本包括语言样本和关系样本，所述目标推理模型包括原理推理模型和答案生成模型；所述通过预设的目标推理模型采用所述风格化样本和所述图像样本进行推理，生成目标风格化答案的步骤，包括：
7.根据权利要求6所述的方法，其特征在
8.根据权利要求6所述的方法，其特征在于，所述采用所述大语言模型对所述基本原理序列和所述简化关系序列进行逻辑修正并进行敏感词过滤，生成优化基本原理和简化关系数据的步骤，包括：
9.根据权利要求6所述的方法，其特征在于，所述答案生成模型包括第二编码单元、自注意力网络、门控融合机制和解码单元；所述通过所述答案生成模型对所述语言数据和所述图像样本进行交互融合后，结合所述简化关系数据生成目标答案的步骤，包括：
10.一种基于知识蒸馏的多模态思维链推理装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于知识蒸馏的多模态思维链推理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述当接收到问题答案数据对和训练图像时，采用预设的大语言模型对所述问题答案数据对进行知识蒸馏，生成多个风格化样本的步骤，包括：
3.根据权利要求2所述的方法，其特征在于，所述对各所述初始推理解释和各所述初始答案进行敏感词过滤，得到中间推理解释和中间答案的步骤，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述中间推理解释分别加载至所述大语言模型内的第一提示模版进行分解，生成多个关系序列的步骤，包括：
5.根据权利要求2所述的方法，其特征在于，所述采用多个不同的语言模版分别对所述推理样本进行风格优化，生成多个风格化样本的步骤，包括：
6.根据权利要求1所述的方法，其特征在于，所述风格化样本包括语言样本和关系样本，所述目标推理模型包括原理推理模型和答案生成模型；所述通过预设的目标推...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。