System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及自然语言处理,特别是涉及一种模型偏见答复去除方法、装置、计算机设备和存储介质。
技术介绍
1、随着自然语言处理技术的快速发展,大型语言模型在自然语言处理领域得到了广泛的应用。
2、传统技术中,针对自然语言处理通常使用大型语言模型,但大型语言模型的广泛应用带来了内容生成偏见、输出不可控等一系列问题,尤其在闭源大模型的使用中更为明显。这些闭源模型由于其内部机制和训练数据的非透明性,给用户带来了显著的信任风险。在特定场景下,模型可能生成带有偏见或不准确的内容,甚至可能受到外部诱导而产生恶意输出。这些问题削弱了模型的有效性。
3、因此,传统技术中的闭源模型通常存在控制精度低的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提高控制精度的模型偏见答复去除方法、装置、计算机设备和存储介质。
2、第一方面,本申请提供了一种模型偏见答复去除方法,包括:
3、将待答复问题数据输入至问答模型中;问答模型包括至少一个级联的网络层级;
4、针对问答模型中的每一网络层级,确定网络层级的输入数据对应的中间答复结果;其中,首个网络层级的输入数据为待答复问题数据;
5、根据网络层级对应的目标更新向量和更新方式,更新中间答复结果;更新方式包括线性更新、分段更新和投影更新中的任意一种;所述目标更新向量用于去除所述中间答复结果中的偏见答复内容;
6、根据问答模型中的尾部网络层级对应的中间答复结果,确定待答
7、在其中一个实施例中,若更新方式为线性更新,则根据网络层级中目标更新向量对应的更新方式,更新中间答复结果,更新中间答复结果,包括:
8、根据中间答复结果与目标更新向量之间的和值,更新中间答复结果;或,根据中间答复结果和目标更新向量之间的差值,更新中间答复结果。
9、在其中一个实施例中,若更新方式为分段更新,则根据网络层级中目标更新向量对应的更新方式,更新中间答复结果,更新中间答复结果,包括:
10、根据中间答复结果的转置结果与目标更新向量,调整目标更新向量的向量方向;
11、根据中间答复结果与目标更新向量之间的和值,更新中间答复结果。
12、在其中一个实施例中,若更新方式为投影更新,则根据网络层级中目标更新向量对应的更新方式,更新中间答复结果,更新中间答复结果,包括:
13、根据中间答复结果的转置结果、目标更新向量和目标更新向量的模,调整目标更新向量的向量方向;
14、根据中间答复结果与目标更新向量之间的差值,更新中间答复结果。
15、在其中一个实施例中,问答模型的训练方法,包括:
16、将样本问题数据输入至预训练的问答模型中,得到第一答复结果;
17、将第一答复结果输入至预先训练好的答复更新模型中,得到第二答复结果;
18、根据第一答复结果和第二答复结果,对问答模型进行模型训练。
19、在其中一个实施例中,根据第一答复结果和第二答复结果,对问答模型进行模型训练,包括:
20、根据第一答复结果和第二答复结果,确定问答模型的损失值;
21、根据第一答复结果和第二答复结果之间的差异情况,确定问答模型中的中间更新向量;
22、根据损失值和中间更新向量,对问答模型进行模型训练。
23、第二方面,本申请还提供了一种模型偏见答复去除装置,包括:
24、数据输入模块,用于将待答复问题数据输入至问答模型中;问答模型包括至少一个级联的网络层级;
25、答复确定模块,用于针对问答模型中的每一网络层级,确定网络层级的输入数据对应的中间答复结果;其中,首个网络层级的输入数据为待答复问题数据;
26、答复更新模块,用于根据网络层级对应的目标更新向量和更新方式,更新中间答复结果;更新方式包括线性更新、分段更新和投影更新中的任意一种;
27、目标确定模块,用于根据问答模型中的尾部网络层级对应的中间答复结果,确定待答复问题数据的目标答复结果。
28、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
29、将待答复问题数据输入至问答模型中;问答模型包括至少一个级联的网络层级;
30、针对问答模型中的每一网络层级,确定网络层级的输入数据对应的中间答复结果;其中,首个网络层级的输入数据为待答复问题数据;
31、根据网络层级对应的目标更新向量和更新方式,更新中间答复结果;更新方式包括线性更新、分段更新和投影更新中的任意一种;
32、根据问答模型中的尾部网络层级对应的中间答复结果,确定待答复问题数据的目标答复结果。
33、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
34、将待答复问题数据输入至问答模型中;问答模型包括至少一个级联的网络层级;
35、针对问答模型中的每一网络层级,确定网络层级的输入数据对应的中间答复结果;其中,首个网络层级的输入数据为待答复问题数据;
36、根据网络层级对应的目标更新向量和更新方式,更新中间答复结果;更新方式包括线性更新、分段更新和投影更新中的任意一种;
37、根据问答模型中的尾部网络层级对应的中间答复结果,确定待答复问题数据的目标答复结果。
38、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
39、将待答复问题数据输入至问答模型中;问答模型包括至少一个级联的网络层级;
40、针对问答模型中的每一网络层级,确定网络层级的输入数据对应的中间答复结果;其中,首个网络层级的输入数据为待答复问题数据;
41、根据网络层级对应的目标更新向量和更新方式,更新中间答复结果;更新方式包括线性更新、分段更新和投影更新中的任意一种;
42、根据问答模型中的尾部网络层级对应的中间答复结果,确定待答复问题数据的目标答复结果。
43、上述模型偏见答复去除方法、装置、计算机设备和存储介质,将待答复问题数据输入至问答模型中;问答模型包括至少一个级联的网络层级;针对问答模型中的每一网络层级,确定网络层级的输入数据对应的中间答复结果;其中,首个网络层级的输入数据为待答复问题数据;根据网络层级对应的目标更新向量和更新方式,更新中间答复结果;更新方式包括线性更新、分段更新和投影更新中的任意一种;根据问答模型中的尾部网络层级对应的中间答复结果,确定待答复问题数据的目标答复结果。本申请引入更新向量,强化了问答模型对目标答复结果的精细控制,进一步提高了目标答复结果的可控性和准确性。
本文档来自技高网...【技术保护点】
1.一种模型偏见答复去除方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,若所述更新方式为线性更新,则根据所述网络层级中目标更新向量对应的更新方式,更新所述中间答复结果,更新所述中间答复结果,包括:
3.根据权利要求1所述的方法,其特征在于,若所述更新方式为分段更新,则根据所述网络层级中目标更新向量对应的更新方式,更新所述中间答复结果,更新所述中间答复结果,包括:
4.根据权利要求1所述的方法,其特征在于,若所述更新方式为投影更新,则根据所述网络层级中目标更新向量对应的更新方式,更新所述中间答复结果,更新所述中间答复结果,包括:
5.根据权利要求1所述的方法,其特征在于,所述问答模型的训练方法,包括:
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一答复结果和第二答复结果,对所述问答模型进行模型训练,包括:
7.一种模型偏见答复去除装置,其特征在于,所述装置包括:
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种模型偏见答复去除方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,若所述更新方式为线性更新,则根据所述网络层级中目标更新向量对应的更新方式,更新所述中间答复结果,更新所述中间答复结果,包括:
3.根据权利要求1所述的方法,其特征在于,若所述更新方式为分段更新,则根据所述网络层级中目标更新向量对应的更新方式,更新所述中间答复结果,更新所述中间答复结果,包括:
4.根据权利要求1所述的方法,其特征在于,若所述更新方式为投影更新,则根据所述网络层级中目标更新向量对应的更新方式,更新所述中间答复结果,更新所述中间答复结果,包括:
5.根据权利要求1所述的方法,其特征在于,所述问答模型的训...
【专利技术属性】
技术研发人员:李鹏,蒋屹新,徐文倩,张喜铭,梁志宏,杨祎巍,杨秋勇,徐欢,
申请(专利权)人:南方电网科学研究院有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。