文本处理方法及装置、特征向量确定方法及装置制造方法及图纸

技术编号:41232661 阅读:14 留言:0更新日期:2024-05-09 23:48
本说明书实施例提供文本处理方法及装置、特征向量确定方法及装置,其中所述文本处理方法包括:确定目标文本问题,并将目标文本问题输入文本处理模型;在文本处理模型中,获得目标文本问题的初始特征向量;根据正向聚合特征向量、负向聚合特征向量对初始特征向量进行向量转换,获得目标文本问题的目标特征向量,其中,正向聚合特征向量通过在所述文本处理模型中对多个正向文本样本进行特征聚合获得,负向聚合特征向量通过在文本处理模型中对多个负向文本样本进行特征聚合获得;根据目标特征向量,获得目标文本问题对应的文本答案;向量转换后的目标特征向量加强了忠实度分量,削弱了不忠实度分量,提高了模型忠实度,能够输出更准确的答案。

【技术实现步骤摘要】

本说明书实施例涉及计算机,特别涉及一种文本处理方法及装置、一种特征向量确定方法及装置、一种文本处理模型训练方法及装置、一种文本处理交互系统、一种计算设备以及一种计算机可读存储介质。


技术介绍

1、在生成式搜索任务中,大模型会依据搜索结果回答用户输入的文本问题,在这个过程中,大模型的忠实度(faithfulness)是一个重要的衡量指标。忠实度高的大模型会在搜索结果中不包含文本问题对应的答案时进行拒绝识别;并在搜索结果中包含文本问题对应的答案时,参照搜索结果如实地输出答案而不进行胡编乱造。

2、实际应用中,大模型会有幻觉问题,导致在应该拒绝识别的场景下依然声称参考资料中存在答案;除此之外,大模型也会篡改所给的参考资料并生成相反的答案。因此,亟需一种文本处理方法,解决大模型的幻觉问题以及信息篡改的问题,提高大模型的忠实度,从而提高利用大模型进行问题答复的准确性。


技术实现思路

1、有鉴于此,本说明书实施例提供了一种文本处理方法、特征向量确定方法。本说明书一个或者多个实施例同时涉及一种文本处理交互系统、本文档来自技高网...

【技术保护点】

1.一种文本处理方法,包括:

2.根据权利要求1所述的文本处理方法,所述根据正向聚合特征向量、负向聚合特征向量对所述初始特征向量进行向量转换之前,还包括:

3.根据权利要求2所述的文本处理方法,所述在所述文本处理模型中,获得各正向文本样本对应的正向特征向量、以及各负向文本样本对应的负向特征向量,包括:

4.根据权利要求2或3所述的文本处理方法,所述特征聚合算法为主成分分析方法;

5.根据权利要求2或3所述的文本处理方法,所述特征聚合算法为主成分分析方法;

6.根据权利要求4所述的文本处理方法,所述从所述多个正向主成分特征向量中,...

【技术特征摘要】

1.一种文本处理方法,包括:

2.根据权利要求1所述的文本处理方法,所述根据正向聚合特征向量、负向聚合特征向量对所述初始特征向量进行向量转换之前,还包括:

3.根据权利要求2所述的文本处理方法,所述在所述文本处理模型中,获得各正向文本样本对应的正向特征向量、以及各负向文本样本对应的负向特征向量,包括:

4.根据权利要求2或3所述的文本处理方法,所述特征聚合算法为主成分分析方法;

5.根据权利要求2或3所述的文本处理方法,所述特征聚合算法为主成分分析方法;

6.根据权利要求4所述的文本处理方法,所述从所述多个正向主成分特征向量中,确定正向聚合特征向量,包括:

7.根据权利要求5所述的文本处理方法,所述从所述多个负向主成分特征向量中,确定负向聚合特征向量,包括:

8.根据权利要求1所述的文本处理方法,所述文本处理模型包括中间层、向量转换层以及输出层;

9.根据权利要求2所述的文本处理方法,所述文本处理模型包括中间层、向量转换层;

10.一种特征向量确定方法,包括:

11.根据...

【专利技术属性】
技术研发人员:丁瑞雪陈博理龙定坤张延钊刘楚谢朋峻
申请(专利权)人:浙江阿里巴巴机器人有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1