【技术实现步骤摘要】
本专利技术涉及数据处理，特别涉及一种对长文本进行压缩的处理方法和装置。
技术介绍
1、大语言模型（large language models，llm）能够理解文本的深层意义、生成连贯的文本内容；llm模型能够处理多类复杂的语言理解任务，智能问答任务就是其中一种典型任务。在处理智能问答任务时llm模型首先对与问题文本相关的文本资源进行检索并基于检索结果构建一个或多个长文本作为对应的辅助上下文，再基于辅助上下文进行答案文本生成处理。从原理上讲llm模型构建的长文本越大则辅助上下文的内容越丰富、生成的答案准确率越高、模型的任务处理质量也越高；但在实际应用中我们会发现受模型实际处理能力的限制，许多llm模型在构建长文本时都会发生由文本超长导致的信息过载问题，这个问题不但会增加模型的计算成本、还会降低模型的处理效率和处理质量；也就是说当llm模型处理的长文本大小超过模型处理能力极限时，模型的任务处理质量会不升反降。要解决这个问题就需要给出一种长文本的压缩处理机制，而这也是本专利技术要解决的技术问题。
技术实现思路>
1、本文档来自技高网...
【技术保护点】
1.一种对长文本进行压缩的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的对长文本进行压缩的处理方法，其特征在于，
3.根据权利要求2所述的对长文本进行压缩的处理方法，其特征在于，
4.根据权利要求3所述的对长文本进行压缩的处理方法，其特征在于，
5.根据权利要求1所述的对长文本进行压缩的处理方法，其特征在于，所述对所述第一、第二评分模型和所述第一决策模型进行训练，具体包括：
6.根据权利要求5所述的对长文本进行压缩的处理方法，其特征在于，所述基于所述第一数据集对所述第一评分模型进行有监督方式的...
【技术特征摘要】
1.一种对长文本进行压缩的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的对长文本进行压缩的处理方法，其特征在于，
3.根据权利要求2所述的对长文本进行压缩的处理方法，其特征在于，
4.根据权利要求3所述的对长文本进行压缩的处理方法，其特征在于，
5.根据权利要求1所述的对长文本进行压缩的处理方法，其特征在于，所述对所述第一、第二评分模型和所述第一决策模型进行训练，具体包括：
6.根据权利要求5所述的对长文本进行压缩的处理方法，其特征在于，所述基于所述第一数据集对所述第一评分模型进行有监督方式的模型训练，具体包括：
7.根据权利要求5所述的对长文本进行压缩的处理方法，其特征在于，所述基于所述第二数据集对所述第二评分模型进行有监督方式的模型训练，具体包括：
8.根据权利要求5所述的...
【专利技术属性】
技术研发人员：蔡恒兴，许明军，高志锋，张林峰，孙伟杰，
申请(专利权)人：北京深势科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。