长文本处理方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及一种长文本处理方法、装置、电子设备及存储介质，所述方法包括：获取待处理的长文本；将所述长文本拆分成多个文本块；对首个文本块进行摘要提取，得到所述首个文本块的文本摘要S<subgt;1</subgt;；以及基于第i‑1个文本块的文本摘要S<subgt;i‑1</subgt;对第i个文本块进行摘要提取，得到所述第i个文本块的文本摘要S<subgt;i</subgt;，其中，所述i为大于1的自然数；根据每个所述文本块的文本摘要，确定所述长文本的文本摘要。由此不仅解决了自然语言处理模型限制最大输入文本长度的问题，还能够有效地减弱甚至避免对模型处理和理解文本内容的准确性和有效性产生影响，并且能够增加提取出的不同文本块的文本摘要之间的连贯性。

【技术实现步骤摘要】

本申请涉及文本处理领域，尤其涉及一种长文本处理方法、装置、电子设备及存储介质。

技术介绍

1、随着人工智能技术的发展，人工智能模型被应用到诸多领域，其中，自然语言处理模型是常用的人工智能模型中的一种。

2、目前，开发者在设计自然语言处理模型时，考虑到模型的能力以及性能，常常会对模型设置一个输入文本长度上限，例如，gpt-3模型就限制了最多只能接受4096个token作为输入。基于此，在使用自然语言处理模型处理长文本时，就不得不对其进行截断或分割，以满足这种输入文本长度的约束。

3、然而，对长文本进行截断或分割很可能导致部分关键信息的丢失，从而影响模型处理和理解文本内容的准确性和有效性。

技术实现思路

1、本申请提供了一种长文本处理方法、装置、电子设备及存储介质，以解决现有技术中在使用自然语言处理模型处理长文本时，受限于模型的输入文本长度上限，不得不对长文本进行截断或分割，导致部分关键信息丢失，从而影响模型处理和理解文本内容的准确性和有效性的技术问题。

2、第一方面，本申请提本文档来自技高网...

【技术保护点】

1.一种长文本处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述长文本拆分成多个文本块，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述多个分词组合为多个文本块，包括：

4.根据权利要求1所述的方法，其特征在于，所述对首个文本块进行摘要提取，得到所述首个文本块的文本摘要S1，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据每个所述文本块的文本摘要，确定所述长文本的文本摘要，包括：

6.根据权利要求2所述的方法，其特征在于，所述对所述长文本进行分词处理，得到多个分词，包...

【技术特征摘要】

1.一种长文本处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述长文本拆分成多个文本块，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述多个分词组合为多个文本块，包括：

4.根据权利要求1所述的方法，其特征在于，所述对首个文本块进行摘要提取，得到所述首个文本块的文本摘要s1，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据每个所述文本块的文本摘要，确定所述长文本的文本摘要，包括：

6.根据权利要求2所述的方法，其特征...

【专利技术属性】
技术研发人员：王蕾，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：