【技术实现步骤摘要】
本专利技术涉及文本处理，尤其是一种文本聚类分析方法、系统、电子设备及存储介质。
技术介绍
1、传统的文本聚类技术主要将大量文本数据通过某种聚类方法划分为不同的类别，以便更好地组织和搜索信息。然而，在实际应用中，单纯进行文本聚类无法满足用户对信息的全面理解和快速获取的需求；此外，仅仅基于单一方式计算聚类距离可能导致部分信息丢失。因此，需要提高聚类的准确率，并对聚类结果进行优化、总结和提炼，以提供更有价值的信息呈现和决策支持。此外，目前的大量文本的总结提炼方法通常是随机抽取内容或将所有内容输入给生成式大模型进行总结。然而，这种方法存在两个问题：首先，通过随机抽取样本进行总结容易丢失信息，无法对整个文本聚类结果进行全局总结；其次，如果将所有文本输入给大模型，文本的token数会非常大，一方面会占用大量推理显存资源，另一方面会导致模型总结效果下降。以上问题亟需解决。
2、术语解释：
3、词元粒度：分词词元粒度是指在中文文本处理中，将文本拆分成最小的语义单元，通常是一个字或一个词，这种粒度的分词方法被称为词元级别分词。p>
4、tra本文档来自技高网...
【技术保护点】
1.一种文本聚类分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种文本聚类分析方法，其特征在于，所述基于Transformer对各所述第一文本数据进行向量化处理得到对应的第一文本向量，其具体为：
3.根据权利要求1所述的一种文本聚类分析方法，其特征在于，所述基于TF-IDF对各所述第一文本数据进行向量化处理得到对应的第二文本向量，其具体包括：
4.根据权利要求1所述的一种文本聚类分析方法，其特征在于，所述根据所述第一文本向量和所述第二文本向量确定两个所述第一文本数据之间的文本距离，其具体包括：
5.根据权...
【技术特征摘要】
1.一种文本聚类分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种文本聚类分析方法，其特征在于，所述基于transformer对各所述第一文本数据进行向量化处理得到对应的第一文本向量，其具体为：
3.根据权利要求1所述的一种文本聚类分析方法，其特征在于，所述基于tf-idf对各所述第一文本数据进行向量化处理得到对应的第二文本向量，其具体包括：
4.根据权利要求1所述的一种文本聚类分析方法，其特征在于，所述根据所述第一文本向量和所述第二文本向量确定两个所述第一文本数据之间的文本距离，其具体包括：
5.根据权利要求1所述的一种文本聚类分析方法，其特征在于，所述根据所述文本距离对所述第一文本数据进行层次聚类，得到多个目标文本簇，其具体包括：
6.根据权利要求1至5中任一项所述的一种文本聚类分析方法，其特征在于，所述确定大模型的最大token长度，根据...
【专利技术属性】
技术研发人员：张云龙，王小惠，
申请(专利权)人：中电信人工智能科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。