【技术实现步骤摘要】
本专利技术涉及数据聚类,具体是一种文本主题聚类方法、计算设备及存储介质。
技术介绍
1、随着internet技术的飞速发展,越来越多的应用可以产生文本信息。从多源文本数据集中挖掘其主题信息以及文本结构对于很多应用程序都是非常有必要的。例如,新闻热点分析的应用可以发现来自各种新闻网站、论坛和社交媒体的文本信息,以了解社会关注的热点问题。人们通过分析市民热线、交通公告牌等各种来源的交通信息,发现突发交通事故。主题模型是目前较为流行的文本挖掘方法之一。挖掘多源文本数据集中的文本信息是亟待解决的技术问题。
技术实现思路
1、本专利技术的目的在于提供一种基于louvain算法的文本主题聚类方法,以解决上述
技术介绍
中提出的挖掘多源文本数据集中的文本信息的问题。
2、为实现上述目的,本专利技术提供如下技术方案:
3、第一方面,提供一种文本主题聚类方法,包括:
4、从多个来源收集待聚类的文本,对待聚类的文本进行文本预处理;
5、利用bertopic模型建模,
...【技术保护点】
1.一种文本主题聚类方法,其特征在于,包括:
2.根据权利要求1所述的一种文本主题聚类方法,其特征在于,所述利用Bertopic模型建模,生成主题模型,之前,通过最大期望算法计算Bertopic模型的参数。
3.根据权利要求2所述的一种文本主题聚类方法,其特征在于,所述最大期望算法为EM采样算法或BFGS采样算法,通过EM采样算法和/或BFGS采样算法迭代计算Bertopic模型的参数。
4.根据权利要求3所述的一种文本主题聚类方法,其特征在于,所述最大期望算法计算Bertopic模型的参数,具体包括以下步骤:
5.根据
...【技术特征摘要】
1.一种文本主题聚类方法,其特征在于,包括:
2.根据权利要求1所述的一种文本主题聚类方法,其特征在于,所述利用bertopic模型建模,生成主题模型,之前,通过最大期望算法计算bertopic模型的参数。
3.根据权利要求2所述的一种文本主题聚类方法,其特征在于,所述最大期望算法为em采样算法或bfgs采样算法,通过em采样算法和/或bfgs采样算法迭代计算bertopic模型的参数。
4.根据权利要求3所述的一种文本主题聚类方法,其特征在于,所述最大期望算法计算bertopic模型的参数,具体包括以下步骤:
5.根据权利要求1所述的一种文本主题聚类方法,其特征在于,所述文本预处理的方法是进行分词,去停用词、低频词和标点数字。
6.根据权利要求5所述的一种文本主题聚类方法,其特征在于,所述分词的方法包括,获取目标文本语料,基于预训练...
【专利技术属性】
技术研发人员:黄山,刘光达,何磊,吕济民,张勇,陈宇宁,刘晓路,杜永浩,闫俊刚,程力,潘雨,陈英武,陈盈果,王沛,沈大勇,
申请(专利权)人:中国人民解放军国防科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。