【技术实现步骤摘要】
本专利技术涉及一种基于bertopic主题识别模型的科技项目技术主题识别方法。
技术介绍
1、文本的自动编码技术可以分为两类，分别是基于自然语言的有监督学习自动编码技术和和无监督学习自动编码技术，这两种方法各有优点和不足，对于不同的数据集会产生的效果是不一样的。
2、主题模型是一种无监督的生成式概率统计模型，该模型认为文档与词项之间存在着一种隐含的、抽象的信息，即主题。近年来，随着大数据分析的发展，主题模型在文本挖掘、自然语言处理等领域的应用越来越广泛，主题模型得到极大的关注并且迅速发展。目前，主题模型在自动编码应用上面也取得了一定的成就，基于对主题模型的含义和原理的理解，对各热门主题模型进行总结如下表1所示。tf-idf和lsa模型适用于对短文本进行主题提取，前者简单易懂、计算速度快，但不能发现潜在主题，后者能够找到隐藏在文本中的潜在主题，但计算时间较长且无法解释主题的含义；plsa和lda模型适用于长文本主题提取和文本分类等任务，前者能够发现潜在主题并且给出主题和单词的分布概率，但计算时间较长且不适用于处理新数据，后者能够发现潜在主题并且给出主题和单词的分布概率、对于新数据的处理效果较好、可解释性较好，但计算时间较长。bertopic无需主题数量等参数的设定就可以轻松提取主题信息，是当前最新最热门的主题模型。
3、科技项目技术主题识别指通过挖掘科技项目名称获得科技项目主题。bertopic是一种主题建模技术，其利用bert嵌入和基于聚类的tf-idf来创建密集的聚类，其还使用统一面域逼近和投影(uni
4、表1，主题模型总结表：
5、
6、bertopic是一种主题建模技术，它利用transformer和c-tf-idf来创建密集的集群，允许轻松解释主题，同时在主题描述中保留重要词。
技术实现思路
1、本专利技术的目的是克服现有技术的缺陷，提供一种基于bertopic主题识别模型的科技项目技术主题识别方法，无需复杂的参数设置就可以快速轻松提取科技项目的技术主题信息。
2、实现上述目的的技术方案是：一种基于bertopic主题识别模型的科技项目技术主题识别方法，包括以下步骤：
3、s1，嵌入科技项目名称数据，使用bert提取文档嵌入；
4、s2，降维和聚类，使用umap降低嵌入的维数；并分别将每个科技项目项目名称的词向量输入hdbscan，hdbscan自动推荐最优的簇类结果，hdbscan输出的聚类数量为最终提取的各个科技项目名称的技术主题数量；
5、s3，创建技术主题，使用tf-idf评价每个词对每个hdbscan聚类的重要性，对主题进行提取和精简，最终获取每个技术主题中重要的单词，得到技术主题的主题词；
6、s4，根据技术主题的主题词划分科技项目数据，实现技术主题识别。
7、上述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，步骤s1中，bert是一种自然语言预处理模型，使用来自语言模型的表述进行迁移学习，且与上下文无关，只需要无标记的数据。
8、上述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，其中，将科技项目的名称输入一个基于英语bert模型，使用双向transformer结构计算研究内容的词向量。
9、上述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，步骤s2中，umap在高维中使用指数概率分布，任何距离均可以代入直接计算，其使用随机梯度下降代替常规梯度下降，既加快了计算速度，又减少了内存消耗。
10、上述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，步骤s3中，tf是词频，表示一个词在一类文本中出现的频率；idf是逆向文件频率，一个词的idf由一个聚类中总文献数据数目除以包含该词的文献数据的数目，再将商取对数得到。
11、上述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，其中，如果包含单词的文档越少，idf越大，说明词条具有很好的类别区分能力。
12、上述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，其中，当有一个词的tf和idf时，将这个词的tf和idf相乘，得到一个词的tf-idf的值。
13、上述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，其中，某个词在文章中的tf-idf越大，那么这个词的重要性就越高，通过计算文章中各个词的tf-idf，并由大到小排序，排在最前面的几个词，就是关键词，每个关键词的tf-idf值就是其在该主题下的权重。
14、上述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，步骤s4中，根据不同技术主题的主题词在每个科技项目的名称中出现的频率，计算科技项目名称与主题词的匹配程度，如果在一个科技项目的名称中一个技术主题的主题词的出现频率比其他技术主题的主题词频率高，则将科技项目划分到主题词的出现频率高的技术主题。
15、上述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，其中，科技项目具有7个技术主题，分别为电力数字技术、智能传感技术、“双碳”服务技术、运营管理技术、大数据分析技术、电力治理技术和人工智能技术。
16、本专利技术的基于bertopic主题识别模型的科技项目技术主题识别方法，无需复杂的参数设置就可以快速轻松提取科技项目的技术主题信息。
本文档来自技高网...【技术保护点】
1.一种基于BERTopic主题识别模型的科技项目技术主题识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于BERTopic主题识别模型的科技项目技术主题识别方法，其特征在于，步骤S1中，BERT是一种自然语言预处理模型，使用来自语言模型的表述进行迁移学习，且与上下文无关，只需要无标记的数据。
3.根据权利要求2所述的一种基于BERTopic主题识别模型的科技项目技术主题识别方法，其特征在于，将科技项目的名称输入一个基于英语BERT模型，使用双向Transformer结构计算研究内容的词向量。
4.根据权利要求1所述的一种基于BERTopic主题识别模型的科技项目技术主题识别方法，其特征在于，步骤S2中，UMAP在高维中使用指数概率分布，任何距离均可以代入直接计算，其使用随机梯度下降代替常规梯度下降，既加快了计算速度，又减少了内存消耗。
5.根据权利要求1所述的一种基于BERTopic主题识别模型的科技项目技术主题识别方法，其特征在于，步骤S3中，TF是词频，表示一个词在一类文本中出现的频率；IDF是逆向文件频率
6.根据权利要求5所述的一种基于BERTopic主题识别模型的科技项目技术主题识别方法，其特征在于，如果包含单词的文档越少，IDF越大，说明词条具有很好的类别区分能力。
7.根据权利要求6所述的一种基于BERTopic主题识别模型的科技项目技术主题识别方法，其特征在于，当有一个词的TF和IDF时，将这个词的TF和IDF相乘，得到一个词的TF-IDF的值。
8.根据权利要求7所述的一种基于BERTopic主题识别模型的科技项目技术主题识别方法，其特征在于，某个词在文章中的TF-IDF越大，那么这个词的重要性就越高，通过计算文章中各个词的TF-IDF，并由大到小排序，排在最前面的几个词，就是关键词，每个关键词的TF-IDF值就是其在该主题下的权重。
9.根据权利要求1所述的一种基于BERTopic主题识别模型的科技项目技术主题识别方法，其特征在于，步骤S4中，根据不同技术主题的主题词在每个科技项目的名称中出现的频率，计算科技项目名称与主题词的匹配程度，如果在一个科技项目的名称中一个技术主题的主题词的出现频率比其他技术主题的主题词频率高，则将科技项目划分到主题词的出现频率高的技术主题。
10.根据权利要求1所述的一种基于BERTopic主题识别模型的科技项目技术主题识别方法，其特征在于，科技项目具有7个技术主题，分别为电力数字技术、智能传感技术、“双碳”服务技术、运营管理技术、大数据分析技术、电力治理技术和人工智能技术。
...【技术特征摘要】
1.一种基于bertopic主题识别模型的科技项目技术主题识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，其特征在于，步骤s1中，bert是一种自然语言预处理模型，使用来自语言模型的表述进行迁移学习，且与上下文无关，只需要无标记的数据。
3.根据权利要求2所述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，其特征在于，将科技项目的名称输入一个基于英语bert模型，使用双向transformer结构计算研究内容的词向量。
4.根据权利要求1所述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，其特征在于，步骤s2中，umap在高维中使用指数概率分布，任何距离均可以代入直接计算，其使用随机梯度下降代替常规梯度下降，既加快了计算速度，又减少了内存消耗。
5.根据权利要求1所述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，其特征在于，步骤s3中，tf是词频，表示一个词在一类文本中出现的频率；idf是逆向文件频率，一个词的idf由一个聚类中总文献数据数目除以包含该词的文献数据的数目，再将商取对数得到。
6.根据权利要求5所述的一种基于bertopic主题识别模型的科技项目技术主题识别方法，其特...
【专利技术属性】
技术研发人员：顾嘉凤，李奕婵，华斌，吴恩琦，宋平，黄华，赵涛，潘晓玮，李永，陆启宇，周超，安静，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。