基于在HDP模型中引入自适应窗口的文档主题提取方法技术

本发明专利技术公开了一种基于在HDP模型中引入自适应窗口的文档主题提取方法，将HDP模型与ADWIM相结合，通过似然变化检测主题漂移，在没有发现主题漂移时直接合并窗口更新模型，在主题发生漂移时划分子窗口重新判断是否进行窗口合并。该模型利用自适应窗口把文档划分为较小的文档块，通过移动窗口保证了词与词之间的顺序，同时通过自适应的方式来选取模型训练窗口划分，避免了像大多数方法那样定义任意的时间片和文档块。

A method of document topic extraction based on introducing adaptive window into HDP model

【技术实现步骤摘要】
基于在HDP模型中引入自适应窗口的文档主题提取方法
本专利技术属于文档主题提取方法
，具体涉及基于在HDP模型中引入自适应窗口的文档主题提取方法。
技术介绍
随着网络文本的爆炸式增长，从海量文本提取合理的信息是件非常困难的事。在众多的文本处理方法中，主体模型能够对大规模文档集进行文本聚类，使得人们较快地获取到想要的信息。近二十年来，主题模型得到了快速的发展，并扩展出很多模型。现有的主题模型中，LDA(LatentDirichletAllocation，隐含狄利克雷分布)主题模型虽然在文本聚类中取得了较好的效果，但是需要手动确定最优的主题聚类个数，而在海量文本数据中，文档主题数并不能确定。HDP(分层狄利克雷过程)模型是LDA主题模型无参数的一个扩展，它能够自动确定文档的主题个数，训练前不需要预设文档的主题个数，解决了人工确定文档主题数的问题。现有的LDA模型和HDP模型是根据定义的一批文档推断主题分布，此设置没有考虑文档中词与词之间的顺序，而基于时间片的变体模型需要按固定时间片对文档进行分组，但是面临时间片难以定义的问题。本文档来自技高网...

【技术保护点】
1.基于在HDP模型中引入自适应窗口的文档主题提取方法，其特征在于，包括以下步骤：/nS1、基于待提取信息的文档生成初始HDP模型；/nS2、在生成的初始HDP模型中引入自适应窗口机制，构建AWIHDP模型；/nS3、将当前待提取信息的文本输入到当前AWIHDP模型中，并对其进行更新；/nS4、判断是否有新的待提取信息文本到达；/n若是，则返回步骤S3；/n若否，则进入步骤S5；/nS5、将当前AWIHDP模型提取到所有文本的主题词分布作为文档主题提取结果。/n

【技术特征摘要】
1.基于在HDP模型中引入自适应窗口的文档主题提取方法，其特征在于，包括以下步骤：
S1、基于待提取信息的文档生成初始HDP模型；
S2、在生成的初始HDP模型中引入自适应窗口机制，构建AWIHDP模型；
S3、将当前待提取信息的文本输入到当前AWIHDP模型中，并对其进行更新；
S4、判断是否有新的待提取信息文本到达；
若是，则返回步骤S3；
若否，则进入步骤S5；
S5、将当前AWIHDP模型提取到所有文本的主题词分布作为文档主题提取结果。


2.根据权利要求1所述的基于在HDP模型中引入自适应窗口的文档主题提取方法，其特征在于，所述步骤S1具体为：
A1、从基分布H和第一聚集参数γ构成的狄利克雷过程中，抽样出基分布G0；
A2、从基分布G0和第二聚集参数α0构成的狄利克雷过程中，为每篇文档抽取主题词分布Gj，生成HDP模型。


3.根据权利要求2所述的基于在HDP模型中引入自适应窗口的文档主题提取方法，其特征在于，所述步骤S2中的引入自适应窗口机制的WAIHDP模型包括HDPm子模型和HDPd模型；
所述HDPm子模型用于文档建模；
所述HDPd子模型用于根据滑动窗口算法对当前窗口进行漂移检测。


4.根据权利要求3所述的基于在HDP模型中引入自适应窗口的文档主题提取方法，其特征在于，所述步骤S3具体为：
S31、将当前待提取信息的文档划分为长度为n的文档块，并将其中的第一个文档块添加到窗口W0中。
S32、将当前窗口滑动至下一文档块，通过HDPm子模型计算当前窗口Wi中文档数据分布变化，并通过HDPd子模型判断当前窗口是否发生主题漂移；
其中，下标i＝1,2,…；
若是，则进入步骤S33；
若否，则进入步骤S37；
S33、将当前窗口平均分割为Wi1和Wi2，并使用HDPm子模型分别计算窗口Wi1和窗口Wi2中的文档数据分布变化，然后通过HDPd子模型判断窗口Wi1和窗口Wi2发生主...

【专利技术属性】
技术研发人员：罗瑜，常锦鹏，彭湾湾，曾叶，吴晓华，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51