自适应潜在狄利克雷模型选择的方法及装置制造方法及图纸

本发明专利技术提供一种自适应潜在狄利克雷模型选择的方法及装置，其中的方法根据语料库规模初始化一个经验主题个数K，通过计算LDA模型的主题‑词概率分布的平均余弦距离相似性测度不断更新主题个数K，通过若干轮迭代计算得到相对于初始主题个数更适合当前语料库的K值，并输出对应的LDA模型作为最终的结果模型。通过动态调整主题个数K，在一定程度上避免了因个人经验主观设置K导致的模型不合理问题，提高了模型的精度。

【技术实现步骤摘要】

本专利技术涉及自然语言处理
，具体的涉及一种自适应潜在狄利克雷模型选择的方法及装置。
技术介绍
随着互联网的快速发展，信息总量日益剧增，人们对信息的高效检索和获取的需求日益强烈。由于网上信息的表现形式多以文本为主，因此对文本信息进行自动分类成为信息检索领域的重要研究热点。文本自动分类方法中根据文本内容确定关联的类别，以基于统计机器学习的文本分类方法应用最为广泛，其中一种常见模型是隐含狄利克雷分配(LatentDirichletAllocation，LDA)模型。LDA模型是一种主题模型，可以用来识别大规模文档集或语料库中潜藏的主题信息，得到文档-主题概率分布以及主题-词概率分布，在文本挖掘领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。在LDA模型的计算中主题数K的设置受限于个人经验，并且不同规模大小的语料库有不同的特性，即使同一规模大小的不同语料库也存在差异，这给K的设置带来很大挑战，常常由于K值设置的不合理性导致LDA模型的精度较差从而影响后续的分析计算。
技术实现思路
本专利技术的目的在于提供一种自适应潜在狄利克雷模型选择的方法及装置，该专利技术解决了的技术问题。本专利技术的一方面提供一种自适应潜在狄利克雷模型选择的方法，包括以下步骤：步骤S100：将语料库转换为用于LDA模型计算的文档词频矩阵F，并根据语料库规模设置初始主题数K，迭代计算LDA模型；步骤S200：每轮迭代后，根据LDA模型的主题-词概率分布的平均余弦距离相似度r相对上一轮迭代计算中的平均余弦距离相似度r_old是增大或减小，改变主题数K的变化方向dk，进而更新主题数K，并将更新后的主题数K作为下一轮LDA模型迭代的主题数继续进行迭代计算，迭代计算结束后，得到当前语料库的LDA模型；主题数K的更新规则：k＝k_old+dk*alpha*k_old，其中，k_old为上一次迭代的主题数，dk为主题数K的变化方向，随机初始化为1或-1；alpha为学习因子，可设置为固定值或随着迭代次数变化的序列值。进一步地，文档词频矩阵F的构建包括以下步骤：步骤S110：对语料库中的文档按顺序编号索引；步骤S120：对每个文档进行分词处理并构建词典；步骤S130：基于词典构建形式如下的文档词频矩阵F： F = f 1 , 1 f 1 , 2 .... f 1 , N - 1 f 1 , N f 2 , 1 f 2 , 2 .... f 2 , N - 1 f 2 , N .... .... .... .... .... f M - 1 , 1 f M - 1 , 2 .... f 本文档来自技高网...

【技术保护点】
一种自适应潜在狄利克雷模型选择的方法，其特征在于，包括以下步骤：步骤S100：将语料库转换为用于LDA模型计算的文档词频矩阵F，并根据语料库规模设置初始主题数K，迭代计算LDA模型；步骤S200：每轮迭代后，根据LDA模型的主题‑词概率分布的平均余弦距离相似度r相对上一轮迭代计算中的平均余弦距离相似度r_old是增大或减小，改变主题数K的变化方向dk，进而更新主题数K，并将更新后的主题数K作为下一轮LDA模型迭代的主题数继续进行迭代计算，迭代计算结束后，得到当前语料库的LDA模型；主题数K的更新规则：k＝k_old+dk*alpha*k_old，其中，k_old为上一次迭代的主题数，dk为主题数K的变化方向，随机初始化为1或‑1；alpha为学习因子，可设置为固定值或随着迭代次数变化的序列值。

【技术特征摘要】
1.一种自适应潜在狄利克雷模型选择的方法，其特征在于，包括以下步骤：
步骤S100：将语料库转换为用于LDA模型计算的文档词频矩阵F，并根据语料库规模设
置初始主题数K，迭代计算LDA模型；
步骤S200：每轮迭代后，根据LDA模型的主题-词概率分布的平均余弦距离相似度r相对
上一轮迭代计算中的平均余弦距离相似度r_old是增大或减小，改变主题数K的变化方向
dk，进而更新主题数K，并将更新后的主题数K作为下一轮LDA模型迭代的主题数继续进行迭
代计算，迭代计算结束后，得到当前语料库的LDA模型；
主题数K的更新规则：k＝k_old+dk*alpha*k_old，其中，k_old为上一次迭代的主题数，
dk为主题数K的变化方向，随机初始化为1或-1；alpha为学习因子，可设置为固定值或随着
迭代次数变化的序列值。
2.根据权利要求1所述的自适应潜在狄利克雷模型选择的方法，其特征在于，所述文档
词频矩阵F的构建包括以下步骤：
步骤S110：对所述语料库中的文档按顺序编号索引；
步骤S120：对每个文档进行分词处理并构建词典；
步骤S130：基于所述词典构建形式如下的文档词频矩阵F：
F = f 1 , 1 f 1 , 2 .... f 1 , N - 1 f 1 , N f 2 , 1 f 2 , 2 .... f 2 , N - 1 f 2 , N .... .... .... .... .... f M - 1 , 1 f M - 1,2 .... f M - 1 , N - 1 f M - 1 , N f M , 1 f M , 2 .... f M , N - 1 f M , N ]]>其中，M为文档数量，N为词典词数，矩阵中的行表示文档，列表示该词在词典中的索引，
fi,j表示词典中的第j个词在第i个文档中出现的次数。
3.根据权利要求2所述的自适应潜在狄利克雷模型选择的方法，其特征在于，所述初始
化主题数K包括dk，eps，alpha和maxIteration，其中，maxIteration为最大迭代次数，eps为
迭代结束阈值。
4.根据权利要求3所述的自适应潜在狄利克雷模型选择的方法，其特征在于，对所述
LDA模型的求解方法为基于Gibbs采样的算法。
5.根据权利要求4所述的自适应潜在狄利克雷模型选择的方法，其特征在于，
LDA模型中主题-词概率分布为K*N的矩阵，K为主题数，N为词典中所含词的个数，
其每一行表示一个主题的词概率分布，第k个主题的第t个词的概率的计算公式为：
其中，βt为主题-词概率分布的先验概率分布狄利克雷分布的超参数向量β的第t个分
量，为第k个主题中第t个词出现的次数；
主题向量之间的余弦距离相似度dx,y和平均相似余弦距离相似度r，分别通过下式计
算：
r = Σ x = 0 K - 1 &...

【专利技术属性】
技术研发人员：程光权，陈发君，刘忠，黄金才，朱承，修保新，陈超，冯旸赫，龙开亮，
申请(专利权)人：中国人民解放军国防科学技术大学，长沙市源本信息科技有限公司，
类型：发明
国别省市：湖南;43