【技术实现步骤摘要】
基于LDA的母婴问题聚类分析方法、装置、计算机存储介质
本专利技术涉及母婴问题互联网信息分析
,具体地涉及一种基于LDA的母婴问题聚类分析方法、装置、计算机存储介质。
技术介绍
当今社会,互联网已经渗透到人们的日常生活中,微博、论坛、博客等即时通信工具已经成为人们获取信息,进而发表看法、传播信息的重要渠道。同时借助移动终端网络的发展,多种应用APP也得到了迅速的发展;伴随着母婴类应用APP的发展,带来的后果是文本信息呈现爆炸式增长,其中母婴类应用APP其基本都是母婴相关信息,涉及到的母婴问题占据了相当重要的比例。但是,如何从众多母婴问题中快速获取到主题类别,从而有效的捕捉热门主题就变得尤为重要。我研究人员发现,由于中文句子语法结构的复杂,语义的多变性等特点以及凭借直觉手动对聚类主题数进行设置与调整,使得获得最优聚类结果,大大增加难度。常规的现有技术技术方案涉及中文句子的语义分析方法,检索如下:举例说明,现有技术中存在一种短文本聚类分析方法(对比专利1:CN201811517917.3短文本聚类分析方法、装置和终 ...
【技术保护点】
1.一种基于LDA的母婴问题聚类分析方法,其特征在于,包括:/n基于LTP对面向母婴领域的语料库中的待聚类文本进行依存句法分析,得到依存句法分析结果;根据预设核心要素在所述依存句法分析结果中位置进行核心主体词抽取操作,得到当前待聚类文本中的核心主体词集合从而形成聚类语料;收集海量的所述聚类预料形成聚类语料库,随机设置初始主题数,在初始主题数的条件下结合LDA算法对所述聚类语料库实施建模求解得到各主题以及主题下的关键词集合;其中,所述预设核心要素包括月龄、人群、症状;/n基于上述处理得到多个所述主题下的关键词集合,计算任意两个主题词之间的相似度,得到任意两个主题间的相似度值, ...
【技术特征摘要】
1.一种基于LDA的母婴问题聚类分析方法,其特征在于,包括:
基于LTP对面向母婴领域的语料库中的待聚类文本进行依存句法分析,得到依存句法分析结果;根据预设核心要素在所述依存句法分析结果中位置进行核心主体词抽取操作,得到当前待聚类文本中的核心主体词集合从而形成聚类语料;收集海量的所述聚类预料形成聚类语料库,随机设置初始主题数,在初始主题数的条件下结合LDA算法对所述聚类语料库实施建模求解得到各主题以及主题下的关键词集合;其中,所述预设核心要素包括月龄、人群、症状;
基于上述处理得到多个所述主题下的关键词集合,计算任意两个主题词之间的相似度,得到任意两个主题间的相似度值,汇总多个任意两个主题间的相似度值得到各主题间的相似度值;
基于任意两个主题间的相似度值的结果,同时参考第一平均绝对误差方式计算得到当前主题与整体所有主题的相关性数值;汇总得到各个主题与整体所有主题的相关性数值;
计算同一主题下任意两个关键词之间互信息值,同时参考第二平均绝对误差方式,计算得到当前主题的内部关键词的互信值,从而计算得到各主题的内部关键词的互信息值;
通过以上步骤计算的各个主题与整体所有主题的相关性数值和各主题的内部关键词的互信息值,对当前主题对应的所述相关性数值以及所述互信息值这两个值进行加权,得到各主题的信息值:
在初始主题数的条件下,判断计算所述初始主题数下对应的所有主题的信息值均值I(N)是否满足预设目标条件;若否,则根据预设步长,在所述初始主题数基础上以所述预设步长为单位增量修改增加所述初始主题数的数值,不断验算修改后的初始主题数对应的所有主题的信息值均值I(N)是否满足预设目标条件,直至验算在满足预设目标条件时对应的修改后的初始主题数为目标主题数,且所述目标主题数为最优主题个数,且所述目标主题数对应的当前得到的结果也是最优聚类结果;
其中,所述预设目标条件为所有主题的信息值均值I(N)小于主题信息值阈值或者所有主题的信息值均值I(N)达到稳定状态。
2.根据权利要求1所述的基于LDA的母婴问题聚类分析方法,其特征在于,所述根据预设核心要素在根据依存句法分析结果中位置进行核心主体词抽取操作,得到当前待聚类文本中的核心主体词集合从而形成聚类语料,具体包括如下操作步骤:
获取依存句法分析结果,根据预设核心要素在所述依存句法分析结果中位置,得到所述当前待聚类文本中的主体核心词遵循的句法规则;
然后按照上述句法规则,对所述当前待聚类文本中对应的核心主体词进行抽取操作,抽取后得到所述当前待聚类文本中的核心主体词集合就是聚类语料。
3.根据权利要求2所述的基于LDA的母婴问题聚类分析方法,其特征在于,在初始主题数的条件下结合LDA算法对所述聚类语料库实施建模求解得到各主题以及主题下的关键词集合,具体包括如下操作步骤:
对所述聚类语料库进行向量化操作,得到文本向量矩阵和词袋模型;
然后结合LDA算法所述对文本向量矩阵进行建模和矩阵求解,从而得到所述初始主题数对应的文本-主题矩阵和主题-词矩阵,并结合所述词袋模型获得各主题下的关键词集合。
4.根据权利要求3所述的基于LDA的母婴问题聚类分析方法,其特征在于,基于上述处理得到多个所述主题下的关键词集合,计算任意两个主题词之间的相似度,得到任意两个主题间的相似度值,具体包括如下操作步骤:
基于上述处理得到多个所述主题下的关键词集合,对任意两个所述主题下的关键词集合进行相似度计算,从而得到任意两个主题间的相似度值。
5.根据权利要求4所述的基于LDA的母婴问题聚类分析方法,其特征在于,基于任意两个主题间的相似度值的结果,同时参考第一平均绝对误差方式计算得到当前主题与整体所有主题的相关性数值,具体包括如下操作步骤:
基于任意两个主题间的相似度值的结果进行计算,其中1-N共计有N个主题,所有主题表示为(Topic1,…,TopicN);simi(Topici,Topicj)表示为任意两个主题Topici,Topicj的相似度值;上述Topici,Topicj代表任意两个主题;
将上述任意两个主题间的相似度值参考第一平均绝对误差方式求解平均值,得到当前主题对于整体所有主题的相关性数值为:上述Topici,Topicj代表任意两个主题。
6.如权利5要求所述的基于LDA的母婴问题聚类分析方法,其特征在于,计算同一主题下任意两个关键词之间互信息值,同时参考第二平均绝对误差方式,计算得到当前主题的内部关键词的互信值,从而计算得到各主题的内部关键词的互信息值,具体包括如下操作步骤:
计算同一主题下任意两个关键词之间互信息值,其中中的H表达为互信息值;
同时参考第二平均绝对误差方式,计算得到当前主题的内部关键词的互信值为:
其中,上述其中的代表当前主题内部的任意两个关键词;M为当前主题内部关键词的总个数。
7.如权利6要求所述的基于LDA的母婴问...
【专利技术属性】
技术研发人员:张姗姗,赵永强,廖望梅,李乘风,王光勇,
申请(专利权)人:北京崔玉涛儿童健康管理中心有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。