基于情感分类和SOM聚类的专家评语归纳算法制造技术

技术编号:14299221 阅读:98 留言:0更新日期:2016-12-26 04:29
一种能对多个专家的不同评语进行基于人工智能的归纳总结算法,该算法采用情感分类先对专家评语的文本内容按“肯定情绪”或“否定情绪”两类进行分类,再采用SOM(自组织特征映射神经网络)对各专家评语涉及的话题进行聚类,从所有专家评语中归纳总结出“某话题肯定性意见”、“某话题否定性意见”的几类评语簇。这一算法针对将传统Delphi法用于网上在线评估这一特定应用场景,采用人工智能技术替代传统Delphi法中,采用人工对专家评语进行归纳总结,这一既耗时成本又高的过程,可提高了传统Delphi法进行线上评估的效率,也降低了人工成本。

【技术实现步骤摘要】
所属
本专利技术涉及一种能对多个专家的不同评语进行基于人工智能的归纳总结算法,该算法采用情感分类先对专家评语的文本内容按“肯定情绪”或“否定情绪”两类进行分类,再采用SOM(自组织特征映射神经网络)对各专家评语涉及的话题进行聚类,从所有专家评语中归纳总结出“某话题肯定性意见”、“某话题否定性意见”的几类评语簇。这一算法针对将传统Delphi法用于网上在线评估这一特定应用场景,采用人工智能技术替代传统Delphi法中,采用人工对专家评语进行归纳总结,这一既耗时成本又高的过程,可提高了传统Delphi法进行线上评估的效率,也降低了人工成本。
技术介绍
Delphi法(又称专家咨询法)是对特定事件进行评估的经典科学方法,它采用背对背的通信方式征询专家小组成员的评估意见,经过几轮征询,使专家小组的评估意见趋于集中,最后得出比较合理的评估结论。Delphi法本质上是一种反馈匿名函询法,其大致流程是:在对所要评估的问题征得专家的意见之后,进行整理、归纳、统计,再匿名反馈给各专家,再次征求意见,再集中,再反馈,直至得到一致的意见。这一流程中必须有一个关键的角色:协调人,他负责对每轮各专家的意见进行归纳、总结,归并同类话题意见,排除次要话题意见,再将归纳出的主流意见以匿名反馈給各专家进行了解后,专家再度给出下一轮评估意见,由此重复多轮直到专家意见趋于统一。这个角色对人的分析归纳能力有相当要求,且协调人的工作过程耗时耗力,成本较高,在当今现代社会需要对大量的项目、事件进行快速评估的情况下,若将Delphi法流程应用到互联网平台上进行线上操作的话,协调人的角色必将成为线上流程的主要瓶颈。另一方面,随着人工智能、自然语言分析等技术的发展,用机器运算来替代人力进行海量文本、自然语言、非关系型数据的搜索、识别、分类、聚类的算法也越来越多和先进,因此,用人工智能来替代传统Delphi法中使用人工来进行的文本归纳操作,已成为可能。
技术实现思路
为了解决将Delphi法用于线上评估过程中,协调人这一人工角色引起的瓶颈问题,本专利技术提供了一种新型的算法,该算法通过以人工智能技术为基础的机器计算,可替代传统Delphi法流程中协调人的角色,降低人力成本,提升评估效率。本专利技术涉及的算法处理包括如下过程:1、首先将收集到的各专家评语文本进行预处理,以生成评语文本的结构化表示:这部分处理主要包括对文本进行分词、向量化、降维等三个子步骤。a)分词:本专利技术采用基于字符串的正向最大匹配的分词方法,将待分析的字符串与目前通用的词库资源中的词条进行匹配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。由此将评语文本分割成各个词的组合;b)向量化:将每一个评语文本Di中每个词tk出现的频度tfik作为基础参考量,采用常用的TF-IDF法确定每一个词的权重wik,形成每个文档D的向量化表示Di=D(ti1,wi2;...tik,wik),c)降维:再根据各个词tk的权重wik,去除掉不重要的词,剩余关键影响的特征词集Tim,这样一个文档可降维为Di=D(Ti1,wi2;...Tim,wim);2、将经过预处理后的每个文档向量Di,采用贝叶斯分类器进行情感分类处理,处理过程将调用通用分类词库资源,进而将各评价文档分为“肯定情绪”或“否定情绪”两大类;3、另一方面,将预处理后的每个文档向量Di,再采用SOM(自组织特征映射神经网络)算法 对各专家评语内容涉及的话题进行聚类运算,经过迭代训练收敛后,分别将各个评语文档聚合成话题内容相同或相似的几个类;4、根据2、3两步骤获得的分类、聚类结果结合起来,通过末级分类,最终从所有专家评语中归纳总结出几类评语簇:a)关于话题A的肯定性评语、关于话题A的否定性评语;b)关于话题B的肯定性评语、关于话题B的否定性评语;c)关于话题C的肯定性评语、关于话题C的否定性评语;d)......本专利技术带来的有益效果是,通过以人工智能为基础上的机器计算替代传统Delphi法流程中协调人的角色,使得采用Delphi法做线上评估的过程省去了协调人这一角色,避免了大量线上评估流程时的人工瓶颈,可大大降低成本、提升评估效率。附图说明下面结合附图和实施例对本专利技术涉及的算法做进一步说明。图1是本专利技术算法的基本流程图。图2是本专利技术算法的涉及的SOM模型结构。图2中,(1)是输入层,(2)是联接权值,(3)是竞争层或称输出层(含输出节点)。具体实施方式在图1所示,本专利技术涉及算法的具体实施流程如下:1、文本预处理:这一步骤的目的是生成评语文本的结构化表示,主要包括对文本进行分词、向量化表示、降维等三个子步骤:a)采用基于字符串匹配的分词方法,结合通用或专用的词库资源,将评语文本分割成各个词的组合;b)将每一个评语文本Di中每个词tk出现的频度tfik作为基础参考量,采用常用的TF-IDF法确定每一个词的权重wik,形成每个文档D的向量化表示Di=D(ti1,wi2;...tik,wik),TF-IDF的权重计算公式如下: w ik = tf ik × idf k = tf ik × log 2 ( N n k ) ]]>式中tfik是一个词tk在文档Di中的词频,idfk是词tk在文档Di中的倒文档频率,N为所有文档的数目,nk为包含词tk的文档数目。c)再根据各个词ti的权重wik,去除掉不重要(权重低的)的词,剩余关键影响的特征词集Tim,这样一个文档可降维为Di=D(Ti1,wi2;...Tim,wim),简计为:Di=D(wi1,...wim,)。2、分类:将经过预处理后的每个文档向量Di,采用贝叶斯分类器进行情感分类处理,训练过程将调用分类词库资源,进而将各评价文档分为“肯定情绪”或“否定情绪”两大类。实际处理中采用的贝叶斯分类器算法如下: P ( c j | D ) = P ( c j ) Π i = 1 m P ( T i | C 本文档来自技高网
...
<a href="http://www.xjishu.com/zhuanli/55/201510188748.html" title="基于情感分类和SOM聚类的专家评语归纳算法原文来自X技术">基于情感分类和SOM聚类的专家评语归纳算法</a>

【技术保护点】
一种能对多个专家的不同评语进行自动归纳总结的算法,其特征是:采用情感分类先对专家评语的文本内容按“肯定情绪”或“否定情绪”两类进行分类,再采用SOM(自组织特征映射神经网络)对各专家评语涉及的话题进行聚类,从所有专家评语中归纳总结出“某话题肯定性意见”、“某话题否定性意见”的几类评语簇。

【技术特征摘要】
1.一种能对多个专家的不同评语进行自动归纳总结的算法,其特征是:采用情感分类先对专家评语的文本内容按“肯定情绪”或“否定情绪”两类进行分类,再采用SOM(自组织特征映射神经网络)对各专家评语涉及的话题进行聚类,从所有专家评语中归纳总结出“某话题肯定...

【专利技术属性】
技术研发人员:刘烽刘礼兵
申请(专利权)人:苏州优估营网络科技有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1