一种信息处理方法、装置、电子设备及计算机存储介质制造方法及图纸

技术编号:19934086 阅读:18 留言:0更新日期:2018-12-29 04:30
本发明专利技术实施例公开了一种信息处理方法、装置、电子设备及计算机存储介质,词频‑逆文件频率(TF‑IDF)可用于评估字词对于某文件的重要程度,在当前的做法中,仅将各字词作为独立的元素,使得采用当前做法得到的TF‑IDF值进行文本分类和信息检索的准确度较低。本发明专利技术实施例通过获取文本信息中的每个文本词在该文本信息中的同义词,并根据该文本词和该文本词的同义词得到该文本词的第一同义词集合,进而基于该第一同义词集合,得到该文本信息的第二同义词集合,最后计算得到该第二同义词集合的TF‑IDF值。由于考虑了文本信息中文本词之间的同义词关系,进一步的,基于该TF‑IDF值,可以提高文本分类或信息检索的准确度。

【技术实现步骤摘要】
一种信息处理方法、装置、电子设备及计算机存储介质
本专利技术涉及互联网
,尤其涉及一种信息处理方法、装置、电子设备及计算机存储介质。
技术介绍
词频-逆文件频率(TermFrequency-InverseDocumentFrequency,TF-IDF)是一种用于文本分类和信息检索的加权技术,TF-IDF可以用于评估字词对于某文件集或某语料库中的其中一份文件的重要程度。字词的重要性随着该字词在该文件中出现的次数成正比增加,但同时会随着该字词在语料库中出现的频率成反比下降。在当前的做法中,仅将各个字词作为独立的元素并计算其TF-IDF值,使得采用当前做法得到的TF-IDF值进行文本分类和信息检索的准确度较低。
技术实现思路
本专利技术实施例公开了一种信息处理方法、装置、电子设备及计算机存储介质,可以得到文本信息包括的同义词集合的TF-IDF值,进一步地,有利于提高文本分类和信息检索的准确度。第一方面,本专利技术实施例公开了信息处理方法,该方法可以包括:接收信息处理请求,所述信息处理请求包括多个文本信息,各个所述文本信息包括至少一个文本词;根据所述多个文本信息包括的文本词,得到关于所述文本词的第一同义词集合,所述第一同义词集合包括所述文本词以及所述文本词的至少一个同义词;针对各个所述文本信息,确定所述文本信息的第一系数,所述第一系数与包含所述文本信息中的文本词的第二同义词集合相对应,所述第一同义词集合包括所述第二同义词集合,所述第一系数用于建立所述第二同义词集合和所述文本信息之间的线性表示关系;根据所述文本信息的第一系数,得到所述第二同义词集合的词频-逆文件频率。在一种实现方式中,所述信息处理请求还包括目标同义词集合的目标数量,所述根据所述文本信息的第一系数,得到所述第二同义词集合的词频-逆文件频率之后,所述方法还可以包括:从所述第二同义词集合中确定满足所述目标数量且词频-逆文件频率较大的目标同义词集合。在一种实现方式中,所述确定所述文本信息的第一系数的具体实施方式可以为:获取所述文本信息中各个文本词的词频,所述文本词的词频用于建立所述文本词和所述文本信息之间的线性表示关系;获取包含各个所述文本词的第二同义词集合;针对各个所述第二同义词集合,根据所述第二同义词集合针对各个所述文本词的第二系数和所述文本词的词频,得到所述第二同义词集合的第一系数。在一种实现方式中,所述根据所述第二同义词集合针对各个所述文本词的第二系数和所述文本词的词频,得到所述第二同义词集合的第一系数之前,所述方法还可以包括:针对所述文本信息中的各个文本词,确定所述文本词的第一向量;根据所述文本词的第一向量,得到包含所述文本词的第三同义词集合的第二向量,所述第二同义词集合包括所述第三同义词集合;根据所述文本词的第一向量和所述第三同义词集合的第二向量,得到所述文本词和所述第三同义词集合之间的余弦相似度;根据所述余弦相似度,得到所述第三同义词集合针对所述文本词的第二系数。在一种实现方式中,所述信息处理请求还包括所有文本信息的数量,所述根据所述文本信息的第一系数,得到所述第二同义词集合的词频-逆文件频率的具体实施方式可以为:对所述文本信息的所有第一系数求和,得到第一数值;将所述第二同义词集合对应的第一系数除以所述第一数值,得到第二数值;对所述第二同义词集合针对各个所述文本信息的第一系数求和,得到第三数值;对所述信息处理请求包括的所有文本信息的数量除以所述第三数值的结果进行对数运算,得到第四数值;将所述第二数值和所述第四数值相乘,得到所述第二同义词集合的词频-逆文件频率。在一种实现方式中,所述根据所述多个文本信息包括的文本词,得到关于所述文本词的第一同义词集合的具体实施方式可以为:对所述多个文本信息进行分词处理,得到文本词集合,所述文本词集合包括至少一个文本词;在预设同义词数据库中查找各个所述文本词的同义词,得到关于各个所述文本词的第四同义词集合,所述第四同义词集合包括所述文本词以及查找到的所述文本词的同义词;根据所述第四同义词集合,得到所述第一同义词集合。在一种实现方式中,所述根据所述第四同义词集合,得到所述第一同义词集合的具体实施方式可以为:确定文本词和所述文本词的所有同义词均存在于其他第四同义词集合中的目标第四同义词集合,所述其他第四同义词集合为所述关于各个所述文本词的第四同义词集合中除所述目标第四同义词集合以外的第四同义词集合;将所述其他第四同义词集合确定为所述第一同义词集合。第二方面,本专利技术实施例公开了一种信息处理装置,该装置包括用于执行上述第一方面所述的方法的单元。第三方面,本专利技术实施例公开了一种电子设备,该包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面所述的方法。第四方面,本专利技术实施例公开了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面所述的方法。通过实施本专利技术实施例,可以得到每个文本信息对应的第二同义词集合以及第一系数,基于该第一系数,可以得到该文本信息对应的第二同义词集合的TF-IDF值,由于该TF-IDF值考虑了文本信息中文本词之间存在的同义词关系,进一步的,基于该TF-IDF值,可以提高文本分类或信息检索的准确度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种信息处理方法的流程示意图;图2是本专利技术实施例提供的另一种信息处理方法的流程示意图;图3是本专利技术实施例提供的一种信息处理装置的结构示意图;图4是本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。本申请的技术方案的主要原理可以包括:通过获取文本信息中的每个文本词在该文本信息中的同义词,并根据该文本词和该文本词的同义词得到该文本词的第一同义词集合,进而基于该第一同义词集合,得到该文本信息对应的第二同义词集合,最后计算得到该第二同义词集合的TF-IDF值,由于该TF-IDF值考虑了文本信息中文本词之间存在的同义词关系,进一步的,基于该TF-IDF值,可以提高文本分类或信息检索的准确度。请参阅图1,图1是本专利技术实施例提供的一种信息处理方法的流程示意图。具体的,如图1所示,本专利技术实施例的信息处理方法可以包括但不限于如下步骤:S101、电子设备接收信息处理请求,该信息处理请求包括多个文本信息。具体的,电子设备可以在接收到信息处理请求的情况下,提取该信息处理请求包括的多个文本信息。在一种实现方式中,该信号处理请求可以是终端设备发送的,也可以是电子设备在检测到信息处理事件的情况下自动生成的。该信息处理事件可本文档来自技高网...

【技术保护点】
1.一种信息处理方法,其特征在于,包括:接收信息处理请求,所述信息处理请求包括多个文本信息,各个所述文本信息包括至少一个文本词;根据所述多个文本信息包括的文本词,得到关于所述文本词的第一同义词集合,所述第一同义词集合包括所述文本词以及所述文本词的至少一个同义词;针对各个所述文本信息,确定所述文本信息的第一系数,所述第一系数与包含所述文本信息中的文本词的第二同义词集合相对应,所述第一同义词集合包括所述第二同义词集合,所述第一系数用于建立所述第二同义词集合和所述文本信息之间的线性表示关系;根据所述文本信息的第一系数,得到所述第二同义词集合的词频‑逆文件频率。

【技术特征摘要】
1.一种信息处理方法,其特征在于,包括:接收信息处理请求,所述信息处理请求包括多个文本信息,各个所述文本信息包括至少一个文本词;根据所述多个文本信息包括的文本词,得到关于所述文本词的第一同义词集合,所述第一同义词集合包括所述文本词以及所述文本词的至少一个同义词;针对各个所述文本信息,确定所述文本信息的第一系数,所述第一系数与包含所述文本信息中的文本词的第二同义词集合相对应,所述第一同义词集合包括所述第二同义词集合,所述第一系数用于建立所述第二同义词集合和所述文本信息之间的线性表示关系;根据所述文本信息的第一系数,得到所述第二同义词集合的词频-逆文件频率。2.根据权利要求1所述的方法,其特征在于,所述信息处理请求还包括目标同义词集合的目标数量,所述根据所述文本信息的第一系数,得到所述第二同义词集合的词频-逆文件频率之后,所述方法还包括:从所述第二同义词集合中确定满足所述目标数量且词频-逆文件频率较大的目标同义词集合。3.根据权利要求1所述的方法,其特征在于,所述确定所述文本信息的第一系数,包括:获取所述文本信息中各个文本词的词频,所述文本词的词频用于建立所述文本词和所述文本信息之间的线性表示关系;获取包含各个所述文本词的第二同义词集合;针对各个所述第二同义词集合,根据所述第二同义词集合针对各个所述文本词的第二系数和所述文本词的词频,得到所述第二同义词集合的第一系数。4.根据权利要求3所述的方法,其特征在于,所述根据所述第二同义词集合针对各个所述文本词的第二系数和所述文本词的词频,得到所述第二同义词集合的第一系数之前,所述方法还包括:针对所述文本信息中的各个文本词,确定所述文本词的第一向量;根据所述文本词的第一向量,得到包含所述文本词的第三同义词集合的第二向量,所述第二同义词集合包括所述第三同义词集合;根据所述文本词的第一向量和所述第三同义词集合的第二向量,得到所述文本词和所述第三同义词集合之间的余弦相似度;根据所述余弦相似度,得到所述第三同义词集合针对所述文本词的第二系数。5.根据权利要求1~...

【专利技术属性】
技术研发人员:杜若覃勋辉向海侯聪刘科
申请(专利权)人:重庆邂智科技有限公司
类型:发明
国别省市:重庆,50

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1