【技术实现步骤摘要】
计算词的TF-IDF值的方法、装置、设备及存储介质
本申请涉及数据处理
，特别是涉及一种计算词的TF-IDF值的方法、装置、设备及存储介质。
技术介绍
智能问答，被重要应用于人工智能领域中，相较于传统的客服系统而言，具有高效率、低成本等诸多优势。目前，越来越多的企业，使用智能问答系统为用户提供对话服务。智能问答系统在与用户进行智能对话时，通常需要针对于用户提出的问题，根据该问题中所包含的关键词在文本库中的词频-逆文本频率(termfrequency–inversedocumentfrequency，TF-IDF)值从文本库中确定出相应的答案。但是，随着智能问答系统的文本库的不断增加，计算关键词的TF-IDF值所需的计算量也随之增加，从而使得智能问答系统在根据关键词的TF-IDF值确定答案的过程中，需要消耗较大的计算资源。
技术实现思路
本申请实施例提供了一种计算词的TF-IDF值的方法、装置、设备及存储介质，以减少计算词的TF-IDF值所需的计算量。第一方面，本申请实施例提供了一种计...
【技术保护点】
1.一种计算词的TF-IDF值的方法，其特征在于，所述方法包括：/n根据第一目标词遍历树形数据结构的根节点下的子节点，确定出第一目标子节点，所述第一目标子节点所指示的分词为所述第一目标词；/n获取所述第一目标子节点对应的第一目标集合，所述第一目标集合包括第一文本标识以及所述第一目标词在所述第一文本标识对应的文本中的第一词频TF值，不同的第一文本标识所对应的文本互不相同；/n根据所述第一目标集合中所包括的第一文本标识的数量以及所述根节点所指示的文本总数，确定出所述第一目标词的第一逆文本频率IDF值；/n根据所述第一TF值以及所述第一IDF值，计算出所述第一目标词对应的TF-IDF值。/n
【技术特征摘要】
1.一种计算词的TF-IDF值的方法，其特征在于，所述方法包括：
根据第一目标词遍历树形数据结构的根节点下的子节点，确定出第一目标子节点，所述第一目标子节点所指示的分词为所述第一目标词；
获取所述第一目标子节点对应的第一目标集合，所述第一目标集合包括第一文本标识以及所述第一目标词在所述第一文本标识对应的文本中的第一词频TF值，不同的第一文本标识所对应的文本互不相同；
根据所述第一目标集合中所包括的第一文本标识的数量以及所述根节点所指示的文本总数，确定出所述第一目标词的第一逆文本频率IDF值；
根据所述第一TF值以及所述第一IDF值，计算出所述第一目标词对应的TF-IDF值。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据第二目标词遍历所述第一目标子节点下的虚拟子节点，确定出第一虚拟子节点，所述第一虚拟子节点的指针指向所述根节点下的第二目标子节点，所述第二目标子节点所指示的分词为所述第二目标词，所述第二目标词与所述第一目标词在同一文本中连续；
获取所述第二目标子节点对应的第二目标集合，所述第二目标集合包括第二文本标识以及所述第二目标词在所述第二文本标识对应的文本中的第二TF值，不同的第二文本标识所对应的文本互不相同；
根据所述第二目标集合中所包括的第二文本标识的数量以及所述根节点所指示的文本总数，确定出所述第二目标词的第二IDF值；
根据所述第二TF值以及所述第二IDF值，计算出所述第二目标词对应的TF-IDF值。
3.根据权利要求2所述的方法，其特征在于，所述第一目标词与所述第二目标词为分词集合中的分词，所述分词集合是通过对问题文本进行分词处理而得到，所述方法还包括：
确定每个所述第一文本标识对应的文本的关键词集合以及每个第二文本标识对应的文本的关键词集合，所述关键词集合中的每个关键词所对应的TF-IDF值均不低于所述文本中其它分词对应的TF-IDF值，所述关键词集合包括所述第一目标词和/或所述第二目标词；
将目标关键词集合所对应的文本确定为所述问题文本对应的答案文本，所述目标关键词集合与所述分词集合之间的相似度高于其它关键词集合与所述分词集合之间的相似度。
4.根据权利要求3所述的方法，其特征在于，所述关键词集合中所包括的关键词数量不超过所述分词集合中所包括的分词数量。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将待处理文本进行分词，得到所述待处理文本的分词集合，所述分词集合至少包括第一分词，所述待处理文本为文本库中的任一文本或待添加至所述文本库中的新增文本；
当所述树形数据结构的根节点下的子节点所指示的分词中不包括所述第一分词时，在所述树形数据结构的根节点下创建第一子节点以及所述第一子节点对...
【专利技术属性】
技术研发人员：陈建华，崔朝辉，赵立军，张霞，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。