基于AI训练的词汇过滤方法及系统技术方案

本发明专利技术是关于基于AI训练的词汇过滤方法及系统，对于第一待处理文本会话事件与第二待处理文本会话事件一致的前提下，能按照不同层面的词汇统计情况建立具有高相关性的AI过滤策略。而对于第一待处理文本会话事件与第二待处理文本会话事件不同的前提而言，能将第一待处理文本会话事件中不同层面的词汇统计情况作为参考，得到针对第二待处理文本会话事件的词汇过滤规则。如此，不用对第二待处理文本会话事件中的词汇进行额外的分析就能够得到针对第二待处理文本会话事件的词汇过滤规则，从而提高词汇过滤分析的效率，减少不必要的运算资源开销。通过AI过滤策略，能够实现对噪声词汇的过滤，从而确保所得词汇具有较高的大数据挖掘分析价值。挖掘分析价值。挖掘分析价值。

【技术实现步骤摘要】
基于AI训练的词汇过滤方法及系统


[0001]本专利技术涉及AI和词汇过滤
，具体而言，涉及一种基于AI训练的词汇过滤方法及系统。

技术介绍

[0002]人工智能（Artificial Intelligence，AI）是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大。在实际应用时，AI与语言识别和自然语言处理的结合越来越多，在一些应用环境下，需要对文本词汇进行噪声过滤以提高文本词汇的后续大数据挖掘分析价值，然而相关技术难以通过构建有效的词汇过滤策略来解决这一问题。

技术实现思路

[0003]第一方面，本专利技术实施例提供了一种基于AI训练的词汇过滤方法，包括：依据对第一待处理文本会话事件提取的会话段落集，确定所述会话段落集中热点词汇的使用分布情况；通过所述会话段落集中热点词汇的使用分布情况，确定在设定统计阶段内添加到所述第一待处理文本会话事件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AI训练的词汇过滤方法，其特征在于，应用于词汇过滤系统，所述方法包括：依据对第一待处理文本会话事件提取的会话段落集，确定所述会话段落集中热点词汇的使用分布情况；通过所述会话段落集中热点词汇的使用分布情况，确定在设定统计阶段内添加到所述第一待处理文本会话事件的第一热频词汇总结果和与所述第一待处理文本会话事件存在上下游关系的第二热频词汇总结果；通过所述第一热频词汇总结果和所述第二热频词汇总结果，建立针对第二待处理文本会话事件下待分析语句的AI过滤策略；其中，所述第二待处理文本会话事件为以下至少一项：与所述第一待处理文本会话事件一致；与所述第一待处理文本会话事件存在绑定关系的衍生文本会话事件。2.如权利要求1所述的基于AI训练的词汇过滤方法，其特征在于，所述第一待处理文本会话事件包括设定会话场景内的第一交互主题，所述通过所述第一热频词汇总结果和所述第二热频词汇总结果，建立针对第二待处理文本会话事件下待分析语句的AI过滤策略，包括：通过所述第一热频词汇总结果和所述第二热频词汇总结果，确定所述第一交互主题在所述设定统计阶段内的访问统计结果；通过所述第一交互主题在所述设定统计阶段内的访问统计结果，建立针对所述第二待处理文本会话事件下待分析语句的AI过滤策略。3.如权利要求2所述的基于AI训练的词汇过滤方法，其特征在于，所述第一交互主题包括两个或多于两个，所述通过所述第一交互主题在所述设定统计阶段内的访问统计结果，建立针对第二待处理文本会话事件下待分析语句的AI过滤策略，包括：通过所述第一交互主题中每个交互主题在相同汇总计划下匹配的访问统计结果，以及所述每个交互主题在所述相同汇总计划下需要进行词汇过滤分析的语句，建立针对所述第二待处理文本会话事件下待分析语句的AI过滤策略；其中，所述通过所述第一交互主题中每个交互主题在相同汇总计划下匹配的访问统计结果，以及所述每个交互主题在所述相同汇总计划下需要进行词汇过滤分析的语句，建立针对所述第二待处理文本会话事件下待分析语句的AI过滤策略，包括：通过所述每个交互主题在相同汇总计划下匹配的访问统计结果，从所述第一交互主题中确定第一目标交互主题和第二目标交互主题，所述第一目标交互主题为所述第一交互主题中最小访问统计结果匹配的交互主题，所述第二目标交互主题为所述第一交互主题中最大访问统计结果匹配的交互主题；将所述第一目标交互主题作为所述第二待处理文本会话事件，通过所述第二目标交互主题内需要进行词汇过滤分析的语句，建立针对所述第二待处理文本会话事件下待分析语句的分治化过滤策略。4.如权利要求2所述的基于AI训练的词汇过滤方法，其特征在于，所述第一交互主题为一个，所述通过所述第一交互主题在所述设定统计阶段内的访问统计结果，建立针对第二待处理文本会话事件下待分析语句的AI过滤策略，包括：通过所述第一交互主题在不同汇总计划下分别匹配的访问统计结果，以及所述第一交互主题在不同汇总计划下分别需要进行词汇过滤分析的语句，建立针对所述第二待处理文本会话事件下待分析语句的AI过滤策略。5.如权利要求4所述的基于AI训练的词汇过滤方法，其特征在于，所述通过所述第一交
互主题在不同汇总计划下分别匹配的访问统计结果，以及所述第一交互主题在不同汇总计划下分别需要进行词汇过滤分析的语句，建立针对所述第二待处理文本会话事件下待分析语句的AI过滤策略，包括：在所述第一交互主题在不同汇总计划集内分别需要进行词汇过滤分析的语句一致的前提下，通过所述第一交互主题在不同汇总计划下分别匹配的访问统计结果，确定所述第一交互主题需要进行词汇过滤分析的语句匹配的目标词汇过滤条件；所述目标词汇过滤条件匹配的访问统计结果不小于设定访问统计结果判定值；通过所述目标词汇过滤条件，建立在所述目标词汇过滤条件针对所述第二待处理文本会话事件下待分析语句的AI过滤策略。6.如权利要求4所述的基于AI训练的词汇过滤方法，其特征在于，所述通过所述第一交互主题在不同汇总计划下分别匹配的访问统计结果，以及所述第一交互主题在不同汇总计划下分别需要进行词汇过滤分析的语句，建立针对所述第二待处理文本会话事件下待分析语句的AI过滤策略，包括：在所述第一交互主题...

【专利技术属性】
技术研发人员：陈芳芳，
申请(专利权)人：杭银消费金融股份有限公司，
类型：发明
国别省市：