【技术实现步骤摘要】
文本信息的类型识别方法及装置
本专利技术涉及计算机领域,具体而言,涉及一种文本信息的类型识别方法及装置。
技术介绍
现有的恶意标题识别的技术方案大多通过单一的匹配方式对恶意标题进行定向打击,该方法具有准确率低的缺点,同时召回率较高,整体系统表现效果难以令用户满意,无法达到应用上辅助人工进行文本审核的效果。针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种文本信息的类型识别方法及装置,以至少解决对文本信息进行类型识别的识别效率较低的技术问题。根据本专利技术实施例的一个方面,提供了一种文本信息的类型识别方法,包括:将获取到的第一文本信息输入文本类型识别模型,其中,所述文本类型识别模型包括依次串联的多个子模型,所述多个子模型中的每个子模型用于识别输入所述每个子模型的文本信息是否属于所述每个子模型所对应的文本类型;获取所述文本类型识别模型输出的第一识别结果,其中,所述第一识别结果用于指示所述多个子模型中的第一子模型确定所述第一文本信息属于所述第一子模型所 ...
【技术保护点】
1.一种文本信息的类型识别方法,其特征在于,包括:/n将获取到的第一文本信息输入文本类型识别模型,其中,所述文本类型识别模型包括依次串联的多个子模型,所述多个子模型中的每个子模型用于识别输入所述每个子模型的文本信息是否属于所述每个子模型所对应的文本类型;/n获取所述文本类型识别模型输出的第一识别结果,其中,所述第一识别结果用于指示所述多个子模型中的第一子模型确定所述第一文本信息属于所述第一子模型所对应的目标文本类型。/n
【技术特征摘要】 【专利技术属性】
1.一种文本信息的类型识别方法,其特征在于,包括:
将获取到的第一文本信息输入文本类型识别模型,其中,所述文本类型识别模型包括依次串联的多个子模型,所述多个子模型中的每个子模型用于识别输入所述每个子模型的文本信息是否属于所述每个子模型所对应的文本类型;
获取所述文本类型识别模型输出的第一识别结果,其中,所述第一识别结果用于指示所述多个子模型中的第一子模型确定所述第一文本信息属于所述第一子模型所对应的目标文本类型。
2.根据权利要求1所述的方法,其特征在于,在所述第一子模型包括短文本分类模型的情况下,
将获取到的第一文本信息输入文本类型识别模型,包括:将所述第一文本信息输入所述短文本分类模型,其中,所述短文本分类模型包括依次串联的多个第一编码器和第一激励函数层,所述多个第一编码器中的每个第一编码器包括自注意力层和前馈神经网络层;
获取所述文本类型识别模型输出的所述第一识别结果,包括:获取所述第一激励函数层输出的所述第一识别结果。
3.根据权利要求2所述的方法,其特征在于,在将所述第一文本信息输入所述短文本分类模型之前,所述方法还包括:
使用第一分类训练数据对依次串联的多个第二编码器进行训练,得到依次串联的多个第三编码器,其中,初始短文本分类模型包括依次串联的所述多个第二编码器和第二激励函数层;
使用所述第一分类训练数据对依次串联的所述多个第三编码器和所述第二激励函数层进行训练,得到所述短文本分类模型。
4.根据权利要求1所述的方法,其特征在于,在所述第一子模型包括敏感词检测模型的情况下,
将获取到的第一文本信息输入文本类型识别模型,包括:将所述第一文本信息输入所述敏感词检测模型,其中,所述敏感词检测模型用于使用敏感词词典中包括的敏感词与所述第一文本信息进行匹配;
获取所述文本类型识别模型输出的第一识别结果,包括:在使用所述敏感词词典中包括的第一敏感词与所述第一文本信息匹配成功的情况下,确定所述第一敏感词所对应的文本类型为所述第一文本信息所属于的所述目标文本类型。
5.根据权利要求4所述的方法,其特征在于,在确定所述第一敏感词所对应的文本类型为所述第一文本信息所属于的所述目标文本类型之后,所述方法还包括:
从所述第一文本信息中删除与所述第一敏感词对应的文本内容,得到敏感词模板;
将所述敏感词模板与获取到的文本信息集合进行匹配;
从所述文本信息集合中获取与所述敏感词模板匹配成功的第二文本信息;
从所述第二文本信息中提取第二敏感词;
将所述第二敏感词添加到所述敏感词词典中。
6.根据权利要求1所述的方法,其特征在于,所述第一文本信息包括多个文本信息,其中,在获取所述文本类型识别模型输出的第一识别结果之后,所述方法还包括:
在确定所述多个文本信息中的目标文本信息不属于所述目标文本类型的情况下,将标注了不属于所述目标文本类型的所述目标文本信息添加到第二分类训练数据中,得到第三分类训练数据,其中,所述第二分类训练数据用于对初始子模型进行训练得到所述第一子模型;
使用所述第三分类训练数据对所述第一子模型进行训练,得到第二子模型;
将所述文本类型识别模型所包括的所述第一子模型替换为所述第二子模型。
7.根据权利要求6所述的方法,其特征在于,在将标注了不属于所述目标文本类型的所述目标文本信息添加到第二分类训练数据中,得到第三分类训练数据之前,所述方法还包括:
显示具有对应关系的所述多个文本信息和所述多个文本信息中的每个文本信息所对应的目标文本类型;
将所述多个文本信息中被执行了选择操作的文本信息确定为所述目标文本信息;
确定所述目标文本信息不属于所述目标文本类型。
技术研发人员:郝彦超,康斌,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。