System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 文本识别方法、装置、电子设备、介质及程序制造方法及图纸_技高网

文本识别方法、装置、电子设备、介质及程序制造方法及图纸

技术编号:41131984 阅读:2 留言:0更新日期:2024-04-30 18:01
本申请公开了一种文本识别方法、装置、电子设备、介质及程序,属于文本识别领域。获取第一文本的词序列和拼音序列;通过文本识别模型中的特征处理网络对词序列和拼音序列进行特征处理,得到包含词信息的第一拼音特征向量;通过文本识别模型中的第一预测子模型和第一拼音特征向量,识别所述第一文本中的变体词。

【技术实现步骤摘要】

本申请属于文本识别领域,具体涉及一种文本识别方法、装置、电子设备、介质及程序


技术介绍

1、随着各种社交媒体平台逐渐走向成熟,信息传播的门槛逐渐降低,用户可以便捷的在网络上传播信息。在用户规模不断增长的同时,内容乱象也日渐凸显。这些有害内容不仅影响了用户体验,还给平台带来极大的法律风险,给网络环境造成了极坏的影响。因此,为了维护网络环境通常需要对网络上的内容进行审核,以从海量信息里甄别、过滤有害内容。

2、一些为了避免审查,往往将相对严肃、规范、敏感的词用相对不规范、不敏感的词来代替,用来代替原来词的新词叫做变体词(morph)。变体词是网络语言作为一种不规范语言的显著特色,由于变体词通常是某种隐喻,已不再是其表面字词的意义了,因此没有明显的语义特征,通过传统的分类的方法难以将其识别出来。

3、目前,识别变体词的方式主要是基于规则的文本审核,但是此种审核方式属于后置处理的方式,需要内容审核人员先发现变体词,再基于变体词构造相关的词表或正则表达式,基于词表或者正则表达式进行变体词识别,因此难以发现一些词表或者规则之外的变体词,无法提前识别、拦截新的变体词。


技术实现思路

1、本申请实施例的目的是提供一种文本识别方法、装置、电子设备、介质及程序,能够解决无法提前识别、拦截新的变体词的问题。

2、第一方面,本申请实施例提供了一种文本识别方法,包括:

3、获取第一文本的词序列和拼音序列;

4、通过文本识别模型中的特征处理网络对词序列和拼音序列进行特征处理,得到包含词信息的第一拼音特征向量;

5、通过文本识别模型中的第一预测子模型和第一拼音特征向量,识别第一文本中的变体词。

6、第二方面,本申请实施例提供了一种文本识别装置,包括:

7、序列获取模块,用于获取第一文本的词序列和拼音序列;

8、特征处理模块,还用于通过文本识别模型中的特征处理网络对词序列和拼音序列进行特征处理,得到包含词信息的第一拼音特征向量;

9、变体词识别模块,用于通过文本识别模型中的第一预测子模型和第一拼音特征向量,识别第一文本中的变体词。

10、第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

11、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

12、第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

13、第六方面,本申请实施例提供一种计算机程序产品,该计算机程序产品被存储在存储介质中,该计算机程序产品被至少一个处理器执行以实现如第一方面所述的方法。

14、在本申请实施例中,获取第一文本的词序列和拼音序列,利用文本识别模型,将词序列的语义特征和拼音序列的拼音特征进行融合,基于融合的特征识别第一文本中的变体词。本申请实施例基于文本的语义特征和拼音特征对文本进行识别,能够准确地识别出文本中语义混乱的变体词,从而提前拦截新的变体词。

本文档来自技高网...

【技术保护点】

1.一种文本识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取所述第一文本的拼音序列,包括:

3.根据权利要求2所述的方法,其特征在于,通过文本识别模型中的特征处理网络对所述词序列和所述拼音序列进行特征处理,得到包含词信息的第一拼音特征向量,包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述第二拼音特征向量与所述词序列中的词进行融合,得到融合有词信息的第一拼音特征向量,包括:

5.根据权利要求3所述的方法,其特征在于,所述通过所述文本识别模型中的第一预测子模型和所述第一拼音特征向量,识别所述第一文本中的变体词之前,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述第一门控网络中包括第一线性层、第一激活层和第二线性层,所述通过所述特征处理网络中的第一门控网络对所述第一拼音特征向量进行处理,得到第三拼音特征向量,包括:

7.根据权利要求1所述的方法,其特征在于,所述获取第一文本的词序列和拼音序列之后,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,所述通过所述特征处理网络对所述词序列和所述拼音序列进行特征处理,得到融合有所述第一文本的语义特征和拼音特征的第一融合特征向量,包括:

9.根据权利要求8所述的方法,其特征在于,所述第二门控网络中包括注意力层、归一化层、第二激活层和第三线性层,所述通过所述特征处理网络中的第二门控网络对所述第一拼音特征向量和所述语义特征向量进行特征融合,得到第一融合特征向量,包括:

10.一种文本识别装置,其特征在于,包括:

11.根据权利要求10所述的装置,其特征在于,所述序列获取模块,用于:

12.根据权利要求11所述的装置,其特征在于,所述特征处理模块,包括:

13.根据权利要求12所述的装置,其特征在于,所述词信息融合子模块,用于:

14.根据权利要求10-13任一项所述的装置,其特征在于,所述装置还包括拼音特征过滤模块,用于:

15.根据权利要求14所述的装置,其特征在于,所述第一门控网络中包括第一线性层、第一激活层和第二线性层,所述拼音特征过滤模块,用于:

16.根据权利要求10所述的装置,其特征在于,所述特征处理模块,还用于通过所述特征处理网络对所述词序列和所述拼音序列进行特征处理,得到融合有所述第一文本的语义特征和拼音特征的第一融合特征向量;

17.根据权利要求16所述的装置,其特征在于,所述特征处理模块,包括:

18.根据权利要求17所述的装置,其特征在于,所述第二门控网络中包括注意力层、归一化层、第二激活层和第三线性层,所述特征融合子模块,用于:

19.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-9任一项所述的文本识别方法的步骤。

20.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-9任一项所述的文本识别方法的步骤。

21.一种计算机程序产品,其特征在于,所述计算机程序产品被存储在存储介质中,所述计算机程序产品被至少一个处理器执行以实现如权利要求1-9任一项所述的文本识别方法的步骤。

...

【技术特征摘要】

1.一种文本识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取所述第一文本的拼音序列,包括:

3.根据权利要求2所述的方法,其特征在于,通过文本识别模型中的特征处理网络对所述词序列和所述拼音序列进行特征处理,得到包含词信息的第一拼音特征向量,包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述第二拼音特征向量与所述词序列中的词进行融合,得到融合有词信息的第一拼音特征向量,包括:

5.根据权利要求3所述的方法,其特征在于,所述通过所述文本识别模型中的第一预测子模型和所述第一拼音特征向量,识别所述第一文本中的变体词之前,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述第一门控网络中包括第一线性层、第一激活层和第二线性层,所述通过所述特征处理网络中的第一门控网络对所述第一拼音特征向量进行处理,得到第三拼音特征向量,包括:

7.根据权利要求1所述的方法,其特征在于,所述获取第一文本的词序列和拼音序列之后,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,所述通过所述特征处理网络对所述词序列和所述拼音序列进行特征处理,得到融合有所述第一文本的语义特征和拼音特征的第一融合特征向量,包括:

9.根据权利要求8所述的方法,其特征在于,所述第二门控网络中包括注意力层、归一化层、第二激活层和第三线性层,所述通过所述特征处理网络中的第二门控网络对所述第一拼音特征向量和所述语义特征向量进行特征融合,得到第一融合特征向量,包括:

10.一种文本识别装置,其特征在于,包括:

11.根据权利要求...

【专利技术属性】
技术研发人员:张世奇张名驰
申请(专利权)人:维沃移动通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1