【技术实现步骤摘要】
本申请涉及自然语言处理，尤其涉及一种应用于中日文本的语种识别方法及相关设备。
技术介绍
1、语种识别技术在自然语言处理领域中有着至关重要的作用，机器翻译、多语言检索等任务都需要语种识别技术的支持。语种识别技术主要依赖于文本特征分析和机器学习技术，在文本特征分析方面，主要使用的方法包括字符频率分布、停用词分析、语言模型等；在机器学习方面，常用的方法包括朴素贝叶斯算法、支持向量机、神经网络等。目前语种识别技术已经相对成熟，但仍存在一些难点，如短文本的语种识别问题、混合文本的识别问题、口语与方言的识别、英法等其他语种的干扰等。
2、目前大多语种识别方法都是基于待识别文本与语种模型的字符相似性进行计算，获取与待识别文本相似性最高的语种模型作为待识别文本的语种识别结果。
3、然而，申请人发现，目前中日文本语种识别分类技术仍存在一些挑战，如中日文本的相似性较高，导致短文本识别难度较大；各语种字词的混杂导致识别难度增加等，由此可见，传统的语种识别分类方法仍存在识别准确性较低的问题。
技术实现思路
1、本申请实施例的目的在于提出一种应用于中日文本的语种识别方法、装置、计算机设备及存储介质，以解决传统的语种识别分类方法存在识别准确性较低的问题。
2、为了解决上述技术问题，本申请实施例提供一种应用于中日文本的语种识别方法，采用了如下所述的技术方案：
3、获取用户终端发送的待识别文本；
4、对所述待识别文本进行预处理操作，得到预处理文本；>
5、判断所述预处理文本是否属于中日文本字符；
6、若所述预处理文本属于中日文本字符，则根据中日词配库以及语义分析模型对所述预处理文本进行语种判别处理，得到语种判别结果；
7、若所述预处理文本不属于中日文本字符或者所述语种判别结果为无识别结果，则对所述预处理文本进行字符层次分类处理，得到目标识别结果；
8、若所述语种判别结果为有识别结果，则将所述语种判别结果作为所述目标识别结果。
9、进一步的，所述对所述待识别文本进行预处理操作，得到预处理文本的步骤，具体包括下述步骤：
10、根据颜文字去除规则对所述待识别文本进行颜文字去除处理，得到预处理中间文本；
11、根据超长英数字符去除规则对所述预处理中间文本进行超长英数字符去除处理，得到所述预处理文本。
12、进一步的，所述判断所述预处理文本是否属于中日文本字符的步骤，具体包括下述步骤：
13、调用中日词配库，本根据所述中日词配库对所述预处理文本进行匹配操作，得到词配组合集，其中，所述词配组合集记录每对词配组合所属词典语种、词频重要度、出现位置；
14、根据句法依存分析算法对所述词配组合集进行语义分析操作，得到强词配组合集；
15、根据所述强词配组合集计算所述预处理文本的词配契合度；
16、根据词配契合度最高的语种判断所述预处理文本是否属于中日文本字符。
17、进一步的，所述根据所述强词配组合集计算所述预处理文本的词配契合度的步骤，具体包括下述步骤：
18、基于所述强词配组合集依次匹配所述预处理文本各词配所属语种及词配重要度；
19、并对所述预处理文本中语种相同且属于5字节范围内的词配组合进行词配信息标注操作，得到词配标注结果；
20、分别计算所述词配标注结果中各个语种类别的词配重要度加和平均值；
21、将数值最高的词配重要度加和平均值作为所述预处理文本的词配契合度。
22、进一步的，所述若所述预处理文本不属于中日文本字符或者所述语种判别结果为无识别结果，则对所述预处理文本进行字符层次分类处理，得到目标识别结果的步骤，具体包括下述步骤：
23、对所述预处理文本进行派系分类处理，得到所属语种派系类别；
24、获取与所述所属语种派系类别相对应的派系分类模型，并基于所述派系分类模型对所述预处理文本进行语种分类处理，得到所述目标识别结果。
25、为了解决上述技术问题，本申请实施例还提供一种应用于中日文本的语种识别装置，采用了如下所述的技术方案：
26、文本获取模块，用于获取用户终端发送的待识别文本；
27、预处理模块，用于对所述待识别文本进行预处理操作，得到预处理文本；
28、字符判断模块，用于判断所述预处理文本是否属于中日文本字符；
29、语种判别模块，用于若所述预处理文本属于中日文本字符，则根据中日词配库以及语义分析模型对所述预处理文本进行语种判别处理，得到语种判别结果；
30、字符层次分类模块，用于若所述预处理文本不属于中日文本字符或者所述语种判别结果为无识别结果，则对所述预处理文本进行字符层次分类处理，得到目标识别结果；
31、识别结果确认模块，用于若所述语种判别结果为有识别结果，则将所述语种判别结果作为所述目标识别结果。
32、进一步的，所述预处理模块包括：
33、颜文字去除子模块，用于根据颜文字去除规则对所述待识别文本进行颜文字去除处理，得到预处理中间文本；
34、超长英数字符去除子模块，用于根据超长英数字符去除规则对所述预处理中间文本进行超长英数字符去除处理，得到所述预处理文本。
35、进一步的，所述字符判断模块包括：
36、词配匹配子模块，用于调用中日词配库，本根据所述中日词配库对所述预处理文本进行匹配操作，得到词配组合集，其中，所述词配组合集记录每对词配组合所属词典语种、词频重要度、出现位置；
37、语义分析子模块，用于根据句法依存分析算法对所述词配组合集进行语义分析操作，得到强词配组合集；
38、契合度计算子模块，用于根据所述强词配组合集计算所述预处理文本的词配契合度；
39、字符判断子模块，用于根据词配契合度最高的语种判断所述预处理文本是否属于中日文本字符。
40、为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
41、包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的应用于中日文本的语种识别方法的步骤。
42、为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
43、所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的应用于中日文本的语种识别方法的步骤。
44、本申请提供了一种应用于中日文本的语种识别方法，包括：获取用户终端发送的待识别文本；对所述待识别文本进行预处理操作，得到预处理文本；判断所述预处理文本是否属于中日文本字符；若所述预处理文本属于中日文本字符，则根据中日词配库以及语义分析模型对所述预处理文本进行语种判别处理，得到语种判别结果；若本文档来自技高网...
【技术保护点】
1.一种应用于中日文本的语种识别方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的应用于中日文本的语种识别方法，其特征在于，所述对所述待识别文本进行预处理操作，得到预处理文本的步骤，具体包括下述步骤：
3.根据权利要求1所述的应用于中日文本的语种识别方法，其特征在于，所述判断所述预处理文本是否属于中日文本字符的步骤，具体包括下述步骤：
4.根据权利要求3所述的应用于中日文本的语种识别方法，其特征在于，所述根据所述强词配组合集计算所述预处理文本的词配契合度的步骤，具体包括下述步骤：
5.根据权利要求1所述的应用于中日文本的语种识别方法，其特征在于，所述若所述预处理文本不属于中日文本字符或者所述语种判别结果为无识别结果，则对所述预处理文本进行字符层次分类处理，得到目标识别结果的步骤，具体包括下述步骤：
6.一种应用于中日文本的语种识别装置，其特征在于，包括：
7.根据权利要求6所述的应用于中日文本的语种识别装置，其特征在于，所述预处理模块包括：
8.根据权利要求6所述的应用于中日文本的语种识别
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至5中任一项所述的应用于中日文本的语种识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的应用于中日文本的语种识别方法的步骤。
...【技术特征摘要】
1.一种应用于中日文本的语种识别方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的应用于中日文本的语种识别方法，其特征在于，所述对所述待识别文本进行预处理操作，得到预处理文本的步骤，具体包括下述步骤：
3.根据权利要求1所述的应用于中日文本的语种识别方法，其特征在于，所述判断所述预处理文本是否属于中日文本字符的步骤，具体包括下述步骤：
4.根据权利要求3所述的应用于中日文本的语种识别方法，其特征在于，所述根据所述强词配组合集计算所述预处理文本的词配契合度的步骤，具体包括下述步骤：
5.根据权利要求1所述的应用于中日文本的语种识别方法，其特征在于，所述若所述预处理文本不属于中日文本字符或者所述语种判别结果为无识别结果，则对所述预处理文本进行字符层次分类处理，得...
【专利技术属性】
技术研发人员：焦梦姝，曾锐，杜蕾，
申请(专利权)人：湖南蚁坊软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。