基于中文链路的小语种NER优先集映射方法技术

技术编号:45745702 阅读:5 留言:0更新日期:2025-07-08 21:36
本申请涉及自然语言处理技术领域,尤其涉及一种基于中文链路的小语种NER优先集映射方法,包括获取输入的小语种文本并对小语种文本进行语种识别;基于语种识别结果对小语种文本进行翻译得到中文文本,对中文文本进行语义解析;基于语义解析结果判断直接通过对话服务输出对话结果或者调用模型进行映射匹配;若是调用模型进行映射匹配,保存映射结果并基于映射结果生成自然语言,通过对话服务输出对话结果。本申请能够在支持多语种NER解析的同时,显著降低开发成本,提高NER结果的准确性和稳定性。

【技术实现步骤摘要】

本申请涉及自然语言处理,尤其涉及一种基于中文链路的小语种ner优先集映射方法。


技术介绍

1、命名实体识别(ner)技术是自然语言处理领域的重要分支,主要用于从文本中自动提取出具有特定意义的实体,如人名、地名、机构名称等,并将其归类到预定义的类别中。近年来,随着信息处理需求的不断增加和数据量的激增,ner技术在搜索引擎、智能问答、机器翻译等应用中发挥着越来越关键的作用。值得注意的是,国内针对中文的ner技术经过多年发展已趋成熟,相关算法和数据资源均相对完善,已能满足大部分中文场景下的应用需求。

2、对于小语种文本的ner解析,国内也存在小语种全链路方案,该方案可以绕过翻译环节,直接对原始小语种文本进行ner解析,获得对应语种的结果,无需依赖中文解析后的映射匹配。但该方案存在两个明显缺陷:一是全链路直接解析ner的方法通常仅适用于当前单一的小语种,对于需要支持多语种的应用场景,必须为每种语言单独开发全链路系统,这不仅增加了系统开发的复杂度,也显著提高了研发成本。另一个是由于国内成熟的技术方案主要集中在中文全链路上,小语种的语料、词汇及相关poi数本文档来自技高网...

【技术保护点】

1.一种基于中文链路的小语种NER优先集映射方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于中文链路的小语种NER优先集映射方法,其特征在于,所述获取输入的小语种文本并对所述小语种文本进行语种识别包括:

3.根据权利要求1所述的基于中文链路的小语种NER优先集映射方法,其特征在于,所述基于语种识别结果对所述小语种文本进行翻译得到中文文本,对所述中文文本进行语义解析包括:

4.根据权利要求1所述的基于中文链路的小语种NER优先集映射方法,其特征在于,所述基于语义解析结果判断直接通过对话服务输出对话结果或者调用模型进行映射匹配包括:

<...

【技术特征摘要】

1.一种基于中文链路的小语种ner优先集映射方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于中文链路的小语种ner优先集映射方法,其特征在于,所述获取输入的小语种文本并对所述小语种文本进行语种识别包括:

3.根据权利要求1所述的基于中文链路的小语种ner优先集映射方法,其特征在于,所述基于语种识别结果对所述小语种文本进行翻译得到中文文本,对所述中文文本进行语义解析包括:

4.根据权利要求1所述的基于中文链路的小语种ner优先集映射方法,其特征在于,所述基于语义解析结果判断直接通过对话服务输出对话结果或者调用模型进行映射匹配包括:

5.根据权利要求4所述的基于中文链路的小语种ner优先集映射方法,其特征在于,所述如果语义解析结果中包含ner数据,则判断ner数据对应的slot是否需要映射包括:

6.根据权利要求5所...

【专利技术属性】
技术研发人员:陈嘉洋徐华龚建明俞瑞隆曾江劲
申请(专利权)人:思必驰科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1