System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 自然语言处理模型的构建方法、系统和电子设备技术方案_技高网

自然语言处理模型的构建方法、系统和电子设备技术方案

技术编号:41242858 阅读:2 留言:0更新日期:2024-05-09 23:54
本发明专利技术提供了一种自然语言处理模型的构建方法、系统和电子设备,包括:获取用户输入的文字处理规则;文字处理规则中包括至少一个表达式;表达式由多个算子组成;根据表达式的输入位置确定各表达式的表达式类别;根据表达式类别和表达式中的算子,确定各表达式对应的执行逻辑,根据预先设置的执行顺序对各表达式对应的执行逻辑进行排序得到自然语言处理模型的执行逻辑,完成自然语言处理模型的构建。该方式中,通过对每个表达式输入位置设置对应的执行逻辑,根据不同执行逻辑的表达式,生成自然语言处理模型的方法,从而降低自然语言处理模型的生成时间。

【技术实现步骤摘要】

本专利技术涉及自然语言处理,尤其是涉及一种自然语言处理模型的构建方法、系统和电子设备


技术介绍

1、自然语言是指通过自然进化产生的人类之间用于交流的语言。自然语言处理是计算机科学、人工智能和语言学关注计算机和人类语言(自然语言)之间的相互作用的领域。自然语言处理是一种使用人类语言与计算机进行通信的重要技术。

2、现有的自然语言处理模型为基于深度学习算法构建的自然语言处理模型。基于深度学习算法的自然语言处理模型需要大量的语料作为训练数据对深度学习模型进行训练,而深度学习模型需要大量人工标注的训练语料且对于模型的训练需要花费大量的时间,导致生成一个自然语言处理模型的时间较长且成本较高。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种自然语言处理模型的构建方法、系统和电子设备,可以降低自然语言处理模型的生成时间,节约模型生成成本。

2、第一方面,本专利技术实施例提供了一种自然语言处理模型的构建方法,包括:获取用户输入的文字处理规则;文字处理规则中包括至少一个表达式;表达式由多个算子组成;根据表达式的输入位置确定各表达式的表达式类别;根据表达式类别和表达式中的算子,确定各表达式对应的执行逻辑,根据预先设置的执行顺序对各表达式对应的执行逻辑进行排序得到自然语言处理模型的执行逻辑,完成自然语言处理模型的构建。

3、进一步的,获取用户输入的文字处理规则的步骤之前,方法还包括:获取用户输入的自定义表达式类别和自定义表达式类别对应的表达式逻辑;自定义表达式类别包括以下一种或多种:抽取表达式、包含表达式、排除表达式、最近集合表达式、权重表达式和优先级表达式;将自定义表达式类别与预定输入位置一一对应,将自定义表达式类别和预定输入位置之间的对应关系,保存为位置-表达式类别对应关系,以基于位置-表达式类别对应关系确定输入的各表达式的表达式类别。

4、进一步的,获取用户输入的文字处理规则的步骤之前,方法还包括:获取用户输入的自定义算子和自定义算子对应的算子逻辑;自定义算子包括开头字符算子、结尾字符算子、包含算子和被包含算子;将自定义算子和自定义算子对应的算子逻辑保存至算子数据库中;算子数据库中的默认算子显示在交互窗口中。

5、进一步的,根据预先设置的位置-表达式类别对应关系,确定表达式的表达式类别的步骤,包括:获取表达式对应的输入位置;将输入位置与预先设置的位置-表达式类别对应关系中的预定输入位置进行对比,确定与输入位置相同的预定输入位置对应的自定义表达式类别为表达式对应的表达式类别。

6、进一步的,根据表达式类别和表达式对应的每个算子确定表达式对应的执行逻辑的步骤,包括:根据表达式类别确定表达式的对应的表达式逻辑;将表达式中的每个算子与算子数据库中的默认算子进行对比,确定表达式中的每个算子对应的算子逻辑;根据算子逻辑和预先设定好的正则表达式转换规则,将表达式转换为正则表达式;根据表达式逻辑和算子逻辑,确定正则表达式对应的执行逻辑。

7、进一步的,根据预先设置的执行顺序对各表达式对应的执行逻辑进行排序得到自然语言处理模型的执行逻辑,完成自然语言处理模型的构建的步骤,包括:获取执行逻辑;根据预先设置的执行顺序和执行逻辑对每个表达式对应的正则表达式进行排序,得到符合执行顺序的正则表达式集;确定正则表达式集为自然语言处理模型。

8、进一步的,文字处理规则中还包括节点标识符;完成自然语言处理模型的构建的步骤之后,方法还包括:s1:根据自然语言处理模型中的排名最高的正则表达式对应的执行逻辑对目标语料进行逻辑操作,得到初始文字信息;s2:判断自然语言处理模型中是否存在未执行的正则表达式;s3:如果存在,确定初始文字信息为更新后的目标语料,并重复步骤s1-s2;s4:如果不存在,确定初始文字信息为节点标识符对应的文字信息。

9、第二方面,本专利技术实施例提供了一种自然语言处理模型的构建系统,包括:输入信息获取模块,用于获取用户输入的文字处理规则;文字处理规则中包括至少一个表达式;表达式由多个算子组成;表达式类别确定模块,用于根据表达式的输入位置确定各表达式的表达式类别;自然语言处理模型确定模块,用于根据表达式类别和表达式中的算子,确定各表达式对应的执行逻辑,根据预先设置的执行顺序对各表达式对应的执行逻辑进行排序得到自然语言处理模型的执行逻辑,完成自然语言处理模型的构建。

10、第三方面,本专利技术实施例提供了电子设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的方法。

11、第四方面,本专利技术实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,所述程序代码使所述处理器执行如上所述的方法。

12、本专利技术实施例提供了一种自然语言处理模型的构建方法、系统和电子设备,包括:获取用户输入的文字处理规则;文字处理规则中包括至少一个表达式;表达式由多个算子组成;根据表达式的输入位置确定各表达式的表达式类别;根据表达式类别和表达式中的算子,确定各表达式对应的执行逻辑,根据预先设置的执行顺序对各表达式对应的执行逻辑进行排序得到自然语言处理模型的执行逻辑,完成自然语言处理模型的构建。该方式中,通过对每个表达式输入位置设置对应的执行逻辑,根据不同执行逻辑的表达式,生成自然语言处理模型的方法,降低自然语言处理模型的生成时间,降低生成自然语言处理模型的时间,大大减少人工标注语料的数量,从而降低模型生成成本。同时,可以提高自然语言处理模型的分析速度,并且可以降低对算力和计算机性能的要求。

13、本专利技术的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

14、为使本专利技术的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

本文档来自技高网...

【技术保护点】

1.一种自然语言处理模型的构建方法,其特征在于,包括:

2.根据权利要求1所述的自然语言处理模型的构建方法,其特征在于,所述获取用户输入的文字处理规则的步骤之前,所述方法还包括:

3.根据权利要求2所述的自然语言处理模型的构建方法,其特征在于,所述获取用户输入的文字处理规则的步骤之前,所述方法还包括:

4.根据权利要求3所述的自然语言处理模型的构建方法,其特征在于,所述根据表达式的输入位置确定所述各表达式的表达式类别的步骤,包括:

5.根据权利要求3所述的自然语言处理模型的构建方法,其特征在于,所述根据所述表达式类别和所述表达式对应的每个所述算子确定所述表达式对应的执行逻辑的步骤,包括:

6.根据权利要求5所述的自然语言处理模型的构建方法,其特征在于,根据预先设置的执行顺序对所述各表达式对应的执行逻辑进行排序得到所述自然语言处理模型的执行逻辑,完成所述自然语言处理模型的构建的步骤,包括:

7.根据权利要求6所述的自然语言处理模型的构建方法,其特征在于,所述文字处理规则中还包括节点标识符;

8.一种自然语言处理模型的构建系统,其特征在于,包括:

9.一种电子设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的自然语言处理模型的构建方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令被处理器执行时实现如权利要求1-7任一项所述的自然语言处理模型的构建方法。

...

【技术特征摘要】

1.一种自然语言处理模型的构建方法,其特征在于,包括:

2.根据权利要求1所述的自然语言处理模型的构建方法,其特征在于,所述获取用户输入的文字处理规则的步骤之前,所述方法还包括:

3.根据权利要求2所述的自然语言处理模型的构建方法,其特征在于,所述获取用户输入的文字处理规则的步骤之前,所述方法还包括:

4.根据权利要求3所述的自然语言处理模型的构建方法,其特征在于,所述根据表达式的输入位置确定所述各表达式的表达式类别的步骤,包括:

5.根据权利要求3所述的自然语言处理模型的构建方法,其特征在于,所述根据所述表达式类别和所述表达式对应的每个所述算子确定所述表达式对应的执行逻辑的步骤,包括:

6.根据权利要求5所述的自然语言处理模型的构建方法,其特征在...

【专利技术属性】
技术研发人员:任宁吴相博李健铨胡加明
申请(专利权)人:鼎富智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1