System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,尤其涉及一种模型训练方法及装置。
技术介绍
1、随着人工智能技术的飞速发展,对语句进行语句识别得到了广泛的应用,比如在智能客服与用户的对话过程中,对用户语句进行意图识别等,而在语句识别的过程中,需要通过能表征语句信息的语句特征来进行识别,语句特征能反应语句的整体情况,对语句进行大致描述,在此过程中,针对语句特征的生成逐渐成为越来越多研究者的关注点。
技术实现思路
1、第一方面,本申请实施例提供了一种模型训练方法,所述方法包括:
2、确定第一语句样本的虚词类型;
3、按照所述虚词类型对应的虚词变换方式对所述第一语句样本进行虚词变换,得到第二语句样本;
4、基于所述第二语句样本对待训练的语法识别模型进行模型训练,得到训练后的语法识别模型,以及基于所述第一语句样本和所述第二语句样本对待训练的语义识别模型进行模型训练,得到训练后的语义识别模型;
5、其中,所述训练后的语法识别模型用于对待处理语句进行语法识别得到语法类型,所述训练后的语义识别模型用于对所述待处理语句进行语义识别得到语义信息,以根据所述语法类型和所述语义信息进行融合得到的语句特征,对所述待处理语句进行语句识别。
6、可以看出,在本申请实施例中,通过第一语句样本的虚词类型确定虚词变换方式,并按照虚词变换方式对第一语句样本进行虚词变换,得到第二语句样本,借助第二语句样本对待训练的语法识别模型进行模型训练,得到训练后的语法识别模型,以及结合第一语句样本和
7、第二方面,本申请实施例提供了一种语句处理方法,所述方法包括:
8、获取待处理语句;
9、将所述待处理语句输入语法识别模型进行语法识别,得到所述待处理语句的语法类型,并生成所述语法类型的语法特征;所述语法类型基于所述待处理语句的实词特征和虚词特征确定;
10、将所述待处理语句输入语义识别模型进行语义识别,得到所述待处理语句的语义信息,并生成所述语义信息的语义特征;
11、对所述语法特征和所述语义特征进行特征融合,得到所述待处理语句的语句特征,以用于进行所述待处理语句的语句识别。
12、可以看出,在本申请实施例中,一方面,通过语法识别模型基于待处理语句进行语法识别,得到待处理语句的语法类型,在语法识别的过程中,基于待处理语句的实词特征和虚词特征确定语法类型,并生成语法类型的语法特征,另一方面,通过语义识别模型基于待处理语句进行语义识别,得到待处理语句的语义信息并生成语义信息的语义特征,在此基础上,对语法特征和语义特征进行特征融合得到待处理语句的语句特征,以用于进行待处理语句的语句识别,以此,通过结合语法特征和语义特征确定语句特征,提升语句特征的全面性和有效性,进而提升语句识别的准确性,同时,结合实词特征和虚词特征确定语法类型,提升语法类型的准确性。
13、第三方面,本申请实施例提供了一种模型训练装置,所述装置包括:
14、类型确定模块,用于确定第一语句样本的虚词类型;
15、虚词变换模块,用于按照所述虚词类型对应的虚词变换方式对所述第一语句样本进行虚词变换,得到第二语句样本;
16、模型训练模块,用于基于所述第二语句样本对待训练的语法识别模型进行模型训练,得到训练后的语法识别模型,以及基于所述第一语句样本和所述第二语句样本对待训练的语义识别模型进行模型训练,得到训练后的语义识别模型;
17、其中,所述训练后的语法识别模型用于对待处理语句进行语法识别得到语法类型,所述训练后的语义识别模型用于对所述待处理语句进行语义识别得到语义信息,以根据所述语法类型和所述语义信息进行融合得到的语句特征,对所述待处理语句进行语句识别。
18、第四方面,本申请实施例提供了一种语句处理装置,所述装置包括:
19、语句获取模块,用于获取待处理语句;
20、语法特征生成模块,用于将所述待处理语句输入语法识别模型进行语法识别,得到所述待处理语句的语法类型,并生成所述语法类型的语法特征;所述语法类型基于所述待处理语句的实词特征和虚词特征确定;
21、语义特征生成模块,用于将所述待处理语句输入语义识别模型进行语义识别,得到所述待处理语句的语义信息,并生成所述语义信息的语义特征;
22、特征融合模块,用于对所述语法特征和所述语义特征进行特征融合,得到所述待处理语句的语句特征,以用于进行所述待处理语句的语句识别。
23、第五方面,本申请实施例提供了一种计算机设备,包括:处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行第一方面所述的模型训练方法。
24、第六方面,本申请实施例提供了另一种计算机设备,包括:处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行第二方面所述的语句处理方法。
25、第七方面,本申请实施例提供了一种计算机可读存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如第一方面所述的模型训练方法。
26、第八方面,本申请实施例提供了另一种计算机可读存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如第二方面所述的语句处理方法。
本文档来自技高网...【技术保护点】
1.一种模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述按照所述虚词类型对应的虚词变换方式对所述第一语句样本进行虚词变换,得到第二语句样本,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于所述第二语句样本对待训练的语法识别模型进行模型训练,得到训练后的语法识别模型,包括:
4.根据权利要求3所述的方法,其特征在于,所述待训练的语法识别模型,采用如下方式进行语法识别:
5.根据权利要求4所述的方法,其特征在于,所述根据所述实词特征和所述虚词特征确定所述预测语法类型,包括:
6.根据权利要求1所述的方法,其特征在于,所述基于所述第一语句样本和所述第二语句样本对待训练的语义识别模型进行模型训练,得到训练后的语义识别模型,包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一语义信息、所述第二语义信息和所述第二语句样本对应的语义对比标签,计算损失值,包括:
8.一种语句处理方法,其特征在于,所述方法包括:
9.根据权利要求8所述的方
10.根据权利要求9所述的方法,其特征在于,所述对所述待处理语句进行特征提取处理,得到所述待处理语句的实词特征和虚词特征,包括:
11.一种模型训练装置,其特征在于,所述装置包括:
12.一种语句处理装置,其特征在于,所述装置包括:
13.一种计算机设备,其特征在于,所述设备包括:
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如权利要求1至7任一项所述的模型训练方法;或者实现如权利要求8至10任一项的语句处理方法。
...【技术特征摘要】
1.一种模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述按照所述虚词类型对应的虚词变换方式对所述第一语句样本进行虚词变换,得到第二语句样本,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于所述第二语句样本对待训练的语法识别模型进行模型训练,得到训练后的语法识别模型,包括:
4.根据权利要求3所述的方法,其特征在于,所述待训练的语法识别模型,采用如下方式进行语法识别:
5.根据权利要求4所述的方法,其特征在于,所述根据所述实词特征和所述虚词特征确定所述预测语法类型,包括:
6.根据权利要求1所述的方法,其特征在于,所述基于所述第一语句样本和所述第二语句样本对待训练的语义识别模型进行模型训练,得到训练后的语义识别模型,包括:
7.根据权利要求6所述的方法,其特征在于,所述基...
【专利技术属性】
技术研发人员:白安琪,蒋宁,陆全,夏粉,吴海英,肖冰,
申请(专利权)人:马上消费金融股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。