语句鉴定方法及装置、存储介质和处理器制造方法及图纸

技术编号:26304582 阅读:34 留言:0更新日期:2020-11-10 20:00
本发明专利技术公开了一种语句鉴定方法及装置、存储介质和处理器。其中,该方法包括:获取待处理语句;将待处理语句输入至目标编码器,处理得到待处理语句的语义表示,其中,目标编码器为语法错误检测任务和语法错误纠错任务共享的编码器;将待处理语句的语义表示输入至处理模型,得到处理结果,其中,处理结果包括以下之一:语法错误检测结果、语法错误纠错结果。本发明专利技术解决了由于不同任务的标注数据不同难以直接混合使用导致系统处理任务的性能不佳的技术问题。

【技术实现步骤摘要】
语句鉴定方法及装置、存储介质和处理器
本专利技术涉及信息处理
,具体而言,涉及一种语句鉴定方法及装置、存储介质和处理器。
技术介绍
在语法错误检测与纠错任务上,过去因为任务划分和具体需求的不同,标注的数据存在一定的差异。在语法错误检测场景下,类似于Word里的拼写检查,仅需要对用户的输入中存在的错误进行发现和识别,并给出提示。以此为需求,标注了一些数据中存在的错误位置和类型,例如句子“我喜欢吃平果”,标注为第4个词“平果”错误。而在另一个语法错误纠错场景下,需要对用户的输入进行纠错,以此为需求,标注了另一批数据的语法正确形式,例如句子“我喜欢吃平果”及其正确形式“我喜欢吃苹果”。这两种标注数据本身并不相同,没法直接混合使用,所以称为异质标注数据。但是这两份数据针对的语法错误的检测和纠错是相互关联的,由于不同任务的标注数据不同难以直接混合使用导致系统处理任务的性能不佳。针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种语句鉴定方法及装置、存储介质和处理器,以至少解决由于不同任务本文档来自技高网...

【技术保护点】
1.一种语句鉴定方法,其特征在于,包括:/n获取待处理语句;/n将所述待处理语句输入至目标编码器,处理得到所述待处理语句的语义表示,其中,所述目标编码器为语法错误检测任务和语法错误纠错任务共享的编码器;/n将所述待处理语句的语义表示输入至处理模型,得到处理结果,其中,所述处理结果包括以下之一:语法错误检测结果、语法错误纠错结果。/n

【技术特征摘要】
1.一种语句鉴定方法,其特征在于,包括:
获取待处理语句;
将所述待处理语句输入至目标编码器,处理得到所述待处理语句的语义表示,其中,所述目标编码器为语法错误检测任务和语法错误纠错任务共享的编码器;
将所述待处理语句的语义表示输入至处理模型,得到处理结果,其中,所述处理结果包括以下之一:语法错误检测结果、语法错误纠错结果。


2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在将所述待处理语句输入至目标编码器,处理得到所述待处理语句的语义表示之前,获取多个已被标注的语句,其中,所述多个已被标注的语句包括:已被标注语法错误的第一类语句和已被纠错语法错误的第二类语句;
将所述第一类语句输入至所述目标编码器,处理得到所述第一类语句的语义表示,将所述第二类语句输入至所述目标编码器,处理得到所述第二类语句的语义表示,
将所述第一类语句的语义表示输入至语法错误检测子模型,得到所述第一类语句的语法错误检测结果,将所述第二类语句的语义表示输入至目标解码器,得到所述第二类语句的语法错误纠错结果;
将所述第一类语句的语法错误检测结果与已被标注语法错误进行比对,得到第一比对结果,将所述第二类语句的语法错误纠错结果与已被纠错语法错误进行比对,得到第二比对结果;
根据所述第一比对结果和所述第二比对结果,调整所述目标编码器的参数。


3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据所述第一比对结果调整所述语法错误检测子模型的参数;
根据所述第二比对结果调整所述目标解码器的参数。


4.根据权利要求2所述的方法,其特征在于,根据所述第一比对结果和所述第二比对结果,调整所述目标编码器的参数包括:
根据所述第一比对结果和交叉熵损失函数计算第一损失值;
根据所述第二比对结果和所述交叉熵损失函数计算第二损失值;
将所述第一损失值通过反向传播算法计算待调整的第一参数,将所述第二损失值通过所述反向传播算法计算待调整的第二参数;
根据所述第一参数和所述第二参数,调整所述目标编码器的参数。


5.根据权利要求4所述的方法,其特征在于,根据所述第一参数和所述第二参数,调整所述目标编码器的参数包括:
确定所述语法错误检测任务的第一权重值和所述语法错误纠错任务的第二权重值;
根据所述第一参数、所述第一权重值、所述第二参数和所述第二权重值,调整所述目标编码器的参数。


6.根据权利要求2所述的方法,其特征在于,所述目标编码器为多层Bi-LSTM编码器,所述目标解码器为多层Bi-LSTM解码器。


7.根据权利要求6所述的方法,其特征在于,若所述待处理语句为待进行语法错误检测的语句,则所述处理模型为语法错误检测子模型,若所述待处理语句为待进行语法错误纠错的语句,则所述处理模型为多层Bi-LSTM解码器。


8.一种语句鉴定装置,其特征在于,包括:<...

【专利技术属性】
技术研发人员:包祖贻李辰刘恒友李林琳司罗
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛;KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1