语言模型获取及中文语义理解方法、装置及存储介质制造方法及图纸

本申请公开了语言模型获取及中文语义理解方法、装置及存储介质，涉及自然语言处理及深度学习领域，其中的方法可包括：获取作为训练数据的中文文本；针对任一训练数据，分别获取其中的各文字的预定嵌入信息，预定嵌入信息中至少包括两种嵌入信息，其中一种为音调嵌入信息；根据预定嵌入信息，利用训练数据训练语言模型，语言模型用于根据待处理的中文文本中的各文字的预定嵌入信息、生成待处理的中文文本的语义表示信息。应用本申请所述方案，可提升语义理解结果的准确性等。

【技术实现步骤摘要】
语言模型获取及中文语义理解方法、装置及存储介质
本申请涉及计算机应用技术，特别涉及自然语言处理及深度学习领域的语言模型获取及中文语义理解方法、装置及存储介质。
技术介绍
随着知识增强语义表示模型(ERNIE，EnhancedRepresentationfromkNowledgeIntEgration)、转换器的双向编码表示(BERT，BidirectionalEncoderRepresentationsfromTransformers)等大型通用预训练语言模型的提出，中文语义理解任务取得了质的飞跃。Transformer作为此类模型的常用基本结构，其采用的自注意力(self-attention)机制使得模型能够通过捕捉文本的上下文信息来更好地实现对于文本的语义信息的理解。但是，中文中存在很多有歧义的文字，若单纯的基于上下文信息很难消除所述歧义，从而导致语义理解结果不够准确。
技术实现思路
本申请提供了语言模型获取及中文语义理解方法、装置及存储介质。一种语言模型获取方法，包括：获取作为训练数据的中文文本本文档来自技高网...

【技术保护点】
1.一种语言模型获取方法，包括：/n获取作为训练数据的中文文本；/n针对任一训练数据，分别获取其中的各文字的预定嵌入信息，所述预定嵌入信息中至少包括两种嵌入信息，其中一种为音调嵌入信息；/n根据所述预定嵌入信息，利用所述训练数据训练语言模型，所述语言模型用于根据待处理的中文文本中的各文字的所述预定嵌入信息、生成所述待处理的中文文本的语义表示信息。/n

【技术特征摘要】
1.一种语言模型获取方法，包括：
获取作为训练数据的中文文本；
针对任一训练数据，分别获取其中的各文字的预定嵌入信息，所述预定嵌入信息中至少包括两种嵌入信息，其中一种为音调嵌入信息；
根据所述预定嵌入信息，利用所述训练数据训练语言模型，所述语言模型用于根据待处理的中文文本中的各文字的所述预定嵌入信息、生成所述待处理的中文文本的语义表示信息。


2.根据权利要求1所述的方法，其中，所述音调包括：平声、一声、二声、三声和四声。


3.根据权利要求1所述的方法，其中，所述预定嵌入信息中还包括以下之一或任意组合：词嵌入信息、句嵌入信息、位置嵌入信息、任务嵌入信息。


4.根据权利要求1所述的方法，其中，所述根据所述预定嵌入信息，利用所述训练数据训练语言模型包括：针对任一训练数据，分别将其中的各文字的嵌入信息加权相加，将各文字对应的加权相加结果作为所述语言模型的输入，训练所述语言模型。


5.根据权利要求1所述的方法，其中，所述利用所述训练数据训练语言模型包括：以词层级预训练任务、结构层级预训练任务和语义层级预训练任务为训练任务，对所述语言模型进行训练。


6.根据权利要求1所述的方法，其中，所述利用所述训练数据训练语言模型包括：基于预定模型热启，以持续学习的方式训练所述语言模型。


7.一种中文语义理解方法，包括：
针对待处理的中文文本，分别获取其中的各文字的预定嵌入信息，所述预定嵌入信息中至少包括两种嵌入信息，其中一种为音调嵌入信息；
根据所述预定嵌入信息及预先训练得到的语言模型，得到所述待处理的中文文本的语义表示信息。


8.根据权利要求7所述的方法，其中，所述音调包括：平声、一声、二声、三声和四声。


9.根据权利要求7所述的方法，其中，所述预定嵌入信息中还包括以下之一或任意组合：词嵌入信息、句嵌入信息、位置嵌入信息、任务嵌入信息。


10.根据权利要求7所述的方法，其中，所述根据所述预定嵌入信息及预先训练得到的语言模型，得到所述待处理的中文文本的语义表示信息包括：
针对所述待处理的中文文本，分别将其中的各文字的嵌入信息加权相加，将各文字对应的加权相加结果作为所述语言模型的输入，得到输出的所述语义表示信息。


11.一种语言模型获取装置，包括：数据获取模块及模型训练模块；
所述数据获取模块，用于获取作为训练数据的中文文本；
所述模型训练模块，用于针对任一训练数据，分别获取其中的各文字的预定嵌入信息，...

【专利技术属性】
技术研发人员：丁思宇，王硕寰，孙宇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11