词法分析模型的训练方法、装置、电子设备、存储介质制造方法及图纸

本发明专利技术提供一种中文词法分析模型的训练方法、装置、电子设备、存储介质，中文词法分析模型的训练方法包括：提供训练语料集；对所述训练语料集进行标注；对训练语料集中的各训练语料作为所述中文词法分析模型的输入，所述中文词法分析模型在输入层及输出层之间依次包括嵌入层、第一双向门控循环单元层、第二双向门控循环单元层、全连接层及条件随机场层；至少将所述人工标注作为所述中文词法分析模型的输出，以对所述中文词法分析模型进行训练。本发明专利技术可以通过中文词法分析模型的训练，利用经训练的中文词法分析模型进行中文词法分析，并可应用于分词、词性标注、槽位预测及用户意图预测中，以减少人力成本。

Training method, device, electronic equipment and storage medium of lexical analysis model

【技术实现步骤摘要】
词法分析模型的训练方法、装置、电子设备、存储介质
本专利技术涉及计算机应用
，尤其涉及一种中文词法分析模型的训练方法、预测方法、训练装置、电子设备、存储介质。
技术介绍
随着大数据和互联网技术的发展，人工智能产品越来越多地进入普通人的生活中，比如智能手机上的语音助手，可以帮助用户更快地找到自己感兴趣的商品，语音助手和人进行交流的核心技术是自然语言处理，分词、词性标注、命名实体识别这些基础的底层模型，直接影响NLP(NaturalLanguageProcessing，NLP多数情况下指的是计算机上各种大同小异的语言处理应用，以及用NLP技术所构建的实际应用程序，比如分词、词性标注、命名实体识别、句法分析、语法依存等)技术的精确度，工业界现有的分词技术是双向最大匹配算法，词性标注和命名实体识别是依靠大量人工标注，结合条件随机场等传统机器学习方法进行预测，如何能构建一套通用的NLP底层算法，是一个很有意义的工作。现有分词技术采用双向最大匹配方法，需要构建比较完善的词库，而且对新登录词不能识别；现有词性标注技术和命名实体识别技术采用大量人工标注语料作为训练集，作为条件随机场模型的输入，需要自定义特征模板，只能挖掘语料中的线性特征，而且人工标注成本较大。由此可见，现有技术具有分词不够灵活准确，词性标注和命名实体识别人力成本高特征提取不充分等缺点。
技术实现思路
本专利技术为了克服上述相关技术存在的缺陷，提供一种中文词法分析模型的训练方法、装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本专利技术的一个方面，提供一种中文词法分析模型的训练方法，包括：提供训练语料集；对所述训练语料集进行标注；对训练语料集中的各训练语料作为所述中文词法分析模型的输入，所述中文词法分析模型在输入层及输出层之间依次包括嵌入层、第一双向门控循环单元层、第二双向门控循环单元层、全连接层及条件随机场层；至少将所述人工标注作为所述中文词法分析模型的输出，以对所述中文词法分析模型进行训练，其中，所述中文词法分析模型至少应用于分词、词性标注、槽位预测及用户意图预测中的一项或多项。可选地，所述中文词法分析模型的输出用于该中文词法分析模型或另一中文词法分析模型的训练。可选地，所述对所述训练语料集进行标注还包括：利用映射表验证方式或多模型交叉验证方式对所述训练语料集的标注进行验证。可选地，所述标注的内容至少包括：用户首句输入、业务场景及槽位槽值标注中的一项或多项。可选地，所述嵌入层用于提取各训练语料的特征向量，以输入所述第一双向门控循环单元层，其中，所提取的特征向量包括字符特征向量、词语特征向量、上下文特征向量及槽位标记向量中的一项或多项。可选地，所述槽位标记向量包括：标识槽位起始的向量、标识槽位中间的向量、标识除了槽位起始和槽位中间的向量。可选地，所述槽位标记向量包括：标识槽位起始的向量、标识槽位中间的向量、标识槽位终止的向量、标识单字槽位的向量及标识除了槽位起始、槽位中间、槽位终止及单字槽位的向量。根据本专利技术又一方面，还提供一种中文词法分析模型的预测方法，包括：获取待预测语料；将所述待预测语料输入经由上述的中文词法分析模型的训练方法训练的中文词法分析模型；将所述中文词法分析模型作为所述待预测语料的预测结果。根据本专利技术又一方面，还提供一种中文词法分析模型的训练装置，其特征在于，包括：提供模块，用于提供训练语料集；标注模块，用于对所述训练语料集进行标注；输入模块，用于对训练语料集中的各训练语料作为所述中文词法分析模型的输入，所述中文词法分析模型在输入层及输出层之间依次包括嵌入层、第一双向门控循环单元层、第二双向门控循环单元层、全连接层及条件随机场层；训练模块，用于至少将所述人工标注作为所述中文词法分析模型的输出，以对所述中文词法分析模型进行训练，其中，所述中文词法分析模型至少应用于分词、词性标注、槽位预测及用户意图预测中的一项或多项。根据本专利技术的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。根据本专利技术的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。相比现有技术，本专利技术的优势在于：本专利技术通过在输入层及输出层之间依次包括嵌入层、第一双向门控循环单元层、第二双向门控循环单元层、全连接层及条件随机场层的中文词法分析模型，并应用在分词、词性标注、槽位预测及用户意图预测中的一项或多项中，深度学习网络结构自动学习语料特征，提取更抽象的语义特征，减少了人工成本，训练准确率较高的模型可以应用在标注校验和预标注中，提升了标注效率。同时，应用于槽位预测及用户意图预测时，还可以进一步提升了用户体验。附图说明通过参照附图详细描述其示例实施方式，本专利技术的上述和其它特征及优点将变得更加明显。图1示出了根据本专利技术实施例的中文词法分析模型的训练方法的流程图。图2示出了根据本专利技术具体实施例的的中文词法分析模型的示意图。图3示出了根据本专利技术实施例的基于中文词法分析模型的预测方法的流程图。图4示出了根据本专利技术实施例的中文词法分析模型的训练装置的模块图。图5示意性示出本专利技术示例性实施例中一种计算机可读存储介质示意图。图6示意性示出本专利技术示例性实施例中一种电子设备示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本专利技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，附图仅为本专利技术的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。图1示出了根据本专利技术实施例的中文词法分析模型的训练方法的流程图。参考图1，所述中文词法分析模型的训练方法包括如下步骤：步骤S110：提供训练语料集；步骤S120：对所述训练语料集进行标注；步骤S130：对训练语料集中的各训练语料作为所述中文词法分析模型的输入，所述中文词法分析模型在输入层及输出层之间依次包括嵌入层、第一双向本文档来自技高网...

【技术保护点】
1.一种中文词法分析模型的训练方法，其特征在于，包括：/n提供训练语料集；/n对所述训练语料集进行标注；/n对训练语料集中的各训练语料作为所述中文词法分析模型的输入，所述中文词法分析模型在输入层及输出层之间依次包括嵌入层、第一双向门控循环单元层、第二双向门控循环单元层、全连接层及条件随机场层；/n至少将所述人工标注作为所述中文词法分析模型的输出，以对所述中文词法分析模型进行训练，其中，/n所述中文词法分析模型至少应用于分词、词性标注、槽位预测及用户意图预测中的一项或多项。/n

【技术特征摘要】
1.一种中文词法分析模型的训练方法，其特征在于，包括：
提供训练语料集；
对所述训练语料集进行标注；
对训练语料集中的各训练语料作为所述中文词法分析模型的输入，所述中文词法分析模型在输入层及输出层之间依次包括嵌入层、第一双向门控循环单元层、第二双向门控循环单元层、全连接层及条件随机场层；
至少将所述人工标注作为所述中文词法分析模型的输出，以对所述中文词法分析模型进行训练，其中，
所述中文词法分析模型至少应用于分词、词性标注、槽位预测及用户意图预测中的一项或多项。


2.如权利要求1所述的中文词法分析模型的训练方法，其特征在于，所述中文词法分析模型的输出用于该中文词法分析模型或另一中文词法分析模型的训练。


3.如权利要求1或2所述的中文词法分析模型的训练方法，其特征在于，所述对所述训练语料集进行标注还包括：
利用映射表验证方式或多模型交叉验证方式对所述训练语料集的标注进行验证。


4.如权利要求1或2所述的中文词法分析模型的训练方法，其特征在于，所述标注的内容至少包括：用户首句输入、业务场景及槽位槽值标注中的一项或多项。


5.如权利要求1或2所述的中文词法分析模型的训练方法，其特征在于，所述嵌入层用于提取各训练语料的特征向量，以输入所述第一双向门控循环单元层，其中，所提取的特征向量包括字符特征向量、词语特征向量、上下文特征向量及槽位标记向量中的一项或多项。


6.如权利要求5所述的中文词法分析模型的训练方法，其特征在于，所述槽位标记向量包括：标识槽位起始的向量、标识槽位中间的向量、标识除了槽位起始和槽位中间的向量。
<...

【专利技术属性】
技术研发人员：王颖帅，李晓霞，苗诗雨，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11