实体识别模型的训练方法及实体识别方法、相关装置制造方法及图纸

本发明专利技术提供一种实体识别模型的训练方法、实体识别方法及相关装置，所述实体识别模型的训练方法包括：获取训练文本，并将训练文本与数据库进行匹配，得到多个匹配结果；对多个匹配结果进行处理，得到多个匹配结果对应的特征向量；对训练文本进行处理，得到训练文本对应每个字的字向量；根据特征向量及字向量对初始实体识别模型进行训练，以得到实体识别模型。以此训练所得到的实体识别模型能够提高实体识别的准确性。

Training method of entity recognition model, entity recognition method and related devices

【技术实现步骤摘要】
实体识别模型的训练方法及实体识别方法、相关装置
本专利技术涉及智能装置
，尤其涉及一种实体识别模型的训练方法及实体识别方法、相关装置。
技术介绍
一直以来命名实体识别都是信息抽取中的重要一环，也是自然语言处理中的一项基础任务，应用范围广泛。条件随机场(CRF)是命名实体识别的主流模型，随着深度学习的发展，使用深度学习模型(BiLSTM)加上CRF在命名实体识别中变得更加普遍，尽管BiLSTM-CRF成为了基于深度学习的实体识别方法的最主流模型，但在语义理解的过程中仍旧精度不够理想，对于部分词槽的信息准确率依然偏低，导致对话系统中无法完整理解用户的表述。
技术实现思路
本专利技术主要提供一种实体识别模型的训练方法及实体识别方法、相关装置，用于提高实体识别的准确率。为解决上述技术问题，本专利技术提供的第一个技术方案为：提供一种实体识别模型的训练方法，包括：获取训练文本，并将所述训练文本与数据库进行匹配，得到多个匹配结果；对多个所述匹配结果进行处理，得到多个所述匹配结果对应的特征向量；对所述训练文本进行处理，得到所述训练文本对应每个字的字向量；根据所述特征向量及所述字向量对初始实体识别模型进行训练，以得到所述实体识别模型。其中，所述对多个所述匹配结果进行处理，得到多个所述匹配结果对应的特征向量的步骤包括：对多个所述匹配结果进行处理，得到多个所述匹配结果对应的one-hot向量；所述根据所述特征向量及所述字向量对初始实体识别模型进行训练，以得到所述实体识别模型的步骤包括：将多个所述匹配结果对应的所述one-hot向量进行拼接，以得到one-hot向量矩阵；将所述one-hot向量矩阵与所述字向量进行相加，得到相加后的结果；将所述相加后的结果输入至初始实体模型中进行训练，以得到所述实体识别模型。为解决上述技术问题，本专利技术提供的第二个技术方案为：提供一种实体识别模型的实体识别方法，包括：获取待识别文本，以对所述待识别文本进行实体识别，以得到若干个识别结果；输出若干个所述识别结果对应的标签序列，对所述标签序列进行概率计算；输出概率最高的所述标签序列作为所述待识别文本对应的准确识别结果。其中，所述实体识别模型为通过上述任一项所述的训练方法所得。其中，所述输出概率最高的所述标签序列作为所述待识别文本对应的准确识别结果的步骤还包括：对所述概率最高的所述标签序列进行验证，判断所述概率最高的所述标签序列是否为所述待识别文本对应的准确识别结果。其中，所述对所述概率最高的所述标签序列进行验证，判断所述概率最高的所述标签序列是否为所述待识别文本对应的准确识别结果的步骤包括：判断所述概率最高的所述标签序列中是否具有封闭词槽；若具有所述封闭词槽，则提取所述若干个识别结果中的所有封闭词槽以作为封闭词槽库；将所述待识别文本与所述封闭词槽库进行匹配，以获得到与所述待识别文本匹配的封闭词槽，并对所述概率最高的所述标签序列进行更新，以获取到更新后的标签序列并作为所述待识别文本的最佳匹配结果输出。其中，所述输出若干个所述识别结果对应的标签序列，对所述标签序列进行概率计算的步骤包括：计算获取各个所述标签序列对应的每个位置的概率；计算获取各个所述标签序列对应的每个位置的转移概率；根据所述每个位置的概率及所述每个位置的转移概率得到所述标签序列的概率。其中，所述根据所述每个位置的概率及所述每个位置的转移概率得到所述标签序列的概率的步骤包括：通过如下公式计算所述标签序列的概率：其中，为第i个位置输出yi的标签的概率，为从yi到yi+1的转移概率，s(X，y)为所述待识别文本对应的标签序列的概率。为解决上述技术问题，本专利技术采用的第三个技术方案为：提供一种实体识别装置，包括：相互藕接的处理器及存储器，其中，所述存储器用于存储实现上述任意一项所述的实体识别模型的训练方法及上述任意一项所述的实体识别模型的实体识别方法的程序指令；所述处理器用于执行所述存储器存储的所述程序指令。为解决上述技术问题，本专利技术采用的第四个技术方案为：提供一种存储介质，存储有程序文件，所述程序文件能够被执行以实现如上述任意一项所述的实体识别模型的训练方法及上述任意一项所述的实体识别模型的实体识别方法。本专利技术的有益效果是：区别于现有技术，本专利技术通过获取训练文本，并将所述训练文本与数据库进行匹配，得到多个匹配结果；对多个所述匹配结果进行处理，得到多个所述匹配结果对应的特征向量；对所述训练文本进行处理，得到所述训练文本对应每个字的字向量；根据所述特征向量及所述字向量对初始实体识别模型进行训练，以得到所述实体识别模型。以此提实体识别模型进行实体识别的准确性。附图说明图1是本专利技术实体识别模型的训练方法的第一实施例的流程示意图；图2是图1所示的步骤S12及步骤S14的一具体实施方式的流程示意图；图3是本专利技术实体识别方法的第一实施例的流程示意图；图4是本专利技术实体识别方法的第二实施例的流程示意图；图5是本专利技术实体识别装置的一实施例的结构示意图；图6是本专利技术存储介质的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图和实施例对本专利技术进行详细的说明。请参见图1，为本专利技术实体识别模型的训练方法的第一实施例的流程示意图。包括：步骤S11：获取训练文本，并将训练文本与数据库进行匹配，得到多个匹配结果。例如获取到的训练文本为“我想听周杰伦的jay专辑”，将这句话与数据库进行匹配，获取到这句话中包含的实体以作为匹配结果。例如实体为“周杰伦”、“Jay”。可以理解的，数据库为包含若干实体的数据库。步骤S12：对多个匹配结果进行处理，得到多个匹配结果对应的特征向量。具体的，请参见图2，再对多个匹配结果进行处理，得到多个匹配结果对应的特征向量包括：步骤S21：对多个匹配结果进行处理，得到多个匹配结果对应的one-hot向量。具体的，例如“我想听周杰伦的jay专辑”这句话中的实体为“周杰伦”、“Jay”，将其进行处理，得到one-hot向量。例如将识别到的实体的位置处使用“1”进行标记，其余位置使用“0”进行标记。在本实施例，为了避免两个实体在相连的情况下，无法区分，所以可采用B-I的格式进行标记，如“周”在B-signer位置处标记为1，“杰伦”在I-signer位置处标记为1，这样即使在“周杰伦汪峰”出现在一起时也能够有效的将其标记起来。具体的，将“我想听周杰伦的jay专辑”按照B-I的形式标记为one-hot向量为：在B-signer位置处为“0，0，0，1，0，0，0，1，0，0”；在I-signer位置处为“0，0，0，0，1，1，0，本文档来自技高网...

【技术保护点】
1.一种实体识别模型的训练方法，其特征在于，包括：/n获取训练文本，并将所述训练文本与数据库进行匹配，得到多个匹配结果；/n对多个所述匹配结果进行处理，得到多个所述匹配结果对应的特征向量；/n对所述训练文本进行处理，得到所述训练文本对应每个字的字向量；/n根据所述特征向量及所述字向量对初始实体识别模型进行训练，以得到所述实体识别模型。/n

【技术特征摘要】
1.一种实体识别模型的训练方法，其特征在于，包括：
获取训练文本，并将所述训练文本与数据库进行匹配，得到多个匹配结果；
对多个所述匹配结果进行处理，得到多个所述匹配结果对应的特征向量；
对所述训练文本进行处理，得到所述训练文本对应每个字的字向量；
根据所述特征向量及所述字向量对初始实体识别模型进行训练，以得到所述实体识别模型。


2.根据权利要求1所述的训练方法，其特征在于，所述对多个所述匹配结果进行处理，得到多个所述匹配结果对应的特征向量的步骤包括：
对多个所述匹配结果进行处理，得到多个所述匹配结果对应的one-hot向量；
所述根据所述特征向量及所述字向量对初始实体识别模型进行训练，以得到所述实体识别模型的步骤包括：
将多个所述匹配结果对应的所述one-hot向量进行拼接，以得到one-hot向量矩阵；
将所述one-hot向量矩阵与所述字向量进行相加，得到相加后的结果；
将所述相加后的结果输入至初始实体模型中进行训练，以得到所述实体识别模型。


3.一种实体识别模型的实体识别方法，其特征在于，所述方法包括：
获取待识别文本，以对所述待识别文本进行实体识别，以得到若干个识别结果；
输出若干个所述识别结果对应的标签序列，对所述标签序列进行概率计算；
输出概率最高的所述标签序列作为所述待识别文本对应的准确识别结果。


4.根据权利要求3所述的实体识别方法，其特征在于，所述实体识别模型为通过权利要求1～2任一项所述的训练方法所得。


5.根据权利要求3所述的实体识别方法，其特征在于，所述输出概率最高的所述标签序列作为所述待识别文本对应的准确识别结果的步骤还包括：
对所述概率最高的所述标签序列进行验证，判断所述概率最高的所述标签序列是否为所述待识别文本对应的准确识别结果。


6.根据权利要求5所述...

【专利技术属性】
技术研发人员：熊为星，马力，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44