一种语义识别模型的超参数调优方法与系统技术方案

本发明专利技术公开了一种语义识别模型的超参数调优方法与系统，包括根据多组预设超参数构建对应数目的语义识别模型，根据文本数据集通过交叉验证法对每一个语义识别模型进行训练，得到每一个语义识别模型的对应训练结果，根据训练结果计算每一个语义识别模型的对应的望大特性信噪比，根据每一个语义识别模型的对应的望大特性信噪比选取语义识别模型的最优预设超参数，通过在关注性能指标的均值改善的同时，也关注方差的变化，减少了模型性能的波动，提高了模型预测的准确性。提高了模型预测的准确性。提高了模型预测的准确性。

【技术实现步骤摘要】
一种语义识别模型的超参数调优方法与系统


[0001]本专利技术涉及超参数调优相关
，尤其是涉及一种语义识别模型的超参数调优方法与系统。

技术介绍

[0002]近年来，自然语言处理领域的语义角色标注任务，使用最广泛的模型是基于BiLSTM的深度神经网络模型。相比较传统的机器学习模型，基于BiLSTM的深度神经网络模型可以较好地表示上下文和句法特征，能够有效地减少特征的设置。BiLSTM模型在处理语义角色标注问题时面临着模型超参数的选择问题。BiLSTM模型的构建比较复杂，一个好的模型架构需要考虑很多的设计选项，如BiLSTM层次数目、隐层单元个数、在模型的最顶层添加一个什么样的分类器。此外，BiLSTM模型可以实现端到端的学习，但通常需要在输入端添加一些简单的特征来为模型提供额外的信息，模型最终的性能也受到输入端的候选特征设置的影响。将模型的设计选项和输入端的特征看做模型具体的超参数配置，如何分析各超参数对语义角色识别任务的影响，对BiLSTM的模型超参数进行调优，是影响模型性能的一个关键问题。
[0003]目前，在自然语言研究领域，针对模型超参数的调优，许多方法都是将语料按照比例切分得到训练集、验证集和测试集，在训练集上训练模型，在验证集上选择模型超参数的具体配置，在测试集上进行测试，以相关任务的性能评价指标是否提高为优化准则。但是，这种方法存在对应训练结果对语料的切分较为敏感的文体。有可能会导致含有较多语义角色的一些句子切分到了训练集，而含有较少语义角色的一些句子切分到了测试集，这种语义角色个数分布不均匀的切分会导致语义角色识别模型的精确率时高时低，方差较大，意味着模型的预测结果并不稳定。而且当实验语料较小时，按比例切分得到的测试集会很小，测试集上的语义角色的个数偏少，也可能导致测试结果F1值的波动较大，模型的可复现性差。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题。为此，本专利技术提出一种语义识别模型的超参数调优方法与系统，能够减少模型性能的波动，提高模型的准确性。
[0005]本专利技术的第一方面，提供了一种语义识别模型的超参数调优方法，包括如下步骤：
[0006]获取文本数据集；
[0007]根据多组预设超参数构建对应数目的语义识别模型，根据所述文本数据集通过交叉验证法对每一个所述语义识别模型进行训练，得到每一个所述语义识别模型的对应训练结果；
[0008]根据所述训练结果计算每一个所述语义识别模型的对应的望大特性信噪比；
[0009]根据每一个所述语义识别模型的对应的望大特性信噪比选取所述语义识别模型的最优预设超参数。
[0010]根据本专利技术实施例的控制方法，至少具有如下有益效果：
[0011]本方法通过根据多组预设超参数构建对应数目的语义识别模型，根据文本数据集通过交叉验证法对每一个语义识别模型进行训练，得到每一个语义识别模型的对应训练结果，根据训练结果计算每一个语义识别模型的对应的望大特性信噪比，根据每一个语义识别模型的对应的望大特性信噪比选取语义识别模型的最优预设超参数，通过在关注性能指标的均值改善的同时，也关注方差的变化，减少了模型性能的波动，提高了模型预测的准确性。
[0012]根据本专利技术的一些实施例，所述根据所述训练结果计算所述每一个所述语义识别模型的对应的望大特性信噪比，包括：
[0013]根据所述训练结果构建混淆矩阵，其中，所述混淆矩阵包括为每一组每一次交叉验证得到的模型预测正确的语义角色的个数、模型预测错误的语义角色的个数、模型没有预测出的语义角色的个数和模型没有被错误的预测为语义角色的个数；
[0014]计算每组所述混淆矩阵对应的精确率和召回率；
[0015]根据每组所述混淆矩阵对应的精确率和召回率计算每组所述混淆矩阵对应的F1值；
[0016]根据所有所述F1值计算所述语义识别模型的对应的望大特性信噪比。
[0017]根据本专利技术的一些实施例，所述根据每组所述混淆矩阵对应的精确率和召回率计算每组所述混淆矩阵对应的F1值，包括：
[0018]对每组所述混淆矩阵对应的精确率和召回率进行求和，得到对应的第三求和结果；
[0019]将每组所述混淆矩阵对应的精确率和召回率进行相乘，得到精确率和召回率的积；
[0020]将所述精确率和召回率的积乘以2，得到对应的求积结果；
[0021]将所述对应的求积结果除以所述对应的第三求和结果，得到每组所述混淆矩阵对应的F1值。
[0022]根据本专利技术的一些实施例，所述根据所有所述F1值计算所述语义识别模型的对应的望大特性信噪比的计算公式包括：
[0023][0024]其中，η为语义识别模型的对应的望大特性信噪比，为通过3
×
2交叉验证法得到的第i组第k次交叉验证的F1值。
[0025]根据本专利技术的一些实施例，通过如下方式计算每组所述混淆矩阵对应的精确率，包括：
[0026]对每组所述混淆矩阵对应的交叉验证得到的模型预测正确的语义角色的个数与对应的交叉验证得到的模型预测错误的语义角色的个数进行求和，得到对应的第一求和结果；
[0027]将每组所述混淆矩阵对应的交叉验证得到的模型预测正确的语义角色的个数除
以对应的第一求和结果，得到每组所述混淆矩阵对应的精确率。
[0028]根据本专利技术的一些实施例，通过如下方式计算每组所述混淆矩阵对应的召回率，包括：
[0029]对每组所述混淆矩阵对应的交叉验证得到的模型预测正确的语义角色的个数与对应的交叉验证得到的模型没有预测出的语义角色的个数进行求和，得到对应的第二求和结果；
[0030]将每组所述混淆矩阵对应的交叉验证得到的模型预测正确的语义角色的个数除以对应的第二求和结果，得到每组所述混淆矩阵对应的召回率。
[0031]根据本专利技术的一些实施例，所述根据所述文本数据集通过交叉验证法对每一个所述语义识别模型进行训练，得到每一个所述语义识别模型的对应训练结果，包括：
[0032]将所述文本数据集分为若干组测试数据集和若干组训练数据集；
[0033]根据若干组所述测试数据集和若干组所述训练数据集通过3
×
2交叉验证法对每一个所述语义识别模型进行训练，得到每一个所述语义识别模型的对应训练结果。
[0034]本专利技术的第二方面，提供一种语义识别模型的超参数调优系统，所述语义识别模型的超参数调优系统包括：
[0035]数据获取模块，用于获取文本数据集；
[0036]模型训练模块，用于根据多组预设超参数构建对应数目的语义识别模型，根据所述文本数据集通过交叉验证法对每一个所述语义识别模型进行训练，得到每一个所述语义识别模型的对应训练结果；
[0037]望大特性信噪比计算模块，用于根据所述训练结果计算每一个所述语义识别模型的对应的望大特性信噪比；
[0038]最优超参数选取模块，用于根据每一个所述语义识别模型的对应的望大特性信噪比本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义识别模型的超参数调优方法，其特征在于，所述语义识别模型的超参数调优方法包括：获取文本数据集；根据多组预设超参数构建对应数目的语义识别模型，根据所述文本数据集通过交叉验证法对每一个所述语义识别模型进行训练，得到每一个所述语义识别模型的对应训练结果；根据所述训练结果计算每一个所述语义识别模型的对应的望大特性信噪比；根据每一个所述语义识别模型的对应的望大特性信噪比选取所述语义识别模型的最优预设超参数。2.根据权利要求1所述的一种语义识别模型的超参数调优方法，其特征在于，所述根据所述训练结果计算所述每一个所述语义识别模型的对应的望大特性信噪比，包括：根据所述训练结果构建混淆矩阵，其中，所述混淆矩阵包括为每一组每一次交叉验证得到的模型预测正确的语义角色的个数、模型预测错误的语义角色的个数、模型没有预测出的语义角色的个数和模型没有被错误的预测为语义角色的个数；计算每组所述混淆矩阵对应的精确率和召回率；根据每组所述混淆矩阵对应的精确率和召回率计算每组所述混淆矩阵对应的F1值；根据所有所述F1值计算所述语义识别模型的对应的望大特性信噪比。3.根据权利要求2所述的一种语义识别模型的超参数调优方法，其特征在于，所述根据每组所述混淆矩阵对应的精确率和召回率计算每组所述混淆矩阵对应的F1值，包括：对每组所述混淆矩阵对应的精确率和召回率进行求和，得到对应的第三求和结果；将每组所述混淆矩阵对应的精确率和召回率进行相乘，得到精确率和召回率的积；将所述精确率和召回率的积乘以2，得到对应的求积结果；将所述对应的求积结果除以所述对应的第三求和结果，得到每组所述混淆矩阵对应的F1值。4.根据权利要求2所述的一种语义识别模型的超参数调优方法，其特征在于，所述根据所有所述F1值计算所述语义识别模型的对应的望大特性信噪比的计算公式包括：其中，η为语义识别模型的对应的望大特性信噪比，为通过3
×
2交叉验证法得到的第i组第k次交叉验证的F1值。5.根据权利要求2所述的一种语义识别模型的超参数调优方法，其特征在于，通过如下方式计算每组所述混淆矩阵对应的精确率，包括：对每组所述混淆矩阵对应的交叉验证得到的模型预测正确的语义角色的个数与对应的交叉验证得到的模型预测错误的语义角色的个数进行求和，得到对应的第一求和结果；将每组所述...

【专利技术属性】
技术研发人员：蔡鹏清，李燕敏，杜帅，刘睿晗，张旻，张瑞，
申请(专利权)人：深圳北斗应用技术研究院有限公司，
类型：发明
国别省市：