自然语言处理方法、计算机系统和计算机可读存储介质技术方案

本申请涉及自然语言处理技术，特别涉及用于训练自然语言处理模型的方法、自然语言处理方法、计算机系统和实施上述方法的计算机可读存储介质。在按照本申请一个方面的用于训练自然语言处理模型的方法中，自然语言处理模型包括第一和第二神经网络模型，其中，第一神经网络为通用型自然语言处理模型并且其输入和输出分别为文本数据和相应的特征向量，第二神经网络模型为与指定任务相关的自然语言处理模型并且其输入和输出分别为第一神经网络模型输出的特征向量和关于文本数据的处理结果，包括下列步骤：A、利用自动化自然语言处理技术来确定所述第二神经网络模型的优化配置；B、利用已标注样本来微调所述自然语言处理模型。已标注样本来微调所述自然语言处理模型。已标注样本来微调所述自然语言处理模型。

【技术实现步骤摘要】
自然语言处理方法、计算机系统和计算机可读存储介质


[0001]本申请涉及自然语言处理技术，特别涉及用于训练自然语言处理模型的方法、自然语言处理方法、计算机系统和实施上述方法的计算机可读存储介质。

技术介绍

[0002]近年来，自动化自然语言处理(Automated Natural Language Processing，以下简称AutoNLP)在学术界和工业界引起了广泛关注，其在消耗有限的计算资源的前提下，尽可能地减少人工参与，用机器自动完成NLP模型的全部或部分配置，最大化NLP模型的分析性能。该技术可以有效缓解NLP应用存在的模型更新频率高、维护周期长等带来的人力成本过高的问题。
[0003]另一方面，以BERT为代表的预训练技术也为自然语言处理开辟了一条新的道路。预训练技术的核心在于“大规模未标注语料粗调+小规模标注语料微调”的实现方式，在缺乏标注语料任务的冷启动、相似任务的领域迁移/自适应、非结构化文本数据的特征工程、计算资源有限的线上模型应用等问题中，均具有成功的应用案例，带来了极大的准确率的提升。
>[0004]但由于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自然语言处理方法，其特征在于，包含下列步骤：A、接收文本数据；B、利用自然语言处理模型来处理接收到的文本数据，所述自然语言处理模型包含第一神经网络模型和利用自动化自然语言处理技术进行优化配置的第二神经网络模型，并且通过利用已标注样本得到微调，其中，所述第一神经网络模型为通用型自然语言处理模型，其输入和输出分别为文本数据和相应的特征向量，所述第二神经网络模型为与指定任务相关的自然语言处理模型，其输入和输出分别为第一神经网络模型输出的特征向量和关于文本数据的处理结果；以及C、输出处理结果。2.如权利要求1所述的自然语言处理方法，其中，所述第一神经网络模型为利用非标注样本进行粗调的通用型自然语言处理模型。3.如权利要求1或2所述的自然语言处理方法，其中，所述第一神经网络模型为下列中的一种：BERT模型、XLNet模型和RoBERTa模型。4.如权利要求2所述的自然语言处理方法，其中，采用下列方式中的一种来粗调所述第一神经网络模型：隐藏语言模型(Masked LM)和下句预测(Next Sentence Prediction)。5.如权利要求1
‑
4中任意一项所述的自然语言处理方法，其中，通过下列方式进行优化配置：设定自动化自然语言处理的搜索空间，其中，所述设定包括搜索空间的配置类型和各个配置类型的超参数取值范围；以及在设定的搜索空间内搜索第二神经网络模型的优化配置。6.如权利要求5所述的自然语言处理方法，其中，所述配置类型为下列项中的一个或多个：特征工程、分类算法、优化方法和第一神经网络模型的网络结构。7.如权利要求6所述的自然语言处理方法，其中，所述特征工程从下列项中选择：主成分分析、线性判别式分析、自编码器和核函数。8.如权利要求6所述的自然语言处理方法，其中，所述分类算法从下列项中选择：K最临近分类算法、朴素贝叶斯算法、支持向量机算法、梯度提升树算法、随机森林算法、卷积神经网络算法和长短期记忆网络算法。9.如权利要求6所述的自然语言处理方法，其中，所述优化方法从下列项中选择：梯度下降算法、随机梯度下降算法、L
‑
BFGS算法、ADAM算法、RMSProp算法。10.如权利要求5所述的自然语言处理方法，其中，通过下列方式搜索第二神经网络模型的优化配置：设置自动化自然语言处理的框架；确定优化器搜索策略；以及在各个配置类型的超参数取值范围内搜索优化取值。11.如权利要求10所述的自然语言处理方法，其中，所述框架选自下列项中的一种：Hyperopt、Auto
‑
sklearn和ExploreKit，并且所述优化器搜索策略选自下列项中的一种：TPE、SMAC、强化学习和贪婪搜索。12.一种用于训练自然语言处理模型的方法，其特征在于，所述自然语言处理模型包括第一神经网络模型和第二神经网络模型，其中，所述第一神经网络为通用型自然语言处理
模型并且其输入和输出分别为文本数据和相应的特征向量，所述第二神经网络模型为与指定任务相关的自然语言处理模型并且其输入和输出分别为第一神经网络模型输出的特征向量和关于文本数据的处理结果，所述方法包括下列步骤：A、利用自动化自然语言处理技术来确定所述第二神经网络模型的优化配置；以及B、利用已标注样本来微调所述自然语言处理模型。13.如权利要求12所述的方法，其中，进一步包括：C、利用非标注样本对所述第一神经网络模型进行粗调。14.如权利要求12或13所述的方法，其中，所述第一神经网络模型为下列中的一种：BERT模型、XLNet模型和RoBERTa模型。15.如权利要求13所述的方法，其中，在步骤C中，采用下列方式中的一种来粗调所述第一神经网络模型：隐藏语言模型(Masked LM)和下句预测(Next Sentence Prediction)。16.如权利要求12
‑
15中任意一项所述的方法，其中，步骤A包括：A1、设定自动化自然语言处理的搜索空间，其中，所述设定包括搜索空间的配置类型和各个配置类型的超参数取值范围；以及A2、在设定的搜索空间内搜索第二神经网络模型的优化配置。17.如权利要求16所述的方法，其中，所述配置类型为下列项中的一个或多个：特征工程、分类算法、优化方法和第一神经网络模型的网络结构。18.如权利要求17所述的方法，其中，所述特征工程从下列项中选择：主成分分析、线性判别式分析、自编码器和核函数。19.如权利要求17所述的方法，其中，所述分类算法从下列项中选择：K最临近分类算法、朴素贝叶斯算法、支持向量机算法、梯度提升树算法、随机森林算法、卷积神经网络算法和长短期记忆网络算法。20.如权利要求17所述的方法，其中，所述优化方法从下列项项中选择：梯度下降算法、随机梯度下降算法、L
‑
BFGS算法、ADAM算法、RMSProp算法。21.如权利要求16所述的方法，其中，步骤A2包括：A21、设置自动化自然语言处理的框架；A22、确定优化器搜索策略；以及A23、在各个配置类型的超参数取值范围内搜索优化取值。22.如权利要求21所述的方法，其中，所述框架选自下列项中的一种：Hyperopt、Auto
‑
sklearn和ExploreKit，并且所述优化器搜索策略选自下列项中的一种：TPE、SMAC、强化学习和贪婪搜索。23.一种计算机系统，包含：至少一个存储器；至少一个处理器；以及存储在所述存储器上并可在所述处理器上运行的计算机程序，该计算机程序适于训练包括第一神经网络模型和第二神经网络模型的自然语言处理模型，其中，所述第一神经网络为通用型自然语言处理模型并且其输入和输出分别为文本数据和相应的特征向量，所述第二神经网络模型为与指定任务相关的自然语言处理模型并且其输入和输出分别为第一神经...

【专利技术属性】
技术研发人员：佘萧寒，邱雪涛，王宇，王阳，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：