基于虚拟对抗的地址相关性判断方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，公开了一种基于虚拟对抗的地址相关性判断方法、装置、设备及介质，包括：获取训练文本数据，对训练文本数据中各个字对应的字向量并正则化处理，得到正则文本向量；将正则文本向量输入至地址相关性判断模型,对地址相关性判断模型进行无监督训练，得到文本数据的隐含特征向量；使用训练文本数据数据对全连接神经网络进行虚拟对抗预训练；使用训练文本数据数据对全连接神经网络进行虚拟对抗微调训练，生成用于文本分类的神经网络模型。在地址相关性任务中，大大提高模型的鲁棒性与泛化能力。模型的鲁棒性与泛化能力。模型的鲁棒性与泛化能力。

【技术实现步骤摘要】
基于虚拟对抗的地址相关性判断方法、装置、设备及介质


[0001]本专利技术涉及人工智能技术、自然语言处理
，尤其涉及一种基于虚拟对抗的地址相关性判断方法、装置、设备及介质。

技术介绍

[0002]目前地址相关性判断系统缺点1:地址相关性的判断系统，往往存在鲁棒性不够强的问题，稍微有些噪声的输入会对模型的判断能力产生严重的影响。
[0003]通过在训练过程引入虚拟对抗技术和适当的规则系统，解决了地址相关性判断系统鲁棒性不够的问题。
[0004]目前址相关性判断系统缺点2:地址相关性的判断系统，泛化能力弱是一大通病，在用户输入的地址关系判断中，往往难以取得良好的效果。
[0005]要解决的技术问题1:地址相关性的判断模型，往往存在鲁棒性不够强的问题，稍微有些噪声的输入会对模型的判断能力产生严重的影响。本专利技术着重解决地址相关性模型鲁棒性不高的问题，提升地址相关性判断的鲁棒性。
[0006]要解决的技术问题2:地址相关性的判断模型，泛化能力弱是一大问题，严重制约了生产环境中的使用。本专利技术着重解决地址相关性模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟对抗的地址相关性判断方法，其特征在于，包括：获取训练文本数据，对所述训练文本数据中各个字对应的字向量并正则化处理，得到正则文本向量；将所述正则文本向量输入至地址相关性判断模型,对所述地址相关性判断模型进行无监督训练，得到所述文本数据的隐含特征向量；使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗预训练；使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗微调训练，生成用于文本分类的神经网络模型。2.如权利要求1所述的基于虚拟对抗的地址相关性判断方法，其特征在于，所述获取训练文本数据，包括：获取训练文本数据，识别所述训练文本中的地址命名实体；对包含地址命名实体的所述训练文本进行数据扩充增强，得到最终的训练文本数据。3.如权利要求2所述的基于虚拟对抗的地址相关性判断方法，其特征在于，所述对包含地址命名实体的所述训练文本进行数据扩充增强，包括：使用训练得到的实体识别模型对每条数据进行地址识别，识别出句子中的地址信息；使用EDA算法对所述训练文本数据进行数据增强；或使用使用Nezha
‑
large模型对所述训练文本数据进行数据增强。4.如权利要求1所述的基于虚拟对抗的地址相关性判断方法，其特征在于，所述使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗预训练，包括：对于每轮迭代中的每个过程，从N(0,σ2I)中采样噪声δ；通过公式计算虚拟对抗的KL损失对于噪声δ的梯度g
adv
；通过δ＝δ+ηg
adv
更新噪声δ，得到最大噪声δ；通过公式求得模型这一个过程的更新梯度g
θ
；最后对模型进行θ＝θ
‑
γg
θ
参数更新，其中γ为学习率参数。5.如权利要求1所述的基于虚拟对抗的地址相关性判断方法，其特征在于，所述使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗微调训练，包括：对于每轮迭代中的每个过程，通过公式求得反向传播的梯度；通过公式δ＝ε
·
g/||g||2求得噪声δ的值；再通过公式求得embedding部分加入噪声之后，反向传播的梯度。最后分别通过梯度g和g
δ
分别更新模型参数参数θ。6.如权利要求1所述的基于虚拟对抗的地址相关性判断方法，...

【专利技术属性】
技术研发人员：邹游，
申请(专利权)人：重庆特斯联启智科技有限公司，
类型：发明
国别省市：