基于预训练模型的文本匹配方法、装置、终端及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种基于预训练模型的文本匹配方法、装置、终端及存储介质，包括：获取预训练模型BERT并对所述预训练模型BERT进行参数微调得到参数共享的BERT模型；获取目标文本并抽取所述目标文本的第一词嵌入向量；将所述第一词嵌入向量映射到低维词嵌入空间得到第二词嵌入向量；输入所述第二词嵌入向量至所述参数共享的BERT模型中，并获取所述参数共享的BERT模型输出的目标向量；根据所述目标向量从预设文本语料库中匹配出最近似文本。本发明专利技术能够快速且准确的匹配出最近似的文本。此外，本发明专利技术还涉及区块链技术领域，所述参数共享的BERT模型可存储于区块链节点中。

【技术实现步骤摘要】
基于预训练模型的文本匹配方法、装置、终端及存储介质
本专利技术涉及人工智能
，具体涉及一种基于预训练模型的文本匹配方法、装置、终端及存储介质。
技术介绍
文本匹配是自然语言领域中一个很常见的任务，是大部分应用系统，比如智能问答、搜索引擎、知识检索等的核心模块。目前文本匹配技术主要是基于关键词匹配和词嵌入的方式，由于一个词语可能有多种表述方式，纯粹基于关键词匹配并不能很好地匹配用户的输入，匹配精确度差，而使用词嵌入的方式，由于训练模型时参数较多，导致训练时间较长，对硬件的配置要求很高。因此，急需提出一种文本匹配方法。
技术实现思路
鉴于以上内容，有必要提出一种基于预训练模型的文本匹配方法、装置、终端及存储介质，能够快速且准确的匹配出最近似的文本。本专利技术的第一方面提供一种基于预训练模型的文本匹配方法，所述基于预训练模型的文本匹配方法包括：获取预训练模型BERT并对所述预训练模型BERT进行参数微调得到参数共享的BERT模型；获取目标文本并抽取所述目标文本的第一词嵌入向量；本文档来自技高网...

【技术保护点】
1.一种基于预训练模型的文本匹配方法，其特征在于，所述基于预训练模型的文本匹配方法包括：/n获取预训练模型BERT并对所述预训练模型BERT进行参数微调得到参数共享的BERT模型；/n获取目标文本并抽取所述目标文本的第一词嵌入向量；/n将所述第一词嵌入向量映射到低维词嵌入空间得到第二词嵌入向量；/n输入所述第二词嵌入向量至所述参数共享的BERT模型中，并获取所述参数共享的BERT模型输出的目标向量；/n根据所述目标向量从预设文本语料库中匹配出最近似文本。/n

【技术特征摘要】
1.一种基于预训练模型的文本匹配方法，其特征在于，所述基于预训练模型的文本匹配方法包括：
获取预训练模型BERT并对所述预训练模型BERT进行参数微调得到参数共享的BERT模型；
获取目标文本并抽取所述目标文本的第一词嵌入向量；
将所述第一词嵌入向量映射到低维词嵌入空间得到第二词嵌入向量；
输入所述第二词嵌入向量至所述参数共享的BERT模型中，并获取所述参数共享的BERT模型输出的目标向量；
根据所述目标向量从预设文本语料库中匹配出最近似文本。


2.如权利要求1所述的基于预训练模型的文本匹配方法，其特征在于，所述对所述预训练模型BERT进行参数微调得到参数共享的BERT模型包括：
获取所述预训练模型BERT中的多个编码层及多个解码层，并确定编码层与解码层之间的对应关系；
获取每个所述编码层的参数，并将所述参数更新为与所述编码层对应的解码层的参数；
基于参数更新后的预训练模型BERT重新进行训练得到参数共享的BERT模型。


3.如权利要求1所述的基于预训练模型的文本匹配方法，其特征在于，所述将所述第一词嵌入向量映射到低维词嵌入空间得到第二词嵌入向量包括：
对所述第一词嵌入向量进行奇异值分解；
提取奇异值分解得到的奇异值作为第二词嵌入向量。


4.如权利要求3所述的基于预训练模型的文本匹配方法，其特征在于，所述提取奇异值分解得到的奇异值作为第二词嵌入向量包括：
计算所述奇异值中非零奇异值的个数；
计算所述个数与预设比例阈值得到目标个数；
选取所述非零奇异值中所述目标个数之前的非零奇异值，并将选取的非零奇异值构建为第二词嵌入向量。


5.如权利要求1所述的基于预训练模型的文本匹配方法，其特征在于，所述抽取所述目标文本的第一词嵌入向量包括：
对所述目标文本进行分词处理得到词块嵌入；
根据所述目标文本的上下文关系获取每一个词块的段号嵌入及获取每一个词块的位置嵌入；
将所述词块嵌入、所述段号嵌入及所述位...

【专利技术属性】
技术研发人员：于溦，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44