学者网多模态检索模型的训练方法、系统和存储介质技术方案

本发明专利技术公开了一种学者网多模态检索模型的训练方法、系统和存储介质，可广泛应用于检索技术领域。本发明专利技术方法通过将爬取的多个包括图文数据和第一文本数据的用户数据输入到数据适应模块内，以得到预训练模块能够接收的连续特征向量，接着将连续特征向量输入到预训练模块后，得到高阶语义信息特征向量，再通过非线性迁移模块根据高阶语义信息特征向量，计算得到图文数据和第一文本数据的预测相似度，再将预测相似度与真实相似度来调节学者网多模态检索模型的参数，从而可以使学者网多模态检索模型的参数能够达到学者网数据检索的较佳效果，以有效提高学者网数据检索结果的准确度。度。度。

【技术实现步骤摘要】
学者网多模态检索模型的训练方法、系统和存储介质


[0001]本专利技术涉及检索
，尤其是一种学者网多模态检索模型的训练方法、系统和存储介质。

技术介绍

[0002]相关技术中，在常见的多模态数据中，图像往往对应于该图像的文字描述，即图像与文字具有相当强的底层语义关联关系。但是，在学术网站上收集起来的数据集，一般具有较弱的图文语义对应关系，更偏向于人的活动而非图文在细节上的对应，同时数据的噪声也比较大。相对于已有的图文数据集，学者网里面的文本会更加常，会更加以文本为主，而且不是用来对图像进行具体的描述。因此，基于学者网的多模态数据的分布与已有的数据集分布是不同的，导致使用现有的预训练模块当初始化参数，再使用少量的下游数据进行微调的方式，再使用少量下游数据进行微调的方式，难以提高检索结果的准确度。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种学者网多模态检索模型的训练方法、系统和存储介质，能够有效提高学者网数据检索结果的准确度。
[0004]一方面，本专利技术实施例提供了一种学者网多模态检索模型的训练方法，所述学者网多模态检索模型包括数据适应模块、预训练模块和非线性迁移模块，所述训练方法包括以下步骤：
[0005]爬取学者网的多个用户数据，所述用户数据包括图文数据和第一文本数据；
[0006]将所述用户数据输入到所述数据适应模块，得到连续特征向量；
[0007]将所述连续特征向量输入到所述预训练模块，得到高阶语义信息特征向量；
[0008]将所述高阶语义信息特征向量输入到所述非线性迁移模块，计算所述图文数据和所述第一文本数据的预测相似度；
[0009]获取所述图文数据和所述第一文本数据的真实相似度；
[0010]根据所述预测相似度和所述真实相似度调节所述学者网多模态检索模型的参数。
[0011]在一些实施例中，所述数据适应模块包括线性嵌入层和文字提取层；所述将所述用户数据输入到所述数据适应模块，得到连续特征向量，包括：
[0012]将所述第一文本数据输入所述线性嵌入层，得到第一文本连续特征向量；
[0013]将所述图文数据输入所述文字提取层，得到第二文本数据；
[0014]将所述第二文本数据输入到所述线性嵌入层，得到第二文本连续特征向量。
[0015]在一些实施例中，所述预训练模块包括文本特征提取器和视觉特征提取器；所述将所述连续特征向量输入到所述预训练模块，得到高阶语义信息特征向量，包括：
[0016]将所述第一文本连续特征向量输入所述文本特征提取器，得到第一文本高阶语义信息特征向量；以及将第二文本连续特征向量输入所述文本特征提取器，得到第二文本高
阶语义信息特征向量；
[0017]将所述图文数据输入所述视觉特征提取器，得到图像高阶语义信息特征向量。
[0018]在一些实施例中，所述将所述高阶语义信息特征向量输入到所述非线性迁移模块，计算所述图文数据和所述第一文本数据的预测相似度，包括：
[0019]将所述第一文本高阶语义信息特征向量和所述图像高阶语义信息特征向量输入到所述非线性迁移模块，得到第一相似度；
[0020]将所述第一文本高阶语义信息特征向量和所述第二文本高阶语义信息特征向量输入到所述非线性迁移模块，得到第二相似度；
[0021]根据所述第一相似度和所述第二相似度，计算预测相似度。
[0022]在一些实施例中，所述非线性迁移模块包括全连接层、BN层和ReLU层。
[0023]在一些实施例中，在所述将所述第一文本数据输入所述线性嵌入层之前，所述方法还包括以下步骤：
[0024]通过中文分词工具将所述第一文本数据转换为单词文本。
[0025]在一些实施例中，所述文字提取层包括OCR模块。
[0026]另一方面，本专利技术实施例提供了一种学者网多模态检索模型的训练系统，所述学者网多模态检索模型包括数据适应模块、预训练模块和非线性迁移模块，所述系统包括：
[0027]爬取模块，用于爬取学者网的多个用户数据，所述用户数据包括图文数据和第一文本数据；
[0028]第一数据处理模块，用于将所述用户数据输入到所述数据适应模块，得到连续特征向量；
[0029]第二数据处理模块，用于将所述连续特征向量输入到所述预训练模块，得到高阶语义信息特征向量；
[0030]计算模块，用于将所述高阶语义信息特征向量输入到所述非线性迁移模块，计算所述图文数据和所述第一文本数据的预测相似度；
[0031]获取模块，用于获取所述图文数据和所述第一文本数据的真实相似度；
[0032]调节模块，用于根据所述预测相似度和所述真实相似度调节所述学者网多模态检索模型的参数。
[0033]另一方面，本专利技术实施例提供了一种学者网多模态检索模型的训练系统，包括：
[0034]至少一个存储器，用于存储程序；
[0035]至少一个处理器，用于加载所述程序以执行所述的学者网多模态检索模型的训练方法。
[0036]另一方面，本专利技术实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现所述的学者网多模态检索模型的训练方法。
[0037]本实施例提供的一种学者网多模态检索模型的训练方法，具有如下有益效果：
[0038]本实施例通过将爬取的多个包括图文数据和第一文本数据的用户数据输入到数据适应模块内，以得到预训练模块能够接收的连续特征向量，接着将连续特征向量输入到预训练模块后，得到高阶语义信息特征向量，再通过非线性迁移模块根据高阶语义信息特征向量，计算得到图文数据和第一文本数据的预测相似度，再将预测相似度与真实相似度
来调节学者网多模态检索模型的参数，从而可以使学者网多模态检索模型的参数能够达到学者网数据检索的较佳效果，以有效提高学者网数据检索结果的准确度。
[0039]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0040]下面结合附图和实施例对本专利技术做进一步的说明，其中：
[0041]图1为本专利技术实施例的一种学者网多模态检索模型的训练方法的流程图；
[0042]图2为本专利技术实施例的一种学者网多模态检索模型的示意图。
具体实施方式
[0043]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0044]在本专利技术的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种学者网多模态检索模型的训练方法，其特征在于，所述学者网多模态检索模型包括数据适应模块、预训练模块和非线性迁移模块，所述训练方法包括以下步骤：爬取学者网的多个用户数据，所述用户数据包括图文数据和第一文本数据；将所述用户数据输入到所述数据适应模块，得到连续特征向量；将所述连续特征向量输入到所述预训练模块，得到高阶语义信息特征向量；将所述高阶语义信息特征向量输入到所述非线性迁移模块，计算所述图文数据和所述第一文本数据的预测相似度；获取所述图文数据和所述第一文本数据的真实相似度；根据所述预测相似度和所述真实相似度调节所述学者网多模态检索模型的参数。2.根据权利要求1所述的一种学者网多模态检索模型的训练方法，其特征在于，所述数据适应模块包括线性嵌入层和文字提取层；所述将所述用户数据输入到所述数据适应模块，得到连续特征向量，包括：将所述第一文本数据输入所述线性嵌入层，得到第一文本连续特征向量；将所述图文数据输入所述文字提取层，得到第二文本数据；将所述第二文本数据输入到所述线性嵌入层，得到第二文本连续特征向量。3.根据权利要求2所述的一种学者网多模态检索模型的训练方法，其特征在于，所述预训练模块包括文本特征提取器和视觉特征提取器；所述将所述连续特征向量输入到所述预训练模块，得到高阶语义信息特征向量，包括：将所述第一文本连续特征向量输入所述文本特征提取器，得到第一文本高阶语义信息特征向量；以及将第二文本连续特征向量输入所述文本特征提取器，得到第二文本高阶语义信息特征向量；将所述图文数据输入所述视觉特征提取器，得到图像高阶语义信息特征向量。4.根据权利要求3所述的一种学者网多模态检索模型的训练方法，其特征在于，所述将所述高阶语义信息特征向量输入到所述非线性迁移模块，计算所述图文数据和所述第一文本数据的预测相似度，包括：将所述第一文本高阶语义信息特征向量和所述图像高阶语义信息特征向量输入到所述非线性迁移模块，得到第一相似度；将所述第一...

【专利技术属性】
技术研发人员：毛承洁，楚寒露，顾文静，汤非易，张莹祺，汤庸，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：