【技术实现步骤摘要】
本专利技术涉及跨模态检索，特别涉及一种基于跨模态检索模型的检索方法、一种计算机可读存储介质、一种计算机设备和一种基于跨模态检索模型的检索装置。
技术介绍
1、相关技术中，现有的文本分子跨模态检索大多使用两个编码器对成对的文本和分子分别进行编码，然后使用对比学习的训练目标进行模态对齐，但是由于文本和分子的模态差距过大，一种是序列，一种是分子图，并且通常使用两个在单模态数据上分别预训练的编码器提取特征表示，仅用对比学习无法很好地捕捉模态共享的特征；且现有的训练目标都是基于单个实例的一阶特征，忽略了蕴含结构信息的二阶相似度特征，从而大大降低了跨模态检索模型的检索效果。
技术实现思路
1、本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于跨模态检索模型的检索方法，通过在模型结构上加强了模态交互，而且在训练目标上利用二阶相似度增强模态对齐，从而有效提升了跨模态检索模型的检索效果。
2、本专利技术的第二个目的在于提出一种计算机可读存储介质
3、本文档来自技高网...
【技术保护点】
1.一种基于跨模态检索模型的检索方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于跨模态检索模型的检索方法，其特征在于，所述多模态编码器包括文本子编码器和分子子编码器；
3.如权利要求2所述的基于跨模态检索模型的检索方法，其特征在于，所述判别器包括线性层，并与作为生成器的所述分子子编码器一起进行对抗训练。
4.如权利要求3所述的基于跨模态检索模型的检索方法，其特征在于，所述基于记忆向量的模态共享特征提取器包括记忆向量库、交叉注意力模块和线性层；
5.如权利要求4所述的基于跨模态检索模型的检索方法，其特征在于，在...
【技术特征摘要】
1.一种基于跨模态检索模型的检索方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于跨模态检索模型的检索方法，其特征在于，所述多模态编码器包括文本子编码器和分子子编码器；
3.如权利要求2所述的基于跨模态检索模型的检索方法，其特征在于，所述判别器包括线性层，并与作为生成器的所述分子子编码器一起进行对抗训练。
4.如权利要求3所述的基于跨模态检索模型的检索方法，其特征在于，所述基于记忆向量的模态共享特征提取器包括记忆向量库、交叉注意力模块和线性层；
5.如权利要求4所述的基于跨模态检索模型的检索方法，其特征在于，在训练过程中采用的总训练损失函数包括第一一阶相似度损失、第二一阶相似度损失、第一二阶相似度损失和第二二阶相似度损失；
6.一种计算机可读存储介...
【专利技术属性】
技术研发人员：苏劲松，宋佳，庄婉如，林渝杰，张亮，
申请(专利权)人：厦门大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。