【技术实现步骤摘要】
本专利技术涉及数据检索，尤其涉及一种跨模态分子信息检索方法、系统、设备和介质。
技术介绍
1、近年来，信息技术与大数据的飞速发展对数据检索领域带来了深远影响，在分子信息领域，传统的数据检索方法大多依赖于单一的数据模态，如文本、图像或者图结构，这些方式在处理简单查询时表现较为良好，例如，图结构能够有效地揭示实体间复杂的关系网络，图像可以提供直观丰富的视觉信息，而文本则能够详细描述具体的概念和事实。
2、然而，在应对复杂查询和提高信息检索效率方面时，由于单模态数据源在表达信息时存在局限性，文本、图像和图结构等不同数据类型，各自拥有独特的信息表达方式和优势，因此，在处理多模态信息需求的查询时，单一模态的分子信息检索系统往往难以达到理想效果，甚至可能导致信息遗漏或检索精度下降。
技术实现思路
1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
2、本专利技术实施例提供了一种跨模态分子信息检索方法、电子设备和介质，旨在解决现有技术中单一模态的分子信...
【技术保护点】
1.一种跨模态分子信息检索方法，其特征在于，包括：
2.根据权利要求1所述的跨模态分子信息检索方法，其特征在于，所述模态提取编码器包括文本编码器、图像编码器和图结构编码器，所述单模态表示包括文本模态表示、图像模态表示和图结构模态表示，所述根据所述多模态数据得到多个单模态表示，包括：
3.根据权利要求2所述的跨模态分子信息检索方法，其特征在于，所述计算多个所述单模态表示对应的对比损失，根据所述对比损失训练并优化所述模态提取编码器，包括：
4.根据权利要求2所述的跨模态分子信息检索方法，其特征在于，所述模态融合编码器包括有多层交叉注意力...
【技术特征摘要】
1.一种跨模态分子信息检索方法，其特征在于，包括：
2.根据权利要求1所述的跨模态分子信息检索方法，其特征在于，所述模态提取编码器包括文本编码器、图像编码器和图结构编码器，所述单模态表示包括文本模态表示、图像模态表示和图结构模态表示，所述根据所述多模态数据得到多个单模态表示，包括：
3.根据权利要求2所述的跨模态分子信息检索方法，其特征在于，所述计算多个所述单模态表示对应的对比损失，根据所述对比损失训练并优化所述模态提取编码器，包括：
4.根据权利要求2所述的跨模态分子信息检索方法，其特征在于，所述模态融合编码器包括有多层交叉注意力层，所述根据多个所述单模态表示得到多模态表示，包括：
5.根据权利要求4所述的跨模态分子信息检索方法，其特征在于，所述计算所述多模态表示对应的融合损失，根据所述融合损失训练并优化所述模态融合编码器，包括：
6.根据权利要求1所述的跨模态分子信息检索方法，其特征在于，所述将所述目标模态数据输入至所述多模态分子信息模型，得到所...
【专利技术属性】
技术研发人员：任智祥，刘朋飞，赵天宇，田永鸿，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。