历史建筑跨模态检索方法、系统及介质技术方案

本发明专利技术公开了一种历史建筑跨模态检索方法、系统及介质，属于历史建筑及计算机视觉领域，方法包括：获取并生成历史建筑的文本特征向量X<subgt;α</subgt;和图像特征向量X<subgt;β</subgt;；对X<subgt;α</subgt;中的各词向量进行嵌入处理后与查询权值矩阵Q<subgt;α</subgt;相乘，得到相应的查询向量对X<subgt;β</subgt;中的各图像向量进行嵌入处理后分别与键权值矩阵K<subgt;β</subgt;、值权值矩阵V<subgt;β</subgt;相乘，得到相应的键向量和值向量利用进行基于注意力机制的计算，得到融合向量；将各历史建筑及其融合向量添加至HBIM数据库，以完成所述HBIM数据库的构建；计算输入的检索数据与所述HBIM数据库中各融合向量之间的相似度，输出相似度最高的若干个融合向量对应的历史建筑。

【技术实现步骤摘要】

本专利技术属于历史建筑及计算机视觉领域，更具体地，涉及一种历史建筑跨模态检索方法、系统及介质。

技术介绍

1、历史建筑的保护与再利用具有重要意义，随着信息技术的发展，数字化成为历史建筑保护更新工程中的必要方法。在历史建筑检索方面，现有研究大多是通过单一模态数据来考虑的外观上的相似，并未考虑到历史建筑本身所包含的结构、风格、特色构件等历史文化信息，也鲜有对历史建筑多模态数据信息综合考虑来进行检索。通常侧重于实现单一模态数据的快速检索、提升单一模态数据的检索能力等方面的研究。

2、考虑到一个建筑拥有的多种模态数据的表现方式不一样，看待事物的角度也会不一样，会存在信息冗余和互补的情况，甚至模态间可能还存在多种不同的信息交互。如果能合理的处理多模态信息，就能得到丰富特征信息，对历史建筑信息检索具有重要意义，目前对历史建筑的跨模态检索的研究较少。而图文跨模态检索方法虽然已有大量的研究，但由于训练数据集的不同，导致不能够直接应用于历史建筑领域。

技术实现思路

1、针对现有技术的缺陷和改进需求，本专利技术提供了本文档来自技高网...

【技术保护点】

1.一种历史建筑跨模态检索方法，其特征在于，包括：HBIM数据库构建阶段S1-S4和跨模态检索阶段S5；

2.如权利要求1所述的历史建筑跨模态检索方法，其特征在于，所述获取历史建筑的文本数据和图像数据，包括：

3.如权利要求1所述的历史建筑跨模态检索方法，其特征在于，所述S1中的预处理包括：

4.如权利要求1所述的历史建筑跨模态检索方法，其特征在于，所述S1中的特征提取包括：

5.如权利要求1-4任一项所述的历史建筑跨模态检索方法，其特征在于，所述融合向量为：

6.如权利要求1所述的历史建筑跨模态检索方法，其特征在于，所述S2中...

【技术特征摘要】

1.一种历史建筑跨模态检索方法，其特征在于，包括：hbim数据库构建阶段s1-s4和跨模态检索阶段s5；

2.如权利要求1所述的历史建筑跨模态检索方法，其特征在于，所述获取历史建筑的文本数据和图像数据，包括：

3.如权利要求1所述的历史建筑跨模态检索方法，其特征在于，所述s1中的预处理包括：

4.如权利要求1所述的历史建筑跨模态检索方法，其特征在于，所述s1中的特征提取包括：

5.如权利要求1-4任一项所述的历史建筑跨模态检索...

【专利技术属性】
技术研发人员：陈维亚，骆汉宾，袁嘉梦，李林繁，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：