【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种基于多模态融合的影像检索方法、系统及介质。
技术介绍
1、间质性肺疾病(interstitial lung disease,ild)是以肺泡壁为主并包括肺泡周围组织及其相邻支撑结构病变的一组疾病。间质性肺疾病在影像学检查中的表现多种多样，包括斑点状、网状、磨玻璃样改变等，这些表现缺乏特异性，且相关合并症的研究较少。评估这些特征需要经验和专业知识，即使是经验丰富的放射科医生也很难快速的分辨出这些疾病模式的表征。相关技术中，结合深度学习分类方法在特发性肺纤维化的单一间质性肺疾病分类上取得了良好的准确性。但是，使用深度学习的分类方法仍有其局限性，由于不同疾病引起的ild病变特征的难以描述和量化，基于深度学习的分类模型很难面对形态差异很大的新病例图像，其面对复杂间质肺病影像的分类精度不高。
技术实现思路
1、为解决上述技术问题，本专利技术的目的在于：提供一种检索精度高的基于多模态融合的影像检索方法、系统及介质。
2、为实现上述目的，本申请实施例的一方面提出了一种基于多模态融合的影像检索方法，包括以下步骤：
3、获取间质肺病数据库，所述间质肺病数据库包括多种类型的间质肺病影像；
4、通过预训练好的深度相似性网络对所述间质肺病影像进行特征提取，得到深度对比特征向量，并通过影像组学公式对所述间质肺病影像进行特征提取，得到第一影像组学特征向量；
5、通过预训练好的多模态特征融合网络对所述深度对比特征向量和所述第一影像组
6、获取待检索向量，根据局部敏感哈希算法对所述待检索向量和所述数据库特征向量进行相似度计算，得到间质肺病检索影像。
7、在一些实施例中，所述深度相似性网络包括卷积层和最大池化层，所述通过预训练好的深度相似性网络对所述间质肺病影像进行特征提取，得到深度对比特征向量，其具体包括：
8、将所述间质肺病影像输入所述深度相似性网络，并通过所述卷积层对所述间质肺病影像进行卷积处理，得到所述间质肺病影像对应的三维张量，所述三维张量包括所述间质肺病影像的宽度、高度以及通道数；
9、通过所述最大池化层对所述通道数进行最大池化处理，得到所有通道对应的激活集合；
10、对所述激活集合进行归一化处理，得到所述深度对比特征向量。
11、在一些实施例中，所述通过影像组学公式对所述间质肺病影像进行特征提取，得到第一影像组学特征向量，其具体包括：
12、对各类所述间质肺病影像进行去噪、聚类以及二值化处理，得到各类所述间质肺病影像对应的肺实质影像；
13、将所述肺实质影像作为所述影像组学公式的roi区域，进而对所述roi区域进行特征计算，得到所述roi区域对应的所述第一影像组学特征向量；
14、其中，所述第一影像组学特征向量包括几何形状特征、强度特征以及纹理特征。
15、在一些实施例中，所述通过预训练好的多模态特征融合网络对所述深度对比特征向量和所述第一影像组学特征向量进行融合，得到数据库特征向量，其具体包括：
16、计算所述几何形状特征、所述强度特征以及所述纹理特征的最值，进而根据所述最值对所述第一影像组学特征向量进行归一化处理，得到第二影像组学特征向量；
17、通过所述多模态特征融合网络对所述深度对比特征向量和所述第二影像组学特征向量进行融合，得到所述数据库特征向量。
18、在一些实施例中，所述多模态特征融合网络包括卷积层和线性层，所述通过所述多模态特征融合网络对所述深度对比特征向量和所述第二影像组学特征向量进行融合，得到所述数据库特征向量，其具体包括：
19、将所述深度对比特征向量和所述第二影像组学特征向量输入所述多模态特征融合网络，并对所述深度对比特征向量和所述第二影像组学特征向量进行外积运算，得到联合表征空间；
20、通过所述卷积层对所述联合表征空间进行通道扩展、空间降维以及通道融合，得到相关性特征；
21、将所述相关性特征、所述深度对比特征向量以及所述第二影像组学特征向量进行拼接，得到特征融合向量；
22、通过所述线性层对所述特征融合向量进行映射和降维，得到所述数据库特征向量。
23、在一些实施例中，所述根据局部敏感哈希算法对所述待检索向量和所述数据库特征向量进行相似度计算，得到间质肺病检索影像，其具体包括：
24、确定所述待检索向量的长度，进而根据正态分布生成与所述长度等长的多个随机法向量；
25、将所述数据库特征向量与多个所述随机法向量的转置进行乘积操作和函数代入处理，得到所述数据库特征向量对应的第一哈希桶；
26、将所述待检索向量与多个所述随机法向量的转置进行乘积操作和函数代入处理，得到所述待检索向量所在的第二哈希桶；
27、根据所述第一哈希桶查找所述第二哈希桶中存储的所述数据库特征向量，得到多个数据库子向量；
28、将所述待检索向量与各所述数据库子向量进行余弦相似度计算，得到所述间质肺病检索影像。
29、在一些实施例中，所述将所述待检索向量与各所述数据库子向量进行余弦相似度计算，得到所述间质肺病检索影像，其具体包括：
30、确定所述待检索向量与各所述数据库子向量的模长；
31、当所述待检索向量与各所述数据库子向量的模长为第一预设长度，通过余弦距离公式对所述待检索向量和各所述数据库子向量的转置进行相似度计算，得到第一距离集合；
32、当所述待检索向量与各所述数据库子向量的模长为第二预设长度，将所述待检索向量与各所述数据库子向量的转置进行乘积操作，得到第二距离集合；
33、根据所述第一距离集合和所述第二距离集合确定符合预设数值的所述数据库子向量，得到所述间质肺病检索影像。
34、为实现上述目的，本申请实施例的另一方面提出了一种基于多模态融合的影像检索系统，包括：
35、数据库获取模块，用于获取间质肺病数据库，所述间质肺病数据库包括多种类型的间质肺病影像；
36、特征提取模块，用于通过预训练好的深度相似性网络对所述间质肺病影像进行特征提取，得到深度对比特征向量，并通过影像组学公式对所述间质肺病影像进行特征提取，得到第一影像组学特征向量；
37、特征融合模块，用于通过预训练好的多模态特征融合网络对所述深度对比特征向量和所述第一影像组学特征向量进行融合，得到数据库特征向量；
38、影像检索模块，用于获取待检索向量，根据局部敏感哈希算法对所述待检索向量和所述数据库特征向量进行相似度计算，得到间质肺病检索影像。
39、在一些实施例中，所述特征提取模块包括：
40、卷积处理单元，用于将所述间质肺病影像输入所述深度相似性网络，并通过所述卷积层对所述间质肺病影像进行卷积处理，得到所述间质肺病影像对应的三维张量，所述三本文档来自技高网...
【技术保护点】
1.一种基于多模态融合的影像检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态融合的影像检索方法，其特征在于，所述深度相似性网络包括卷积层和最大池化层，所述通过预训练好的深度相似性网络对所述间质肺病影像进行特征提取，得到深度对比特征向量，其具体包括：
3.根据权利要求1所述的一种基于多模态融合的影像检索方法，其特征在于，所述通过影像组学公式对所述间质肺病影像进行特征提取，得到第一影像组学特征向量，其具体包括：
4.根据权利要求3所述的一种基于多模态融合的影像检索方法，其特征在于，所述通过预训练好的多模态特征融合网络对所述深度对比特征向量和所述第一影像组学特征向量进行融合，得到数据库特征向量，其具体包括：
5.根据权利要求4所述的一种基于多模态融合的影像检索方法，其特征在于，所述多模态特征融合网络包括卷积层和线性层，所述通过所述多模态特征融合网络对所述深度对比特征向量和所述第二影像组学特征向量进行融合，得到所述数据库特征向量，其具体包括：
6.根据权利要求1所述的一种基于多模态融合的影像检索方法，
7.根据权利要求6所述的一种基于多模态融合的影像检索方法，其特征在于，所述将所述待检索向量与各所述数据库子向量进行余弦相似度计算，得到所述间质肺病检索影像，其具体包括：
8.一种基于多模态融合的影像检索系统，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于多模态融合的影像检索方法的步骤。
10.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的基于多模态融合的影像检索方法的步骤。
...【技术特征摘要】
1.一种基于多模态融合的影像检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态融合的影像检索方法，其特征在于，所述深度相似性网络包括卷积层和最大池化层，所述通过预训练好的深度相似性网络对所述间质肺病影像进行特征提取，得到深度对比特征向量，其具体包括：
3.根据权利要求1所述的一种基于多模态融合的影像检索方法，其特征在于，所述通过影像组学公式对所述间质肺病影像进行特征提取，得到第一影像组学特征向量，其具体包括：
4.根据权利要求3所述的一种基于多模态融合的影像检索方法，其特征在于，所述通过预训练好的多模态特征融合网络对所述深度对比特征向量和所述第一影像组学特征向量进行融合，得到数据库特征向量，其具体包括：
5.根据权利要求4所述的一种基于多模态融合的影像检索方法，其特征在于，所述多模态特征融合网络包括卷积层和线性层，所述通过所述多模态特征融合网络对所述深度对比特征向量和所述第二影像组学特征向量进行融合，得到所述数据库特征向量，其具体包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：谢小峰，江嵩，陈泽雄，王选齐，王小坚，袁菲菲，周洁，
申请(专利权)人：海南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。