本发明专利技术涉及人工智能领域及数字医疗领域，揭露了一种图像的检索方法，该方法包括：预先构建一个模型并利用大量数据进行训练，将待检索图像输入至模型中，利用输入层的线性投影模块对图像进行滑窗切割和线性投影及利用位置编码模块进行位置编码，得到编码后的特征序列，将特征序列通过编码层中编码器的多层感知机层和多头自注意力模块分别提取出全局特征向量和局部特征向量，将全局特征向量和局部特征向量经全连接层融合，得到目标特征向量。本发明专利技术还提出一种图像检索装置、电子设备以及存储介质。此外，本发明专利技术还涉及区块链技术，所述待检索图像可存储于区块链中。检索图像可存储于区块链中。检索图像可存储于区块链中。
【技术实现步骤摘要】
图像的检索方法、装置、设备及介质
[0001]本专利技术涉及人工智能领域及数字医疗领域，涉及一种图像的检索方法、装置、设备及介质。
技术介绍
[0002]在日常生活中，人们在看到一张图像后，想要得到与这张图像相近的其他图像或信息，在搜索引擎上输入图像去检索，往往得到的都是与检索图像不太相近的其他图像。例如，拍摄皮肤上的一些红疹图像，输入到搜索引擎中，得到的是各式各样的其他图像，但与待检索图像关联性不大。
[0003]在现有技术中，通过一张图像去检索，往往会得到一些关联性不强的图像，甚至得到一些毫无相关的图像，不能较为准确的通过一张图像去得到与图像相关联的一些结果。
[0004]为了解决在图像检索的技术中，由于模型提取的特征不全面或者提取的特征不精确，所检索出的与检索图像相似度不大的其他图像或与检索图像相关联不强的结果的技术问题，在此基础上，提出一种图像检索的方法，该图像检索的方法还可以支持疾病辅助诊断、健康管理、远程会诊等功能。
技术实现思路
[0005]本专利技术提供一种图像的检索方法、装置、设备及介质，其主要目的在于解决现有技术中，由于提取的特征不全面，导致对图像检索的结果往往与检索图像不相关联或不相似的技术问题。
[0006]为实现上述目的，本专利技术提供一种图像检索的方法，所述方法包括：
[0007]将待检索图像输入图像检索模型的输入层以提取出所述待检索图像各个图像区域的区域特征向量，拼接所有区域特征向量，生成图像特征序列，所述区域特征向量包括一个与所述区域特征向量维度相同的嵌入向量；
[0008]利用所述图像检索模型的编码层对所述图像特征序列执行归一化操作，得到所述待检索图像的全局特征向量；
[0009]利用所述编码层的注意力机制从所述图像特征序列中选取预设数量的区域特征向量进行特征融合，得到所述待检索图像的局部特征向量；
[0010]将所述全局特征向量和所述局部特征向量输入所述图像检索模型的拼接全连接层进行特征拼接，输出检索结果。
[0011]可选地，所述将待检索图像输入图像检索模型的输入层以提取出所述待检索图像各个图像区域的区域特征向量，该方法还包括：
[0012]利用滑动窗口技术切割所述待检索图像，得到至少一个图像区域。
[0013]可选地，所述将待检索图像输入图像检索模型的输入层以提取出所述待检索图像各个图像区域的区域特征向量，包括：
[0014]利用所述输入层的线性模块中的卷积核对所述待检索图像进行投影，得到所述待
检索图像的图像张量；
[0015]将所述图像张量进行张量扁平化操作，得到所述待检索图像各个图像区域的区域特征向量。
[0016]可选地，所述拼接所有区域特征向量，生成图像特征序列，包括：
[0017]利用所述输入层的位置编码模块对各个所述区域特征向量添加位置编码，拼接添加位置编码后的所有区域特征向量，生成所述图像特征序列。
[0018]可选地，所述利用所述输入层的位置编码模块对各个所述区域特征向量添加位置编码，拼接添加位置编码后的所有区域特征向量，生成所述图像特征序列，包括：
[0019]添加一个可学习的嵌入向量，并编码为classtoken0；
[0020]拼接添加位置编码后的所有区域特征向量与所述可学习的嵌入向量，生成所述图像特征序列。
[0021]可选地，所述利用所述编码层的注意力机制从所述图像特征序列中选取预设数量个与所述嵌入向量的相似度大于预设阈值的区域特征向量进行特征融合，得到所述待检索图像的局部特征向量，包括：
[0022]利用多头自注意力模块对所述图像特征序列进行分析，产生一个注意力分数；
[0023]将所述注意力分数进行累乘，得到注意力图；
[0024]从所述注意力图中挑选预设数量的token，将所述预设数量的token输入所述预设的图像检索模型的融合全连接层中，经过所述融合全连接层的融合，得到所述待检索图像的局部特征向量。
[0025]可选地，所述将所述全局特征向量和所述局部特征向量输入所述图像检索模型的拼接全连接层进行特征拼接，输出检索结果，包括：
[0026]将所述局部特征向量和所述全局特征向量输入所述第二全连接层中，通过连接函数将所述局部特征向量和所述全局特征向量进行首尾拼接，得到目标特征向量；
[0027]将所述目标特征向量输入预设的数据库中，计算所述目标特征向量与数据库的每一个向量的相似度，并将所述相似度从大到小的顺序排列后，输出检索结果。
[0028]为了解决上述问题，本专利技术还提供一种图像检索装置，包括：
[0029]特征提取模块，用于将待检索图像输入图像检索模型的输入层以提取出所述待检索图像各个图像区域的区域特征向量；
[0030]向量拼接模块，用于拼接所有的所述区域特征向量，生成图像特征序列；将所述全局特征向量和所述局部特征向量输入所述图像检索模型的拼接全连接层进行特征拼接，输出检索结果；
[0031]向量计算模块，用于利用所述图像检索模型的编码层对所述图像特征序列进行执行归一化操作，得到所述待检索图像的全局特征向量；
[0032]向量融合模块，用于利用所述编码层的注意力机制从所述图像特征序列中选取预设数量个与所述嵌入向量的相似度大于预设阈值的区域特征向量进行特征融合，得到所述待检索图像的局部特征向量。
[0033]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0034]至少一个处理器；以及，
[0035]与所述至少一个处理器通信连接的存储器；其中，
[0036]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的图像检索的方法。
[0037]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机程序被处理器执行时实现所述的图像检索的方法。
[0038]本专利技术实施例将待检索图像输入预先构建的模型中，通过线性投影模块的卷积核将待检索图像拉成一个线性排列并进行投影，得到待检索图像的各个区域的区域特征向量，通过滑动窗口技术将待检索图像切分成多个图像区域，一个区域的区域特征向量对应一个图像区域，得到图像区域特征向量，利用线性投影技术和滑动窗口切割技术，能使卷积核精准作用在每一个图像区域上并进行特征提取，更细致的对检索图像进行特征提取，并添加一个可学习的嵌入向量，通过位置编码模块对图像区域特征向量添加位置编码，拼接成图像序列，避免在没有字符的情况下，不同的计算所得出的结果是一致地，能提高计算与分类的准确率，利用多头感知机模块输出全局特征向量，利用自注意力模块输出局部特征向量，将全局特征向量和局部特征项链拼接成目标特征向量，通过全局特征向量确立待检索图像的相同类别的图像或相似的特征，结合局部特征向量能区分出高度相似但不同类别的目标，通过将待检索图像输入模型中，提取目标特征向量，实现对待本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像的检索方法，其特征在于，所述方法包括步骤：将待检索图像输入图像检索模型的输入层以提取出所述待检索图像各个图像区域的区域特征向量，拼接所有区域特征向量，生成图像特征序列，所述区域特征向量包括一个与所述区域特征向量维度相同的嵌入向量；利用所述图像检索模型的编码层对所述图像特征序列执行归一化操作，得到所述待检索图像的全局特征向量；利用所述编码层的注意力机制从所述图像特征序列中选取预设数量的区域特征向量进行特征融合，得到所述待检索图像的局部特征向量；将所述全局特征向量和所述局部特征向量输入所述图像检索模型的拼接全连接层进行特征拼接，输出检索结果。2.如权利要求1所述的一种图像的检索方法，其特征在于，所述将待检索图像输入图像检索模型的输入层以提取出所述待检索图像各个图像区域的区域特征向量，该方法还包括：利用滑动窗口技术切割所述待检索图像，得到至少一个图像区域。3.如权利要求1所述的一种图像的检索方法，其特征在于，所述将待检索图像输入图像检索模型的输入层以提取出所述待检索图像各个图像区域的区域特征向量，包括：利用所述输入层的线性模块中的卷积核对所述待检索图像进行投影，得到所述待检索图像的图像张量；将所述图像张量进行张量扁平化操作，得到所述待检索图像各个图像区域的区域特征向量。4.如权利要求1所述的一种图像的检索方法，其特征在于，所述拼接所有区域特征向量，生成图像特征序列，包括：利用所述输入层的位置编码模块对各个所述区域特征向量添加位置编码，拼接添加位置编码后的所有区域特征向量，生成所述图像特征序列。5.如权利要求4所述的一种图像的检索方法，其特征在于，所述利用所述输入层的位置编码模块对各个所述区域特征向量添加位置编码，拼接添加位置编码后的所有区域特征向量，生成所述图像特征序列，包括：添加一个可学习的嵌入向量，并编码为classtoken0；拼接添加位置编码后的所有区域特征向量与所述可学习的嵌入向量，生成所述图像特征序列。6.如权利要求1所述的一种图像的检索方法，其特征在于，所述利用所述编码层的注意力机制从所述图像特征序列中选取预设数量个与所述嵌入向量的相似度大于预设阈值的区域特征向量进行特征融合，...
【专利技术属性】
技术研发人员：唐小初，苏童，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。