【技术实现步骤摘要】
本专利技术涉及图像识别和可视化图像的，尤其涉及一种图像检索方法、装置、电子设备及计算机可读存储介质。
技术介绍
1、图像检索系统是通过计算机技术对图像进行自动分类和识别，以便在接收用户输入的查询指令后能够快速准确地返回相关图像的搜索引擎。目前的图像检索系统，其输入模态都是单一的，如基于文本匹配的图像检索系统，或基于图像内容匹配的图像检索系统。但在实际应用场景中，用户的输入模态需求可能是多样的，比如文本描述，示例图像、手绘草图等，因为用户可能难以用单一输入准确表达自己的意图，特别是在医疗、金融等对检索结果可靠性有更高要求的领域，多模态输入更有利于用户需求的表达和理解，进而返回匹配度高、可靠性高的检索结果。此外，目前的图像检索系统只是针对用户的输入内容直接给出检索结果，整个检索过程是一个黑箱，用户不能直观地看到系统对其输入内容的理解，不利于用户调整输入内容。
技术实现思路
1、本专利技术提供一种图像检索方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高图像检索的准确率，增加用户反馈以提升用户体验。
2、为实现上述目的，本专利技术提供一种图像检索方法，所述方法包括：
3、获取客户端在显示界面输入的至少一个查询内容，根据每个查询内容所属的分类将所述查询内容导入对应的处理模块转换为编码向量；
4、获取客户端在显示界面输入的每个查询内容所属的分类对应的权重，根据所述查询内容对应的编码向量和权重生成可视化图像，将所述可视化图像返回所述显示界面以供客户
5、根据客户端在显示界面确认的查询内容对应的权重和编码向量，在向量数据库中进行联合查询得到目标向量，根据预设的向量与图像的映射关系从图像数据库获取与所述目标向量匹配的图像返回显示界面进行展示。
6、可选地，所述显示界面包括输入区域、意图可视化区域以及检索图像展示区域；其中，所述输入区域用于接收客户端输入的至少一个查询内容以及每个查询内容所属的分类对应的权重；所述意图可视化区域用于展示根据所述查询内容对应的编码向量和权重生成的可视化图像；所述检索图像展示区域用于展示从图像数据库获取的与目标向量匹配的图像。
7、可选地，所述根据每个查询内容所属的分类将所述查询内容导入对应的处理模块转换为编码向量，包括：
8、识别所述查询内容所属的分类，所述查询内容所属的分类包括上传图像、文本内容和手绘草图；
9、若所述查询内容所属的分类为上传图像，将所述查询内容输入图像编码器进行编码得到上传图像编码向量，将所述上传图像编码向量输入预训练的图像领域适应模块得到第一编码向量；
10、若所述查询内容所属的分类为文本内容，将所述查询内容中的输入文本编码器进行编码得到文本内容编码向量，将所述文本内容编码向量输入预训练的文本领域适应模块得到第二编码向量；
11、若所述查询内容所属的分类为手绘草图，将所述查询内容中的输入图像编码器进行编码，对编码后得到的向量进行修正得到手绘草图编码向量，将所述手绘草图编码向量输入预训练的图像领域适应模块得到第三编码向量。
12、可选地，所述根据所述查询内容对应的编码向量和权重生成可视化图像生成可视化图像包括：
13、根据所述查询内容所属的分类为所述查询内容对应的编码向量设置对应的权重，并将各分类查询内容对应的编码向量及其权重输入预训练的dalle2跨模态生成模型以生成可视化图像。
14、可选地，所述将所述可视化图像返回所述显示界面以供客户端对所述查询内容和权重进行修改或确认，包括：
15、将所述可视化图像返回所述显示界面进行展示后，重新获取客户端在所述显示界面的输入内容；
16、若所述输入内容为确认指令，根据所述查询内容及其权重进行图像检索；
17、若所述输入内容为对所述查询内容及其权重的修改，根据修改后的查询内容和权重生成新的可视化图像进行展示并获取新的输入内容，直至获取的输入内容为确认指令。
18、可选地，所述向量数据库的构建过程包括：
19、获取预设图像数据库中的所有图像并输入图像编码器进行编码得到各图像对应的图像向量；
20、将所述图像编码向量输入预训练的图像领域适应模块得到各图像对应的编码向量；
21、将图像名称与对应的编码向量按照映射关系存储至新建的数据库以构成图像数据库对应的向量数据库。
22、可选地，所述根据客户端在显示界面确认的查询内容对应的权重和编码向量，在向量数据库中进行联合查询得到目标向量，包括：
23、根据述查询内容所属的分类权重对各分类的编码向量进行加权；
24、使用余弦相似度函数计算加权后的编码向量与预先构建的向量数据库中的数据库编码向量的相似度；
25、将相似度最高的数据库编码向量作为目标向量以进行图像检索。
26、为了解决上述问题，本专利技术还提供一种图像检索装置，所述装置包括：
27、数据处理模块，用于获取客户端在显示界面输入的至少一个查询内容，根据每个查询内容所属的分类将所述查询内容导入对应的处理模块转换为编码向量；
28、可视化模块，用于获取客户端在显示界面输入的每个查询内容所属的分类对应的权重，根据所述查询内容对应的编码向量和权重生成可视化图像，将所述可视化图像返回所述显示界面以供客户端对所述查询内容和权重进行修改或确认；
29、图像检索模块，用于根据客户端在显示界面确认的查询内容对应的权重和编码向量，在向量数据库中进行联合查询得到目标向量，根据预设的向量与图像的映射关系从图像数据库获取与所述目标向量匹配的图像返回显示界面进行展示。
30、为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
31、至少一个处理器；以及，
32、与所述至少一个处理器通信连接的存储器；其中，
33、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的图像检索方法。
34、为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的图像检索方法。
35、本专利技术通过编码器和预训练的领域适应模块对用户输入的多模态数据进行统一向量化，并通过自由设置权重实现组合输入检索，便于用户在进行图像检索时更准确地表达需求，并获得更准确的检索结果。此外，本申请根据用户输入的多模态数据构建可视化图像，便于用户直观查看图像检索系统对用户输入意图的理解，并以此对输入内容及其权重进行调整，从而在最终检索图像时能得到更加符合用户意图的检索结果。
本文档来自技高网...【技术保护点】
1.一种图像检索方法，应用于服务器，其特征在于，所述方法包括：
2.如权利要求1所述的图像检索方法，其特征在于，所述显示界面包括输入区域、意图可视化区域以及检索图像展示区域；其中，所述输入区域用于接收客户端输入的至少一个查询内容以及每个查询内容所属的分类对应的权重；所述意图可视化区域用于展示根据所述查询内容对应的编码向量和权重生成的可视化图像；所述检索图像展示区域用于展示从图像数据库获取的与目标向量匹配的图像。
3.如权利要求1所述的图像检索方法，其特征在于，所述根据每个查询内容所属的分类将所述查询内容导入对应的处理模块转换为编码向量，包括：
4.如权利要求1所述的图像检索方法，其特征在于，所述根据所述查询内容对应的编码向量和权重生成可视化图像生成可视化图像包括：
5.如权利要求1所述的图像检索方法，其特征在于，所述将所述可视化图像返回所述显示界面以供客户端对所述查询内容和权重进行修改或确认，包括：
6.如权利要求1所述的图像检索方法，其特征在于，所述向量数据库的构建过程包括：
7.如权利要求1所述的图像检索
8.一种图像检索装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的图像检索方法。
...【技术特征摘要】
1.一种图像检索方法，应用于服务器，其特征在于，所述方法包括：
2.如权利要求1所述的图像检索方法，其特征在于，所述显示界面包括输入区域、意图可视化区域以及检索图像展示区域；其中，所述输入区域用于接收客户端输入的至少一个查询内容以及每个查询内容所属的分类对应的权重；所述意图可视化区域用于展示根据所述查询内容对应的编码向量和权重生成的可视化图像；所述检索图像展示区域用于展示从图像数据库获取的与目标向量匹配的图像。
3.如权利要求1所述的图像检索方法，其特征在于，所述根据每个查询内容所属的分类将所述查询内容导入对应的处理模块转换为编码向量，包括：
4.如权利要求1所述的图像检索方法，其特征在于，所述根据所述查询内容对应的编码向量和权重生成可视化图像生成可视化...
【专利技术属性】
技术研发人员：刘云霄，杜江楠，
申请(专利权)人：平安创科科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。