一种图片查询方法、计算机设备和存储介质技术

本申请公开了一种图片查询方法、计算机设备和存储介质，该方法包括分布式数据库的主节点接收来自查询方的查询请求，查询请求至少包括待查询图片的归一化特征向量；分布式数据库的主节点将查询请求路由至若干分布式数据库的从节点，以使得若干分布式数据库的从节点并行计算待查询图片的归一化特征向量与数据库中所存储的图片的归一化特征向量之间的相似度；分布式数据库的主节点接收来自若干分布式数据库的从节点的计算结果，并将计算结果返回给查询方。通过上述方式，本申请能够提高图片查询速度。

A picture query method, computer equipment and storage medium

【技术实现步骤摘要】
一种图片查询方法、计算机设备和存储介质
本申请涉及信息处理
，特别是涉及图片查询方法、计算机设备和存储介质。
技术介绍
随着互联网上图像的数据信息日渐庞大，用户对网上图像搜索的要求也在不断提高。为了提高图片搜索的精确度，“以图搜图”技术应运而生，使得用户可以通过输入图片来搜索相似图片。“以图搜图”技术是通过输入图片来查询相似图片的一种搜索技术，其主要涉及图像特征提取以及图像特征相似度分析这两大部分。图像特征提取主要是提取图片的特征向量，随着大数据和深度学习技术的普及，图片特征向量的提取技术已经很成熟，如开源的深度学习框架PyTorch、TensorFlow、Caffe等都可以进行特征提取，而且精度已经非常高，所提取的特征向量维度非常高，一般几百维到一千多维。但是，特征向量不可能等值查询，根据相似度查询才有意义，因为即使同一个人或物从不同角度拍摄的图片提取出的特征值也不相同。所以怎么存储海量的特征向量以及快速相似度查找成了需要重点解决的问题。为了实现快速查找，目前常用技术是对高维特征向量进行特殊处理，如降维、聚类、hash、量化、构建邻近图索引等。经过特殊处理后，查询效率会提高，但是这种方法会降低召回率，而低召回率就等于丢数据，进而导致查询结果不准确。
技术实现思路
本申请主要解决的技术问题是提供一种图片查询方法、计算机设备和存储介质，能够提高图片查询速度。为解决上述技术问题，本申请采用的一个技术方案是：提供一种图片查询方法，该方法包括分布式数据库的主节点接收来自查询方的查询请求，查询请求至少包括待查询图片的归一化特征向量；分布式数据库的主节点将查询请求路由至若干分布式数据库的从节点，以使得若干分布式数据库的从节点并行计算待查询图片的归一化特征向量与数据库中所存储的图片的归一化特征向量之间的相似度；分布式数据库的主节点接收来自若干分布式数据库的从节点的计算结果，并将计算结果返回给查询方。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图片查询装置，该装置包括接收模块、查询模块和发送模块，接收模块用于接收来自查询方的查询请求，查询请求至少包括待查询图片的归一化特征向量；查询模块用于将查询请求路由至若干分布式数据库的从节点，以使得若干分布式数据库的从节点并行计算待查询图片的归一化特征向量与数据库中所存储的图片的归一化特征向量之间的相似度；发送模块用于接收来自若干分布式数据库的从节点的计算结果，并将计算结果返回给查询方。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机设备，该计算机设备包括处理器，处理器用于执行指令以实现上述任一项所述的图片查询方法。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种存储介质，存储有指令，指令被执行时实现上述任一项所述的图片查询方法。本申请的有益效果是：区别于现有技术的情况，本申请通过使用分布式数据库来存储图片数据，能够实现数据的海量存储；通过在分布式数据库上开发扩展比对插件，能够使数据库具有查询比对功能，且查询比对操作也是分布式执行的，查询比对性能随服务器个数和磁盘个数成线性增长，能够实现图片的快速查询，提高查询的速度和效率；利用分布式数据库的流复制性能，能够提高数据库的可用性。附图说明图1是本申请一实施方式中分布式数据库的架构示意图；图2是本申请一实施方式中特征向量的特性示意图；图3是本申请一实施方式中图片查询方法的流程示意图；图4是本申请另一实施方式中图片查询方法的流程示意图；图5是本申请一实施方式中图片查询装置的结构示意图；图6是本申请一实施方式中计算机设备的结构示意图；图7为本申请一实施方式中存储介质的结构示意图。具体实施方式为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。本申请提供一种图片的存储和查询方法，利用分布式数据库来存储图片，并在分布式数据库上开发扩展“以图搜图”插件，使数据库具有查询比对功能。利用分布式数据库的分布式特性和高并发特性能够实现图片特征数据的海量存储和快速相似度搜索；同时利用分布式数据库的流复制特性能够实现存储和搜索的高可用性。请参阅图1，图1是本申请一实施方式中分布式数据库的架构示意图。该实施方式中，数据库100为分布式数据库，如可以是开源的分布式PostgreSQL数据库(greenplum、citus等)，当然还可以是其他分布式数据库，本申请不对分布式数据库的类型作限定，下面以分布式PostgreSQL数据库为例进行说明。分布式PostgreSQL数据库包括多个PostgreSQL实例，如Coordinator和Worker。Coordinator是主节点，主节点110仅存储元数据，而不存储实际数据，Worker是从节点，也称数据节点，从节点120负责存储数据。分布式PostgreSQL数据库可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。主节点110和从节点120可以分布在一台服务器上，如一台服务器上有多块磁盘，每块磁盘对应一个Worker，也可以分布在不同的服务器上。本申请中，利用分布式数据库存储图片数据，至少用于存储图片的特征向量。其中，分布式PostgreSQL数据库支持二进制字段类型bytea，可以直接以二进制方式存储高纬度的特征向量。同时，图片数据可以分布在多台服务器的多个Worker上，存储性能随服务器个数和磁盘个数成线性增长，能够实现图片数据的海量存储。本申请中，在分布式数据库上开发了比对扩展插件，比对插件程序中包含有相似度比对函数，通过调用插件程序，能够使数据库具有查询比对功能。其中，每个PostgreSQL实例(Coordinator和Worker)都启用这个插件，由于集群是分布式的，所以该插件比对相似度也是分布式执行的，且多个节点可并发执行查询操作。因此，查询比对性能随服务器个数和磁盘个数成线性增长，能够实现图片的快速查询，提高查询的速度和效率。其中，主节点110上不存储实际数据，也不执行具体的查询比对操作。主节点110主要负责处理查询请求，将查询请求分成多个子请求并转发给各个从节点120，使各个从节点120具体执行查询操作，然后再将各个从节点120的查询结果汇总返回给查询方。即主节点110主要起调度和对外交互的功能。因此，整个分布式集群对外可仅提供一个虚IP，查询方与该虚IP交互，将其当作一个通用数据库使用。从节点120上存储有图片数据，在接收到查询请求后，调用比对插件程序，查询本地数据，进行相似性比对工作，将查询结果返回给主节点110。其中，分布式数据库中存储有图片的特征向量，从节点120具体用于计算待查询图片的特征向量与数据库中所存储的图片的特征向量之间的相似度。在一实施方式中，分布式数据库中所存储的特征向量是经过归一化处理的，具有单位超球面特性的归一化特征向量。该归一化特征向量具有单位超球面特性，其欧式距离和余弦相本文档来自技高网...

【技术保护点】
1.一种图片查询方法，其特征在于，包括：/n分布式数据库的主节点接收来自查询方的查询请求，所述查询请求至少包括待查询图片的归一化特征向量；/n所述分布式数据库的主节点将所述查询请求路由至若干所述分布式数据库的从节点，以使得若干所述分布式数据库的从节点并行计算所述待查询图片的归一化特征向量与数据库中所存储的图片的归一化特征向量之间的相似度；/n所述分布式数据库的主节点接收来自若干所述分布式数据库的从节点的计算结果，并将所述计算结果返回给所述查询方。/n

【技术特征摘要】
1.一种图片查询方法，其特征在于，包括：
分布式数据库的主节点接收来自查询方的查询请求，所述查询请求至少包括待查询图片的归一化特征向量；
所述分布式数据库的主节点将所述查询请求路由至若干所述分布式数据库的从节点，以使得若干所述分布式数据库的从节点并行计算所述待查询图片的归一化特征向量与数据库中所存储的图片的归一化特征向量之间的相似度；
所述分布式数据库的主节点接收来自若干所述分布式数据库的从节点的计算结果，并将所述计算结果返回给所述查询方。


2.根据权利要求1所述的图片查询方法，其特征在于，所述分布式数据库的主节点接收来自查询方的查询请求之前包括：
所述分布式数据库安装用于执行所述计算所述待查询图片的归一化特征向量与数据库中所存储的图片的归一化特征向量之间的相似度步骤的程序插件。


3.根据权利要求1所述的图片查询方法，其特征在于，所述归一化特征向量具有超球面特性，所述计算待查询图片的归一化特征向量与数据库中所存储的图片的归一化特征向量之间的相似度包括：
计算所述待查询图片的归一化特征向量与数据库中所存储的图片的归一化特征向量之间的余弦相似度。


4.根据权利要求3所述的图片查询方法，其特征在于，所述归一化特征向量为对所述待查询图片的原始特征向量进行L2范数归一化处理得到的，所述计算待查询图片的归一化特征向量与数据库中所存储的图片的归一化特征向量之间的余弦相似度包括：
计算所述待查询图片的归一化特征向量和数据库中所存储的图片的归一化特征向量的内积。


5.根据权利要求3所述的图片查询方法，其特征在于，所述计算待查询图片的归一化...

【专利技术属性】
技术研发人员：董朝晖，何林强，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33