一种根据文本查找图片的方法和装置制造方法及图纸

本发明专利技术公开了一种根据文本查找图片的方法，包括以下步骤：获取条件文本，根据条件文本生成条件图片；提取条件图片的条件图片特征向量；调用向量搜索引擎，在向量数据库提取符合检索条件的结果向量特征信息，结果向量特征信息包括图片索引信息和结果向量特征；检索条件为，条件图片特征向量与结果向量特征的相似性小于指定阀值；提取图片索引信息对应的结果图片数据。根据上述技术方案，可以突破对图片标注的依赖，对图片进行统一的特征管理，并在文字查找图片的实现中，减少服务端的压力，查询查询过程更高效、更准确。更准确。更准确。

【技术实现步骤摘要】
一种根据文本查找图片的方法和装置


[0001]本专利技术涉及文本和图片处理领域，具体而言，涉及一种根据文本查找图片的方法和装置。

技术介绍

[0002]现对图片的检索需求越来越多，例如在图片素材库中输入文字查找对应的图片。图片库服务端在响应图片检索前，需要在图库对图片进行处理，如为了方便用户能方便搜索图片，需要对图片进行大量标签的标注，例如录入图片的时候自动生成标签进行标注。然而一张图片涉及的标签非常多，特别是对于中文来说，表达方式比较多，大量的标签不容易管理，对图片的标注也不容易实现完整和全面；另一方面，对图片进行标注，目前采用人工标注或者AI标注的方式，然而AI标注也建立在大量人工标注的基础上进行大量的模型训练才可实现；同时，而由于每张图片的标签数量、特征五花八门、随心所欲，无法实现统一管理，其准确性和完整性需要不断地进行维护，因此针对图片库中海量图片时，其标签的维护、检索也会对后台服务带来额外的负担。
[0003]因此需要有一种图片库存储的模式，突破对图片标注的依赖，对图片进行统一的特征管理，并在文字查找图片的实现中，减少服务端的压力，使查询过程更高效、更准确。

技术实现思路

[0004]为实现上述目的，本申请提供了一种根据文本查找图片的方法，包括以下步骤：
[0005]获取条件文本，根据条件文本生成条件图片；
[0006]提取条件图片的条件图片特征向量；
[0007]调用向量搜索引擎，在向量数据库提取符合检索条件的结果向量特征信息，结果向量特征信息包括图片索引信息和结果向量特征；检索条件为，条件图片特征向量与结果向量特征的相似性小于指定阀值；
[0008]提取所述图片索引信息对应的结果图片数据。
[0009]其中，向量数据库用于存储图片的特征向量、图片索引。
[0010]进一步的，根据条件文本生成条件图片的方法，支持文字转图片神经网络模型。
[0011]其中，条件图片特征向量为1
×
512的特征向量数据，通过可以提取图片特征的卷积神经网络模型，从条件图片提取，其卷积神经网络模型包括：VGG16、ResNet。
[0012]进一步的，相似性的计算方式支持包括余弦距离、汉明距离、欧氏距离；其中相似性用于排序，相似性的绝对值越小表示越接近；该阀值，用于判断检索条件是否满足。
[0013]另一方面，本申请提供了一种根据文本查找图片的装置，包括：
[0014]条件文本处理模块，用于根据接收的条件文本生成条件图片；
[0015]图片特征向量提取模块，用于提取条件图片的条件图片特征向量；
[0016]向量搜索模块，用于与向量搜索引擎交互，从向量数据库获取符合检索条件的结果向量特征信息，结果向量特征信息包括图片索引信息和结果向量特征；其中检索条件为，
条件图片特征向量与结果向量特征的相似性小于指定阀值；
[0017]图片信息提取模块，用于提取图片索引信息对应的结果图片数据。
[0018]其中，向量数据库用于存储图片的特征向量、图片索引。
[0019]进一步的，条件文本处理模块支持文字转图片神经网络模型。
[0020]进一步的，条件图片特征向量为1
×
512的特征向量数据，通过可以提取图片特征的卷积神经网络模型从条件图片提取，其卷积神经网络模型包括：VGG16、ResNet。
[0021]进一步的，向量搜索引擎包括计算模块，用于计算每个图片的特征向量数据的相似性，计算模块支持的计算方式包括余弦距离、汉明距离、欧氏距离；所述相似性用于排序，所述相似性的绝对值越小表示越接近。
[0022]本专利技术提供的根据文本查找图片方法，不需要图片库中对图片进行标注，不需要对图片标签信息的依赖，降低了图片库后端的维护成本，使图片查询更高效。
附图说明
[0023]图1是本专利技术实施例提供的根据文本查找图片的方法流程图；
[0024]图2是本专利技术实施例提供的根据文本查找图片的实现时序图；
[0025]图3是本专利技术实施例提供的图片入库的实现时序图；
[0026]图4是本专利技术实施例提供的根据文本查找图片的具体案例图；
[0027]图5是本专利技术实施例提供的根据图片提取特征的模型示意图；
[0028]图6是本专利技术实施例提供的根据图片提取特征的装置结构图。
具体实施方式
[0029]传统文本查找图片的方法，依赖于图片库中对图片的标注，然而AI标注也建立在大量人工标注的基础上，容易出错，例如有可能会将一只猫的图片标注为“狗”，标签的内容也很难完整，例如，一只暹罗猫的图片的标签中如果不包括“暹罗猫”，很有可能无法被查询到；对标签内容的维护、补充、修正对图片库也存在一定的压力。同时，不同图片的标签信息五花八门，在数量上、标注内容上无法做到统一。
[0030]本申请实现的文本查找图片的方法，其图片库的维护不再使用图片标注，采用图片特征向量作为查询的依据，对于输入的查询文本，生成图片，再转换成图片特征向量，由于图片特征向量的统一性，在对特征的相似性的计算更便利，同时图片库对特征的维护时，由于特征数据向量的模式统一，使其维护更高效。
[0031]下面结合说明书附图对本专利技术的具体实现方式做一详细描述。
[0032]本申请方案的实现，对于查找条件的处理包括两个步骤，第一步骤是根据文字生成图片；另一步骤是对生成的图片进行特征提取，作为检索的依据。
[0033]图1是本专利技术实施例提供的根据文本查找图片的方法流程图；本申请也提供了根据文本查找图片的案例，具体内容见图4所示。
[0034]本申请的详细步骤见图1所示：
[0035]步骤S110：获取条件文本，根据条件文本生成条件图片；
[0036]用户需要搜索图片时，在图库客户端输入想要找的图片，比如通过语音，语音识别为“一只黑猫”，或者直接输入文字“一只黑猫”，服务端获取该条查找图片的条件文本为文
字，“一只黑猫”。
[0037]服务端即图库后端接收条件文本，调用文字转图片神经网络模型生成条件图片，例如，“一只黑猫”生成的图片见图4中的S410，需要注意的是，该条件图片不是图库中存在的文件，而是根据神经网络模型训练时候的样本合成而成，但是由于受限于机器的算力和神经网络模型训练时候的样本数量，所生成的图片清晰度会较差，形状也会出现不符合现实的情况，例如图4中S411所示的猫的两只眼睛不一致的情况，因此此图往往不能直接使用，即不能直接推送给用户。
[0038]但是该图完整地体现了“一只黑猫”的特征，因此可以用于步骤S120。
[0039]步骤S120：提取条件图片的条件图片特征向量；
[0040]条件图片特征向量为1
×
512的特征向量数据，通过可以提取图片特征的卷积神经网络模型从条件图片提取，支持的卷积神经网络模型包括：VGG16、ResNet。
[0041]VGGNet本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种根据文本查找图片的方法，其特征在于，包括以下步骤：获取条件文本，根据所述条件文本生成条件图片；提取所述条件图片的条件图片特征向量；调用向量搜索引擎，在向量数据库提取符合检索条件的结果向量特征信息，所述结果向量特征信息包括图片索引信息和结果向量特征；所述检索条件为，所述条件图片特征向量与所述结果向量特征的相似性小于指定阀值；提取所述图片索引信息对应的结果图片数据。2.根据权利要求1所述的根据文本查找图片的方法，其特征在于，所述向量数据库用于存储图片的特征向量、图片索引。3.根据权利要求1所述的根据文本查找图片的方法，其特征在于，所述根据所述条件文本生成条件图片的方法，支持文字转图片神经网络模型。4.根据权利要求1所述的根据文本查找图片的方法，其特征在于，所述条件图片特征向量为1
×
512的特征向量数据，通过可以提取图片特征的卷积神经网络模型，从所述条件图片提取，所述卷积神经网络模型包括：VGG16、ResNet。5.根据权利要求1所述的根据文本查找图片的方法，其特征在于，所述相似性的计算方式支持包括余弦距离、汉明距离、欧氏距离；所述相似性用于排序，所述相似性的绝对值越小表示越接近；确定所述阀值，用于判断所述检索条件是否满足。6.一种根据文本查找图片的装置，其特征在于，包...

【专利技术属性】
技术研发人员：李晓鹏，田丹，欧锦华，王志广，
申请(专利权)人：广州启生信息技术有限公司，
类型：发明
国别省市：