【技术实现步骤摘要】
本申请涉及图像处理技术，特别涉及一种图像检索方法、装置、存储介质和电子设备。
技术介绍
1、随着计算机技术的飞速发展，图像信息检索已大规模应用于各种场景。
2、在目前的图像检索技术中，经典的图像检索需要输入系统待查询的图片后，再在数据库中检索查询最相似的图片。如果没有待查询图片，仅有用户对人体外貌的文字描述，这类经典的图形检索方式就无法使用。
3、基于此，近来一系列的文字检索图像的检索系统和方案被提出，这类方案需要构建一个提取文字、图像的特征并将其两者耦合对应的模块，但是这类方案无法兼容已有的图像检索图像的系统。
技术实现思路
1、本申请提供一种图像检索方法、装置、存储介质和电子设备，能够基于文字描述进行图像检索，并能够兼容经典的图像检索方法。
2、为实现上述目的，本申请采用如下技术方案：
3、一种图像检索方法，包括：
4、a、获取用户输入的文本描述，利用预先训练好的文生图模型，生成与所述文本描述对应的预测图像；
5、b、对所述预测图像进行质量评估，得到质量评估结果；
6、在所述质量评估结果满足设定要求时，继续执行所述步骤c；
7、在所述质量评估结果不满足设定要求时，基于所述质量评估结果提示用户修改所述文本描述，返回执行所述步骤a、b，直到所述质量评估结果满足设定要求，继续执行所述步骤c；
8、c、基于所述预测图像，在图像库中进行图像检索，得到图像检索结果；
9、
10、获取所述预测图像的全局图像特征和在每个局部属性上的局部图像特征，并获取所述文本描述的全局文本特征和在每个局部属性上的局部文本特征；
11、将所述全局图像特征和所述全局文本特征进行相似度比较，将相同局部属性上的所述局部图像特征和所述局部文本特征进行相似度比较，基于该两个相似度比较的结果，确定所述预测图像的整体质量评分。
12、较佳地，利用预先训练好的图像特征提取器对所述预测图像进行全局图像特征提取，得到所述全局图像特征；
13、利用预先训练好的文本特征提取器对所述文本描述进行全局文本特征提取，得到所述全局文本特征；
14、利用预先训练好的第一全局特征映射器，对所述全局图像特征进行处理，预测得到所述局部图像特征；
15、利用预先训练好的第二全局特征映射器，对所述全局文本特征进行处理，预测得到所述局部文本特征。
16、较佳地，所述对所述预测图像进行质量评估，进一步包括：
17、基于对所述预测图像进行特征提取所确定的特征提取结果，确定所述预测图像的质量分类。
18、较佳地，所述基于对所述预测图像进行特征提取所确定的特征提取结果确定所述预测图像的质量分类，包括：
19、利用训练好的多属性图像质量档位评估器，对所有设定局部属性上的局部图像特征预测结果进行分类处理，得到所述预测图像在每个所述设定局部属性上的质量分类结果；其中，所述设定局部属性包括部分或全部局部属性。
20、较佳地，所述图像特征提取器、所述文本特征提取器、所述第一全局特征映射器、所述第二全局特征映射器和所述多属性图像质量档位评估器是联合训练的。
21、较佳地，所述图像特征提取器、所述文本特征提取器、所述全局特征映射器和所述多属性图像质量档位评估器进行联合训练时，参数更新方式包括：
22、将基于所述图像特征提取器对训练图像的处理结果和基于所述文本特征提取器对训练文本的处理结果进行相似度比较，确定第一损失函数的取值；
23、基于所述全局特征映射器的处理结果，确定第二损失函数的取值；
24、基于所述多属性图像质量档位评估器的处理结果，确定第三损失函数的取值；
25、将所述第一损失函数的取值、所述第二损失函数的取值和所述第三损失函数的取值进行融合，得到综合损失函数的取值；
26、基于所述综合损失函数的取值，更新所述图像特征提取器、所述文本特征提取器、所述第一全局特征映射器、所述第二全局特征映射器和所述多属性图像质量档位评估器的参数。
27、较佳地，所述确定第一损失函数的取值，包括：
28、将训练图像和所述训练图像中对应每个局部属性的局部图像，输入所述图像特征提取器进行处理，得到所述训练图像的全局图像特征和所述训练图像在各个局部属性上的局部图像特征；
29、将训练文本和所述训练文本中对应局部属性的局部文本，输入所述文本特征提取器进行处理，得到所述训练文本的全局文本特征和所述训练文本在各个局部属性上的局部文本特征；
30、将所述全局图像特征和所述全局文本特征进行相似度比较，得到全局比较结果；
31、将相同局部属性对应的所述局部图像特征和所述局部文本特征进行相似度比较，得到相应局部属性的比较结果；
32、基于所述全局比较结果和各个局部属性的比较结果，确定第一损失函数的取值。
33、较佳地，所述确定第二损失函数的取值，包括：
34、将所述训练图像的全局图像特征输入所述全局特征映射器进行处理，预测得到所述训练图像在每个局部属性上的局部图像特征预测结果；
35、将所述训练图像在每个局部属性上的图像特征预测结果分别与所述图像特征提取器输出的所述训练图像在相应局部属性上的局部图像特征进行相似性比较，得到每个局部属性对应的训练图像特征比较结果；
36、将所述训练文本的全局文本特征输入所述全局特征映射器进行处理，预测得到所述训练文本在每个局部属性上的局部文本特征预测结果；
37、将所述训练文本在每个局部属性上的图像特征预测结果分别与所述文本特征提取器输出的所述训练文本在相应局部属性上的局部文本特征进行相似性比较，得到每个局部属性对应的训练文本特征比较结果；
38、基于所有局部属性的训练图像特征比较结果和训练文本特征比较结果，确定所述第二损失函数的取值。
39、较佳地，所述确定第三损失函数的取值，包括：
40、将所述第一全局特征映射器输出的所述训练图像在所有所述设定局部属性上的局部图像特征预测结果输入所述多属性图像质量档位评估器进行分类处理，得到所述训练图像在每个所述设定局部属性上的质量分类预测结果；
41、基于所述训练图像在每个所述设定局部属性上的分类预测结果和所述训练图像在相应设定局部属性上的质量分类实际结果，确定每个所述设定局部属性对应的分类损失；
42、基于所有所述设定局部属性对应的分类损失，确定所述第三损失函数的取值。
43、较佳地，所述确定所述预测图像的整体质量评分，包括：
44、将所述全局图像特征和所述全局文本特征进行相似度比较的结果，作为全局质量评分；
45、将相同局部属性的所述局部图像特征和所述局部文本特征进行相似度比本文档来自技高网...
【技术保护点】
1.一种图像检索方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，利用预先训练好的图像特征提取器对所述预测图像进行全局图像特征提取，得到所述全局图像特征；
3.根据权利要求2所述的方法，其特征在于，所述对所述预测图像进行质量评估，进一步包括：
4.根据权利要求3所述的方法，其特征在于，所述基于对所述预测图像进行特征提取所确定的特征提取结果确定所述预测图像的质量分类，包括：
5.根据权利要求4所述的方法，其特征在于，所述图像特征提取器、所述文本特征提取器、所述第一全局特征映射器、所述第二全局特征映射器和所述多属性图像质量档位评估器是联合训练的。
6.根据权利要求5所述的方法，其特征在于，所述图像特征提取器、所述文本特征提取器、所述全局特征映射器和所述多属性图像质量档位评估器进行联合训练时，参数更新方式包括：
7.根据权利要求6所述的方法，其特征在于，所述确定第一损失函数的取值，包括：
8.根据权利要求6所述的方法，其特征在于，所述确定第二损失函数的取值，包括：
9.根据
10.根据权利要求1所述的方法，其特征在于，所述确定所述预测图像的整体质量评分，包括：
11.根据权利要求10所述的方法，其特征在于，所述质量评估结果不满足设定要求，包括：所述全局质量评分小于设定的全局阈值，和/或，所述各个局部属性的质量评分小于为相应局部属性设定的局部属性阈值，和/或，所述整体质量评分小于设定的整体阈值；
12.根据权利要求4所述的方法，其特征在于，所述质量评估结果不满足设定要求，包括：所述预测图像在第一设定局部属性上的质量分类预测结果为预设的第一质量分类结果；
13.根据权利要求1所述的方法，其特征在于，所述预测图像包括正面预测图像、侧面预测图像和背面预测图像；
14.一种基于文本描述的图像检索装置，其特征在于，包括：文本描述获取单元、文生图单元和图像检索单元；
15.根据权利要求14所述的装置，其特征在于，在所述文生图单元和图像检索单元之间进一步包括质量评估单元，用于对所述预测图像进行质量评估，得到质量评估结果；在所述质量评估结果满足设定要求时，通知所述图像检索单元进行图像检索；在所述质量评估结果不满足设定要求时，基于所述质量评估结果提示用户修改所述文本描述，并通知所述文本描述获取单元重新获取用户输入的文本描述。
16.根据权利要求15所述的装置，其特征在于，在所述质量评估单元中，所述对所述预测图像进行质量评估，包括：
17.根据权利要求16所述的装置，其特征在于，所述质量评估单元包括图像特征提取器、文本特征提取器、第一全局特征映射器、第二全局特征映射器和质量评分器；
18.根据权利要求17所述的装置，其特征在于，所述质量评估单元，进一步用于基于对所述预测图像进行特征提取所确定的特征提取结果，确定所述预测图像的质量分类。
19.根据权利要求18所述的装置，其特征在于，所述质量评估单元进一步包括多属性图像质量档位评估器，用于对所有设定局部属性上的局部图像特征预测结果进行分类处理，得到所述预测图像在每个所述设定局部属性上的质量分类结果；其中，所述设定局部属性包括部分或全部局部属性。
20.根据权利要求19所述的装置，其特征在于，所述图像特征提取器、所述文本特征提取器、所述第一全局特征映射器、所述第二全局特征映射器和所述多属性图像质量档位评估器是联合训练的。
21.根据权利要求20所述的装置，其特征在于，在所述质量评估单元中，所述图像特征提取器、所述文本特征提取器、所述全局特征映射器和所述多属性图像质量档位评估器进行联合训练时，参数更新方式包括：
22.根据权利要求21所述的装置，其特征在于，所述确定第一损失函数的取值，包括：
23.根据权利要求21所述的装置，其特征在于，所述确定第二损失函数的取值，包括：
24.根据权利要求21所述的装置，其特征在于，所述确定第三损失函数的取值，包括：
25.根据权利要求17所述的装置，其特征在于，在所述质量评分器中，所述确定所述预测图像的整体质量评分，包括：
26.根据权利要求25所述的装置，其特征在于，所述质量评估结果不满足设定要求，包括：所述全局质量评分小于设定的全局阈值，和/或，所述各个局部属性的质量评分小于为相应局部属性设定的局部属性阈值，和/或，所述整体质量评分小于设定的整体阈值；
27.根据权利要求1...
【技术特征摘要】
1.一种图像检索方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，利用预先训练好的图像特征提取器对所述预测图像进行全局图像特征提取，得到所述全局图像特征；
3.根据权利要求2所述的方法，其特征在于，所述对所述预测图像进行质量评估，进一步包括：
4.根据权利要求3所述的方法，其特征在于，所述基于对所述预测图像进行特征提取所确定的特征提取结果确定所述预测图像的质量分类，包括：
5.根据权利要求4所述的方法，其特征在于，所述图像特征提取器、所述文本特征提取器、所述第一全局特征映射器、所述第二全局特征映射器和所述多属性图像质量档位评估器是联合训练的。
6.根据权利要求5所述的方法，其特征在于，所述图像特征提取器、所述文本特征提取器、所述全局特征映射器和所述多属性图像质量档位评估器进行联合训练时，参数更新方式包括：
7.根据权利要求6所述的方法，其特征在于，所述确定第一损失函数的取值，包括：
8.根据权利要求6所述的方法，其特征在于，所述确定第二损失函数的取值，包括：
9.根据权利要求6所述的方法，其特征在于，所述确定第三损失函数的取值，包括：
10.根据权利要求1所述的方法，其特征在于，所述确定所述预测图像的整体质量评分，包括：
11.根据权利要求10所述的方法，其特征在于，所述质量评估结果不满足设定要求，包括：所述全局质量评分小于设定的全局阈值，和/或，所述各个局部属性的质量评分小于为相应局部属性设定的局部属性阈值，和/或，所述整体质量评分小于设定的整体阈值；
12.根据权利要求4所述的方法，其特征在于，所述质量评估结果不满足设定要求，包括：所述预测图像在第一设定局部属性上的质量分类预测结果为预设的第一质量分类结果；
13.根据权利要求1所述的方法，其特征在于，所述预测图像包括正面预测图像、侧面预测图像和背面预测图像；
14.一种基于文本描述的图像检索装置，其特征在于，包括：文本描述获取单元、文生图单元和图像检索单元；
15.根据权利要求14所述的装置，其特征在于，在所述文生图单元和图像检索单元之间进一步包括质量评估单元，用于对所述预测图像进行质量评估，得到质量评估结果；在所述质量评估结果满足设定要求时，通知所述图像检索单元进行图像检索；在所述质量评估结果不满足设定要求时，基于所述质量评估结果提示用户修改所述文本描述，并通知所述文本描述获取单元重新获取用户输入的文本描述。
16.根据权利要求15所述的装置，其特征在于，在所述...
【专利技术属性】
技术研发人员：叶梦宇，高天泽，陈畅怀，车军，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。