一种基于分段困难样本生成的检索方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于分段困难样本生成的检索方法及装置，其中，方法包括：使用原始三元图像组的样本集中的所有样本，通过对原始三元图像组的样本集中每一组原始三元图像组增加困难程度；并且在THSG的第一阶段中，增加正样本对的困难程度，得到困难正样本对的同时，保证困难正样本对的标签与原始正样本对的标签一致，以及在第二阶段增加原始负样本的困难程度，得到最终困难负样本和最终困难正样本对，提高样本集的有效使用性。进一步的，使用最终困难三元样本组，能够为较少的训练集补充有效的困难样本，从而使得模型能够更好的被训练。同时，通过使用困难样本对训练，得到更加强健、鲁棒的特征提取的检索模型。

【技术实现步骤摘要】
一种基于分段困难样本生成的检索方法及装置
本专利技术涉及图像处理
，特别是涉及一种基于分段困难样本生成的检索方法及装置。
技术介绍
深度度量学习(DeepMetricLearning，简称DML)方法旨在学习功能强大的度量准则，以准确而稳健地测量数据之间的相似性。目前，DML的发展使其能够广泛的应用于各个领域，例如图像检索，人员重新识别，聚类等多媒体任务领域。以上述图像检索为例进行说明。目前基于DML的图像检索方法有多种，主要有一种基于度量学习构建模型方法，而，在度量学习中，多组三元图像组样本作为构建模型的输入，其中，每组三元图像组样本是由同一标签的一对正样本以及与该正样本的标签不同的负样本组成的。但是，在一些小规模数据集中，能够构建出的三元图像组样本数量有限。比如在野生动物图像检索过程中，由于一些野生珍稀动物的图像数据量较小，使用上述方式构建出的关于野生珍稀动物的三元图像组样本数量过少，使得模型无法进行有效的训练，进而降低了检索动物图像的有效性。总之，在一些小规模数据集中，能够构建出的三元图像组样本数量有限，使得模型无法本文档来自技高网...

【技术保护点】
1.一种基于分段困难样本生成的检索方法，其特征在于，包括：/n提取待检索图像的特征；/n将所述待检索图像的特征作为检索模型的输入，通过所述检索模型，得到与所述待检索图像相关的检索结果，以及所述待检索图像的特征与所述检索模型数据库中图像的特征之间的距离分数；其中，所述检索模型是基于作为样本集的原始三元图像组以及通过两阶段的困难样本生成框架THSG得到的最终困难三元样本组训练得到的；其中，所述最终困难三元样本组是通过所述THSG的第一阶段中，对原始三元图像组中原始正样本对增加困难程度，得到困难正样本对；调整所述困难正样本对的标签与所述原始正样本对的标签一致，输出调整后困难正样本对和所述原始三元图像...

【技术特征摘要】
1.一种基于分段困难样本生成的检索方法，其特征在于，包括：
提取待检索图像的特征；
将所述待检索图像的特征作为检索模型的输入，通过所述检索模型，得到与所述待检索图像相关的检索结果，以及所述待检索图像的特征与所述检索模型数据库中图像的特征之间的距离分数；其中，所述检索模型是基于作为样本集的原始三元图像组以及通过两阶段的困难样本生成框架THSG得到的最终困难三元样本组训练得到的；其中，所述最终困难三元样本组是通过所述THSG的第一阶段中，对原始三元图像组中原始正样本对增加困难程度，得到困难正样本对；调整所述困难正样本对的标签与所述原始正样本对的标签一致，输出调整后困难正样本对和所述原始三元图像组中原始负样本至所述THSG的第二阶段；在所述THSG的第二阶段中，对所述原始负样本增加困难程度，得到最终困难负样本及最终困难正样本对；合成所述最终困难正样本对与所述最终困难负样本，得到最终困难三元样本组；
根据所述距离分数的高低，对与所述待检索图像相关的检索结果进行排序，得到与所述待检索图像最相关的检索结果。


2.如权利要求1所述的方法，其特征在于，所述提取待检索图像的特征，包括：
提取待检索动物图像的特征；
所述将所述待检索图像的特征作为检索模型的输入，通过所述检索模型，得到与所述待检索图像相关的检索结果，以及所述待检索图像的特征与所述检索模型数据库中图像的特征之间的距离分数，包括：
将所述待检索动物图像的特征作为检索模型的输入，通过所述检索模型，得到与所述待检索动物图像相关的检索结果，以及所述待检索动物图像的特征与所述检索模型数据库中图像的特征之间的距离分数；
所述根据所述距离分数的高低，对与所述待检索图像相关的检索结果进行排序，得到所述待检索图像最相关的检索结果，包括：
根据所述距离分数的高低，对与所述待检索图像相关的检索结果进行排序，得到与所述待检索动物图像最相关的动物检索结果。


3.如权利要求1或2所述的方法，其特征在于，通过如下步骤，得到所述检索模型：
获取作为样本集的原始三元图像组；
在两阶段的困难样本生成框架THSG的第一阶段中，采用分段线性拉伸PLM的方式，对所述原始正样本对拉伸，增加困难程度，得到困难正样本对；其中，所述困难正样本对包括：困难候选样本和困难正样本；
基于已训练第一生成对抗神经网络，调整所述困难正样本对的标签与所述原始正样本对的标签一致，输出调整后困难正样本对，以及所述原始负样本至所述THSG的第二阶段；其中，所述已训练第一生成对抗神经网络包括：困难正样本对生成器HAPG及与所述HAPG对应的鉴别器HAPD；
在所述THSG的第二阶段中，基于已训练第二生成对抗神经网络，对所述原始负样本增加困难程度，得到最终困难负样本，并输出最终困难正样本对；其中，所述已训练第二生成对抗神经网络包括：困难三元样本生成器HTG以及与所述HTG对应的鉴别器HTD；
合成所述最终困难正样本对与所述最终困难负样本，得到最终困难三元样本组；
将最终困难三元样本组作为样本集，训练卷积神经网络，得到所述检索模型。


4.如权利要求3所述的方法，其特征在于，所述基于已训练第一生成对抗神经网络，调整所述困难正样本对的标签与所述原始正样本对的标签一致，输出调整后困难正样本对，以及所述原始负样本至所述THSG的第二阶段，包括：
基于已训练第一生成对抗神经网络和已训练第三生成对抗神经网络，调整所述困难正样本对的标签与所述原始正样本对的标签一致，输出调整后困难正样本对以及所述原始负样本至所述THSG的第二阶段，其中，所述已训练第三生成对抗神经网络包括：重建条件生成器RCG以及与所述RCG对应的鉴别器RCD。


5.如权利要求3所述的方法，其特征在于，所述在两阶段的困难样本生成框架THSG的第一阶段中，采用分段线性拉伸PLM的方式，对所述原始正样本对拉伸，增加困难程度，得到困难正样本对，包括：
采用分段线性拉伸PLM的方式中的分段线性操作公式，对所述原始正样本对拉伸，增加困难程度，得到困难正样本对，其中，所述分段线性操作公式包括：
a*＝a+λ(a-p)
p*＝p+λ(p-a)



其中，a*为困难候选样本，a为原始候选样本，λ为拉伸距离系数，p为原始正样本，p*为困难正样本，α为偏置超参数，d0为分段系数，d(a，p)为原始候选样本a与原始正样本p之间的距离，γ为线性超参数；
或...

【专利技术属性】
技术研发人员：祝闯，董慧慧，齐勇刚，刘军，刘芳，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11