检索模型的训练和识别方法、电子设备及存储介质技术

本申请公开了一种检索模型的训练和识别方法、二值转换模型的训练方法、电子设备及存储介质。该训练方法包括：获取第一样本集，第一样本集中包括多个第一样本，每个第一样本包括一对第一样本对象和第二样本对象，第一样本对象和第二样本对象的模态不同；利用检索模型提取第一样本对象的第一特征和第二样本对象的第一特征；利用检索模型将第一特征映射成第二特征；利用生成模型的解码器生成第一样本对象的第二特征对应的第一生成对象、第二样本对象的第二特征对应的第二生成对象；利用鉴别器对第一生成对象和第二生成对象进行鉴别，基于鉴别结果调整检索模型的参数。通过上述方式，本申请能够提高检索模型的检索能力。申请能够提高检索模型的检索能力。申请能够提高检索模型的检索能力。

【技术实现步骤摘要】
检索模型的训练和识别方法、电子设备及存储介质


[0001]本申请涉及机器学习
，特别是涉及一种检索模型的训练和识别方法、二值转换模型的训练方法、电子设备及存储介质。

技术介绍

[0002]跨模态检索是一项极具挑战性的任务，它要求检索模型能够连接不同模态数据之间所存在的巨大语义鸿沟。在检索模型支持图像、文本两种模态的前提下，对跨检索模型的检索(检索与图像匹配的文本)过程进行举例说明。检索模型可以提取图像的特征，然后对该提取得到的特征与数据库中文本特征的相似度进行一一计算，并找到符合相似度条件的文本特征对应的文本作为与该图像匹配的文本。
[0003]一般来说，为了实现检索的目的，在使用检索模型进行检索之前，需要对其进行训练，以提高后续检索模型的检索能力。但是，现有的训练方法得到的检索模型的检索能力依然受限。

技术实现思路

[0004]本申请提供一种检索模型的训练和识别方法、二值转换模型的训练方法、电子设备及存储介质，能够解决现有训练方法得到的检索模型的检索能力受限的问题。
[0005]为解决上述技术问题，本申请采用的一个技术方案是：提供一种检索模型的训练方法，该方法包括：获取第一样本集，其中，第一样本集中包括多个第一样本，每个第一样本包括一对第一样本对象和第二样本对象，第一样本对象和第二样本对象的模态不同；利用检索模型提取第一样本对象的第一特征和第二样本对象的第一特征，第一特征属于第一语义空间；利用检索模型将第一特征映射成第二特征，第二特征属于第二语义空间，第二语义空间为生成模型的编码器提取的特征所属语义空间；利用生成模型的解码器生成第一样本对象的第二特征对应的第一生成对象、第二样本对象的第二特征对应的第二生成对象，第一生成对象和第二样本对象的模态相同，第二生成对象和第一样本对象的模态相同；利用鉴别器对第一生成对象和第二生成对象进行鉴别，基于鉴别结果调整检索模型的参数。
[0006]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种二值转换模型的训练方法，该方法包括：获取第一样本集，第一样本集包括多个第一样本，每个第一样本包括一对第一样本对象和第二样本对象，第一样本对象和第二样本对象的模态不同；利用检索模型提取第一样本对象的第七特征和第二样本对象的第七特征；利用二值转换模型将第七特征转换为第八特征；基于第七特征和第八特征之间的差异，调整二值转换模型的参数；检索模型为经上述训练方法得到的。
[0007]为解决上述技术问题，本申请采用的又一个技术方案是：提供一种基于检索模型的识别方法，该方法包括：获取待检索对象；利用检索模型提取待检索对象的第九特征；利用检索模型基于第九特征在数据库中检索与待检索对象匹配的目标对象，其中，目标对象的模态与待检索对象的模态不同；检索模型为经上述训练方法得到的。
[0008]为解决上述技术问题，本申请采用的又一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
[0009]为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
[0010]通过上述方式，本申请在对检索模型进行训练的过程中，利用检索模型将提取到第一样本对象/第二样本对象的第一语义空间的第一特征之后，还会将第一特征映射成第二语义空间的第二特征，而由于第二语义空间为生成模型提取的特征所在语义空间，因此通过鉴别器对基于第二特征生成的第一生成对象/第二生成对象进行鉴别的结果来调整检索模型的参数，能够优化检索模型的特征提取性能，从而使得检索模型后续在被使用的过程中提取到的特征更有辨别性，进而提升检索模型的检索能力。
附图说明
[0011]图1是本申请检索模型的训练方法第一实施例的流程示意图；
[0012]图2是本申请对检索模型训练的结构示意图；
[0013]图3是本申请检索模型的训练方法第二实施例的流程示意图；
[0014]图4是本申请检索模型的训练方法第三实施例的流程示意图；
[0015]图5是本申请检索模型的训练方法第四实施例的流程示意图；
[0016]图6是本申请检索模型的训练方法第五实施例的流程示意图；
[0017]图7是本申请对生成模型训练的结构示意图；
[0018]图8是本申请检索模型的训练方法第六实施例的流程示意图；
[0019]图9是本申请检索模型的识别方法一实施例的流程示意图；
[0020]图10是图9中S73的具体流程示意图；
[0021]图11是本申请二值转换模型的训练方法一实施例的流程示意图；
[0022]图12是图11中S84的具体流程示意图；
[0023]图13是本申请电子设备一实施例的结构示意图；
[0024]图14是本申请存储介质一实施例的结构示意图。
具体实施方式
[0025]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0026]本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0027]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同
的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
[0028]图1是本申请检索模型的训练方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：
[0029]S11：获取第一样本集。
[0030]其中，第一样本集中包括多个第一样本，每个第一样本包括一对第一样本对象和第二样本对象，第一样本对象和第二样本对象的模态不同。
[0031]本申请所提及的样本对象的模态可以为图像、文本、语音等。为简化描述，本申请后文以每个第一样本包括的第一样本对象的模态为图像、第二样本对象的模态为文本进行说明。本申请后文也将第一样本对象称为图像，将第二样本对象称为文本。
[0032]举例说明，第一样本集D＝{d1,d2,
…
,d
m
}，d
i
(i＝1,
…
,m)为第一样本。d...

【技术保护点】

【技术特征摘要】
1.一种检索模型的训练方法，其特征在于，包括：获取第一样本集，其中，所述第一样本集中包括多个第一样本，每个所述第一样本包括一对第一样本对象和第二样本对象，所述第一样本对象和所述第二样本对象的模态不同；利用所述检索模型提取所述第一样本对象的第一特征和所述第二样本对象的第一特征，所述第一特征属于第一语义空间；利用所述检索模型将所述第一特征映射成第二特征，所述第二特征属于第二语义空间，所述第二语义空间为所述生成模型的编码器提取的特征所属语义空间；利用生成模型的解码器生成所述第一样本对象的第二特征对应的第一生成对象、所述第二样本对象的第二特征对应的第二生成对象，所述第一生成对象和所述第二样本对象的模态相同，所述第二生成对象和所述第一样本对象的模态相同；利用鉴别器对所述第一生成对象和所述第二生成对象进行鉴别，基于鉴别结果调整所述检索模型的参数。2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：利用所述生成模型的编码器提取所述第一样本对象的第三特征和所述第二样本对象的第三特征；基于所述第二特征和第三特征之间的差异，调整所述检索模型的参数。3.根据权利要求1所述的方法，其特征在于，在利用鉴别器对所述第一生成对象和所述第二生成对象进行鉴别之前，包括：对所述鉴别器进行训练。4.根据权利要求3所述的方法，其特征在于，所述对所述鉴别器进行训练，包括：利用所述生成模型的编码器得到所述第一样本对象的第四特征和所述第二样本对象的第四特征，并利用所述检索模型得到所述第一样本对象的第五特征和所述第二样本对象的第五特征，所述第四特征和第五特征属于第二语义空间，所述第五特征的得到方式与所述第二特征的得到方式相同；利用所述生成模型的解码器生成所述第一样本对象的第四特征对应的第三生成对象和所述第二样本对象的第四特征对应的第四生成对象，并利用所述生成模型的编码器生成所述第一样本对象的第五特征对应的第五生成对象和所述第二样本对象的第五特征对应的第六生成对象，所述第三生成对象、第五生成对象和所述第二样本对象的模态相同，所述第四生成对象、第六生成对象和所述第一样本对象的模态相同；利用所述鉴别器对所述第三生成对象和第五生成对象进行鉴别，并利用所述鉴别器对所述第四生成对象和第六生成对象进行鉴别，基于鉴别结果调整所述鉴别器的参数。5.根据权利要求1所述的方法，其特征在于，在所述利用所述检索模型提取所述第一样本对象的第一特征和所述第二样本对象的第一特征之前，包括：对所述检索模型进行预训练。6.根据权利要求5所述的方法，其特征在于，所述对所述检索模型进行预训练，包括：利用所述检索模型提取所述第一样本对象的第六特征和第二样本对象的第六特征；利用所述检索模型对所述第六特征进行分类，基于分类结果调整所述检索模型的参数。7.根据权利要求6所述的方法，其特征在于，在所述利用所述检索模型提取所述第一样
本对象的第六特征和第二样本对象的第六特征之后，还包括：基于所述第一样本间样本对象的第六特征的差异，以及基于所述第一样本内样本对象的第六特征的差异，调整所述检索模型的参数。8.根据权利要求1所述的方法，其特征在于，在所述利用生成模型的解码器生成所述第一样本对象的第二特征对应的第一生成对象、所述第二样本对象的第二特征对应的第二生成对象之前，还包括：对所述生成模型进行训练。9.根据权利要求8所述的方法，其特征在于，所述对所述生成模型进行训练，包括：利用所述生成模型生成所述第一样本对象对应的第七生成对象和所述第二样本对象对应的第八生成对象，所述第七生成对象和所述第二样本对象的模态相同，所述第八生成对象和所述第一样本对象的模态相同；利用对偶模型获取所述第一样本对象和第七生成对象的第一匹配结果、所述第二样本对象和第八生成对象的第一匹配结果，基于所述第一匹配结果调整所述生成模型的...

【专利技术属性】
技术研发人员：刘俊浩，杨敏，李成明，徐睿峰，姜青山，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：