一种基于哈希算法和邻域图的跨模态检索方法及装置制造方法及图纸

本发明专利技术公开了一种基于哈希算法和邻域图的跨模态检索方法及装置，检索方法包括：获取多模态原始样本，对多模态原始样本经过特征变换前后得到的残差值进行最小化处理，得到最小化残差值；根据协同矩阵分解方法学习多模态原始样本之间的潜在关联，并根据潜在关联计算得到多模态原始样本的模态间的语义一致性；采用邻域图的流行学习，计算得到多模态原始样本的模态内的语义一致性；将最小化残差值、模态间的语义一致性和模态内的语义一致性，结合避免过度拟合的正则化计算得到目标函数。本发明专利技术实施例通过综合考虑多模态的全局特征和模态间的局部特征，计算得到用于跨模态检索的目标函数，以实现提高跨模态检索的全面性和准确性。

【技术实现步骤摘要】
一种基于哈希算法和邻域图的跨模态检索方法及装置
本专利技术涉及检索
，尤其是涉及一种基于哈希算法和邻域图的跨模态检索方法及装置。
技术介绍
信息技术的快速发展带来了多模态数据的爆炸式增长，包括图像、音频、文本、视频等多源异构数据。由于模态之间的语义表示存在异构的差异，因此，高效的多模态的检索成为当前多模态融合的关键问题之一。现有技术对于多模态检索大多数利用哈希算法来实现，哈希算法将多模态数据映射到统一的潜在空间上，通过哈希函数对特征向量进行量化得到的哈希码从而实现多模态空间的对齐。但是本申请人在研究中发现，现有的跨模态检索方法没有考虑同一个模态内样本之间的相似性以及模态之间的相似性，导致跨模态检索的效果较差。
技术实现思路
本专利技术提供一种基于哈希算法和邻域图的跨模态检索方法及装置，以解决现有的跨模态检索方法没有考虑同一个模态内样本之间的相似性以及模态之间的相似性，导致跨模态检索的效果较差的技术问题。本专利技术的第一实施例提供一种基于哈希算法和邻域图的跨模态检索方法，包括：获取多模态原始样本，对所述多模态原始样本经过特征变换前后得到的残差值进行最小化处理，得到最小化残差值；根据协同矩阵分解方法学习所述多模态原始样本之间的潜在关联，并根据所述潜在关联计算得到所述多模态原始样本的模态间的语义一致性；采用邻域图的流行学习，计算得到所述多模态原始样本的模态内的语义一致性；将所述最小化残差值、所述模态间的语义一致性和所述模态内的语义一致性，结合避免过度拟合的正则化计算得到目标函数。进一步地，所述获取多模态原始样本，对所述多模态原始样本经过特征变换前后得到的残差值进行最小化处理，得到最小化残差值，具体为：通过设置所述多模态样本中的每一样本对应的哈希码得到训练集的哈希码集，将所述哈希码集以及预设的语义标签矩阵根据误差最小化的原则，得到所述多模态原始样本的最小化残差值。进一步地，所述根据协同矩阵分解方法学习所述多模态原始样本之间的潜在关联，并根据所述潜在关联计算得到所述多模态原始样本的模态间的语义一致性，具体为：通过对所述多模态原始样本进行特征提取，得到图像基本特征矩阵和文本基本特征矩阵；根据所述图像基本特征矩阵和所述文本基本特征矩阵计算得到模态间的语义一致性。进一步地，所述采用邻域图的流行学习，计算得到所述多模态原始样本的模态内的语义一致性，具体为：构造同一模态数据之间的邻域图表示样本的局部关系，根据所述邻域图以及所述图像基本特征矩阵和所述文本基本特征图像计算得到所述多模态原始样本的模态内的语义一致性。进一步地，所述正则化项包括回归系数矩阵、样本噪音矩阵、所述图像基本特征矩阵和所述文本基本特征矩阵。本专利技术的第二实施例提供了一种基于哈希算法和邻域图的跨模态检索装置，包括：最小化处理模块，用于获取多模态原始样本，对所述多模态原始样本经过特征变换前后得到的残差值进行最小化处理，得到最小化残差值；第一计算模块，用于根据协同矩阵分解方法学习所述多模态原始样本之间的潜在关联，并根据所述潜在关联计算得到所述多模态原始样本的模态间的语义一致性；第二计算模块，用于采用邻域图的流行学习，计算得到所述多模态原始样本的模态内的语义一致性；第三计算模块，用于将所述最小化残差值、所述模态间的语义一致性和所述模态内的语义一致性，结合避免过度拟合的正则化计算得到目标函数。进一步地，所述最小化处理模块，具体用于：通过设置所述多模态样本中的每一样本对应的哈希码得到训练集的哈希码集，将所述哈希码集以及预设的语义标签矩阵根据误差最小化的原则，得到所述多模态原始样本的最小化残差值。进一步地，所述第一计算模块，具体用于：通过对所述多模态原始样本进行特征提取，得到图像基本特征矩阵和文本基本特征矩阵；根据所述图像基本特征矩阵和所述文本基本特征矩阵计算得到模态间的语义一致性。进一步地，所述第二计算模块，具体用于：构造同一模态数据之间的邻域图表示样本的局部关系，根据所述邻域图以及所述图像基本特征矩阵和所述文本基本特征图像计算得到所述多模态原始样本的模态内的语义一致性，进一步地，所述正则化项包括回归系数矩阵、样本噪音矩阵、所述图像基本特征矩阵和所述文本基本特征矩阵。本专利技术实施例结合了最小化原始样本变换前后的残差值、模态间的语义一致性和模态内的语义一致性，以及考虑了多模态的全局特征和模态间的局部特征，计算得到用于跨模态检索的目标函数，实现提高跨模态检索的全面性和准确性。附图说明图1是本专利技术实施例提供的一种基于哈希算法和邻域图的跨模态检索方法的流程示意图；图2是本专利技术实施例提供的一种基于哈希算法和邻域图的跨模态检索装置的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。请参阅图1，本专利技术的第一实施例提供了一种基于哈希算法和邻域图的跨模态检索方法，包括：S1、获取多模态原始样本，对多模态原始样本经过特征变换前后得到的残差值进行最小化处理，得到最小化残差值；S2、根据协同矩阵分解方法学习多模态原始样本之间的潜在关联，并根据潜在关联计算得到多模态原始样本的模态间的语义一致性；S3、采用邻域图的流行学习，计算得到多模态原始样本的模态内的语义一致性；S4、将最小化残差值、模态间的语义一致性和模态内的语义一致性，结合避免过度拟合的正则化计算得到目标函数。本专利技术实施例在进行跨模态检索时，综合考虑了最小化原始样本变换前后的残差值、模态间的语义一致性和模态内的语义一致性，全面考虑了原始数据转换过程中的影响因素，从而计算得到目标函数，实现提高跨模态检索的全面性和准确性。具体地，本专利技术实施例通过最小化原始样本变换前后的残差值体现多模态的全局特征，通过模态间的一致性来体现模态间的局部特征，通过模态内的一致性来体现模态内的局部特征，实现多模态总特征的高效提取，从而能够有效提高跨本文档来自技高网...

【技术保护点】
1.一种基于哈希算法和邻域图的跨模态检索方法，其特征在于，包括：/n获取多模态原始样本，对所述多模态原始样本经过特征变换前后得到的残差值进行最小化处理，得到最小化残差值；/n根据协同矩阵分解方法学习所述多模态原始样本之间的潜在关联，并根据所述潜在关联计算得到所述多模态原始样本的模态间的语义一致性；/n采用邻域图的流行学习，计算得到所述多模态原始样本的模态内的语义一致性；/n将所述最小化残差值、所述模态间的语义一致性和所述模态内的语义一致性，结合避免过度拟合的正则化项计算得到目标函数。/n

【技术特征摘要】
1.一种基于哈希算法和邻域图的跨模态检索方法，其特征在于，包括：
获取多模态原始样本，对所述多模态原始样本经过特征变换前后得到的残差值进行最小化处理，得到最小化残差值；
根据协同矩阵分解方法学习所述多模态原始样本之间的潜在关联，并根据所述潜在关联计算得到所述多模态原始样本的模态间的语义一致性；
采用邻域图的流行学习，计算得到所述多模态原始样本的模态内的语义一致性；
将所述最小化残差值、所述模态间的语义一致性和所述模态内的语义一致性，结合避免过度拟合的正则化项计算得到目标函数。


2.如权利里要求1所述的基于哈希算法和邻域图的跨模态检索方法，其特征在于，所述获取多模态原始样本，对所述多模态原始样本经过特征变换前后得到的残差值进行最小化处理，得到最小化残差值，具体为：
通过设置所述多模态样本中的每一样本对应的哈希码得到训练集的哈希码集，将所述哈希码集以及预设的语义标签矩阵根据误差最小化的原则，得到所述多模态原始样本的最小化残差值。


3.如权利要求1所述的基于哈希算法和邻域图的跨模态检索方法，其特征在于，所述根据协同矩阵分解方法学习所述多模态原始样本之间的潜在关联，并根据所述潜在关联计算得到所述多模态原始样本的模态间的语义一致性，具体为：
通过对所述多模态原始样本进行特征提取，得到图像基本特征矩阵和文本基本特征矩阵；根据所述图像基本特征矩阵和所述文本基本特征矩阵计算得到模态间的语义一致性。


4.如权利要求3所述的基于哈希算法和邻域图的跨模态检索方法，其特征在于，所述采用邻域图的流行学习，计算得到所述多模态原始样本的模态内的语义一致性，具体为：
构造同一模态数据之间的邻域图表示样本的局部关系，根据所述邻域图以及所述图像基本特征矩阵和所述文本基本特征图像计算得到所述多模态原始样本的模态内的语义一致性。


5.如权利要求1所述的基于哈希算法和邻域图的跨模态检索方法，其特征在于，所述正则化项包...

【专利技术属性】
技术研发人员：杜翠凤，蒋仕宝，孙广波，朱春荣，
申请(专利权)人：广州杰赛科技股份有限公司，广州杰赛通信规划设计院有限公司，
类型：发明
国别省市：广东;44