图片检索模型建立方法和装置、图片检索方法和装置制造方法及图纸

本申请实施例公开了图片检索模型建立方法和装置、图片检索方法和装置，所述图片检索模型建立方法包括：构建初始的第一神经网络和第二神经网络，所述第一神经网络与第二神经网络相同；所述第一和第二神经网络分别接收第一图片和第二图片，通过所述第一和第二神经网络前向传播；计算得到第一和第二特征；计算当前神经网络的损失，当损失非零时，将所述损失逐层反向传播到第一和第二神经网络中，并同步更新所述第一神经网络和第二神经网络中每层网络的权值。

【技术实现步骤摘要】
图片检索模型建立方法和装置、图片检索方法和装置
本专利技术涉及图像处理
，特别涉及一种图片检索方法和装置。
技术介绍
除了文本检索之外，根据图片搜索图片的图片检索也是一个切实的需求。在相关的现有技术中，其中一种图片检索方式是“感知哈希算法”。在该方法中，先将图片(检索图片和候选图片)缩小到一个小尺寸(如32×32大小)，再对图片进行二维的余弦变换，得到图片的频率分布的值，其中，低频的信息集中在左上角，高频的信息靠近右下角，再从余弦变换后的图片中截取左上角的一定区域(如，该区域大小为8×8)，该区域涵盖了原图的基本色调，再对该区域进行二值化处理，得到二值化结果，再将二值化结果编码为哈希码。在检索时，直接计算检索图片的哈希码和候选图片的哈希码的汉明距离，根据汉明距离评估检索图片和候选图片的相似度，并确定候选图片是否为检索结果。但是，这种图片检索方式对于自然场景中的图片比较适用，而对文本插图并不适用，当对文本插图进行检索时，其检索的准确度并不高。另一种图片检索方式是将检索图片和候选图片都缩放到同等大小，并进行对齐，最后比较两个图片中各像素点的值是否一致，根据是否一致确定候选图片是否为检索结果。但是，这种方式也有其自身的缺陷：第一，由于拍摄导致的图片变形等问题，在对齐环节很容易使得对应像素错位，故不能得到准确的答案；第二，在大规模的图片检索中，如果将检索图片与每张候选图片单独进行对比、判别操作，操作的耗时极长、无法满足线上的快速检索的要求。由此可见，现有的图片检索方式无法既满足检索准确度的要求又满足检索速度的要求。
技术实现思路
针对图像处理
，本申请所要解决的技术问题是，针对现有技术的不足，提出一种图片检索方法和装置，以尽可能提高检索准确度的同时，提高检索速度。本申请一方面，提供一种图片检索模型建立方法，包括：构建初始的第一神经网络和第二神经网络，所述第一神经网络与第二神经网络相同；所述第一神经网络接收第一图片，所述第二神经网络接收第二图片；所述第一图片和第二图片分别通过所述第一神经网络和第二神经网络前向传播；所述第一神经网络和第二神经网络分别计算得到与第一图片对应的第一特征和与第二图片对应的第二特征；结合所述第一特征、第二特征和标签，计算当前神经网络的损失，所述标签用于标明所述第一图片与第二图片是否相似；当损失为零时，所述第一神经网络和第二神经网络继续接收下一组训练数据，所述训练数据包括新的第一图片、第二图片和对应标识；当损失非零时，将所述损失逐层反向传播到所述第一神经网络和第二神经网络中，并同步更新所述第一神经网络和第二神经网络中每层网络的权值，当误差被反向传播至所述第一神经网络和所述第二神经网络的输入层时，所述第一神经网络和第二神经网络接收下一组训练数据继续训练，直至训练数据均训练完成。可选地，在所述第一图片和第二图片分别经所述第一神经网络和第二神经网络前向传播之前，还包括：将所述第一图片和第二图片调整至第一尺寸，所述第一尺寸由所述第一神经网络确定。可选地，所述第一特征为所述第一图片经所述第一神经网络计算得到的第一哈希码；所述第二特征为所述第二图片经所述神经网络计算得到的第二哈希码。可选地，所述第一神经网络为卷积神经网络。可选地，所述卷积神经网络包括至少两层卷积层，所述方法还包括：对第一卷积层的输出做反卷积变换，得到第一中间结果；计算所述第一中间结果与所述第一卷积层的输入之间距离，并用该距离调节所述第一卷积层的权值；对第二卷积层的输出做反卷积变换，得到第二中间结果；计算所述第二中间结果与所述第二卷积层的输入之间距离，并用该距离调节所述第二卷积层的权值。本申请另一方面，还提供一种图片检索方法，包括：获取检索库图片；将所述检索库图片调整至第一尺寸；将第一尺寸的检索库图片作为第一输入，依次输入至由权利要求1-5任意一项建立的图片检索模型的第一神经网络中，得到所述检索库图片对应的第一特征并存储；获取待检索图片并将待检索图片调整至第一尺寸；将第一尺寸的待检索图片输入作为输入，输入至所述第一神经网络中，得到所述待检索图片对应的第一特征；计算所述待检索图片对应的第一特征与检索库图片对应的第一特征的汉明距离，并根据汉明距离确定与所述待检索图片相似的图片。本申请另一方面，提供一种图片检索模型建立装置，包括：构建模块，用于构建初始的第一神经网络和第二神经网络，所述第一神经网络与第二神经网络相同；接收模块，用于所述第一神经网络接收第一图片，所述第二神经网络接收第二图片；第一处理模块，用于控制所述第一图片和第二图片分别通过所述第一神经网络和第二神经网络前向传播，所述第一神经网络和第二神经网络分别计算得到与第一图片对应的第一特征和与第二图片对应的第二特征；计算模块，用于结合所述第一特征、第二特征和标签，计算当前神经网络的损失，所述标签用于标明所述第一图片与第二图片是否相似；控制模块，用于当损失为零时，所述第一神经网络和第二神经网络继续接收下一组训练数据，所述训练数据包括新的第一图片、第二图片和对应标识；当损失非零时，将所述损失逐层反向传播到所述第一神经网络和第二神经网络中，并同步更新所述第一神经网络和第二神经网络中每层网络的权值，当误差被反向传播至所述第一神经网络和所述第二神经网络的输入层时，所述第一神经网络和第二神经网络接收下一组训练数据继续训练，直至训练数据均训练完成。可选地，所述装置还包括：调整模块，用于在所述第一图片和第二图片分别经所述第一神经网络和第二神经网络前向传播之前，将所述第一图片和第二图片调整至第一尺寸，所述第一尺寸由所述第一神经网络确定。可选地，所述第一特征为所述第一图片经所述第一神经网络计算得到的第一哈希码；所述第二特征为所述第二图片经所述第二神经网络计算得到的第二哈希码。可选地，所述第一神经网络为卷积神经网络。可选地，所述卷积神经网络包括至少两层卷积层，所述装置还包括：第一反变换模块，用于对第一卷积层的输出做反卷积变换，得到第一中间结果；第一调节模块，用于计算所述第一中间结果与所述第一卷积层的输入之间距离，并用该距离调节所述第一卷积层的权值；第二反变换模块，用于对第二卷积层的输出做反卷积变换，得到第二中间结果；第二调节模块，用于计算所述第二中间结果与所述第二卷积层的输入之间距离，并用该距离调节所述第二卷积层的权值。本申请另一方面还提供一种图片检索装置，包括：获取模块，用于获取检索库图片；调整模块，用于将所述检索库图片调整至第一尺寸；处理模块，用于将第一尺寸的检索库图片作为第一输入，依次输入至由权利要求7-11任意一项建立的图片检索模型中第一神经网络中，得到所述检索库图片对应的第一特征并存储；所述调整模块，还用于将待检索图片调整至第一尺寸；所述处理模块，还用于将第一尺寸的待检索图片输入作为第一输入，输入所述第一神经网络中，得到所述待检索图片对应的第一特征；比较模块，用于计算所述待检索图片对应的第一特征与检索库图片对应的第一特征的汉明距离，并根据汉明距离确定与所述待检索图片相似的图片。本申请实施例提供的技术方案基于神经网络模型可以快速计算出检索图片与每一个候选图片的特征，然后计算两者之间的汉明距离，因为汉明距离的计算过程仅是二值码的“异或”操作，所以速度极快，可迅速得到检索结果。附图说明图本文档来自技高网...

【技术保护点】
一种图片检索模型建立方法，其特征在于，包括：构建初始的第一神经网络和第二神经网络，所述第一神经网络与第二神经网络相同；所述第一神经网络接收第一图片，所述第二神经网络接收第二图片；所述第一图片和第二图片通过所述第一神经网络和第二神经网络前向传播；所述第一神经网络和第二神经网络分别计算得到与第一图片对应的第一特征和与第二图片对应的第二特征；结合所述第一特征、第二特征和标签，计算当前神经网络的损失，所述标签用于标明所述第一图片与第二图片是否相似；当损失为零时，所述第一神经网络和第二神经网络继续接收下一组训练数据，所述训练数据包括新的第一图片、第二图片和对应标识；当损失非零时，将所述损失逐层反向传播到所述第一神经网络和第二神经网络中，并同步更新所述第一神经网络和第二神经网络中每层网络的权值，当误差被反向传播至所述第一神经网络和所述第二神经网络的输入层时，所述第一神经网络和第二神经网络接收下一组训练数据继续训练，直至训练数据均训练完成。

【技术特征摘要】
1.一种图片检索模型建立方法，其特征在于，包括：构建初始的第一神经网络和第二神经网络，所述第一神经网络与第二神经网络相同；所述第一神经网络接收第一图片，所述第二神经网络接收第二图片；所述第一图片和第二图片通过所述第一神经网络和第二神经网络前向传播；所述第一神经网络和第二神经网络分别计算得到与第一图片对应的第一特征和与第二图片对应的第二特征；结合所述第一特征、第二特征和标签，计算当前神经网络的损失，所述标签用于标明所述第一图片与第二图片是否相似；当损失为零时，所述第一神经网络和第二神经网络继续接收下一组训练数据，所述训练数据包括新的第一图片、第二图片和对应标识；当损失非零时，将所述损失逐层反向传播到所述第一神经网络和第二神经网络中，并同步更新所述第一神经网络和第二神经网络中每层网络的权值，当误差被反向传播至所述第一神经网络和所述第二神经网络的输入层时，所述第一神经网络和第二神经网络接收下一组训练数据继续训练，直至训练数据均训练完成。2.根据权利要求1所述的方法，其特征在于，在所述第一图片和第二图片分别经所述第一神经网络和第二神经网络前向传播之前，还包括：将所述第一图片和第二图片调整至第一尺寸，所述第一尺寸由所述第一神经网络确定。3.根据权利要求1所述的方法，其特征在于，所述第一特征为所述第一图片经所述第一神经网络计算得到的第一哈希码；所述第二特征为所述第二图片经所述神经网络计算得到的第二哈希码。4.根据权利要求1所述的方法，其特征在于，所述第一神经网络为卷积神经网络。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：对一卷积层的输出做反卷积变换，得到中间结果；计算所述中间结果与所述卷积层的输入之间距离，并根据该距离调节所述卷积层的权值。6.一种图片检索方法，其特征在于，包括：获取检索库图片；将所述检索库图片调整至第一尺寸；将第一尺寸的检索库图片作为第一输入，依次输入至由权利要求1-5任意一项建立的图片检索模型的第一神经网络中，得到所述检索库图片对应的第一特征并存储；获取待检索图片并将待检索图片调整至第一尺寸；将第一尺寸的待检索图片输入作为输入，输入至所述第一神经网络中，得到所述待检索图片对应的第一特征；计算所述待检索图片对应的第一特征与检索库图片对应的第一特征的汉明距离，并根据汉明距离确定与所述待检索图片相似的图片。7.一种图片检索模型建立装置，其特征在于，包括：构建模块，用于构建初始的第一神经网络和第二神经网络，所述第一神经网络与第二神经网络相同；接收模块，用于所述第一神经网络接收第一图片，所述第二神经网络接收第二图片；第一处理模块，用于...

【专利技术属性】
技术研发人员：朱珊珊，方志宏，孙萌，邓澍军，郭常圳，
申请(专利权)人：北京粉笔未来科技有限公司，
类型：发明
国别省市：北京,11