哈希网络训练方法、广告图像素材检索方法及相关装置制造方法及图纸

本申请提供了一种哈希网络训练方法、广告图像素材检索方法及相关装置，该方法通过预先设定的损失函数对深度哈希网络进行训练，使深度哈希网络能学习到以最小化相似图像对之间的距离，且最大化不相似图像对间的距离的目标，生成哈希特征值，提高训练好的深度哈希网络表达图像相似关系的能力，进而提高图像去重或检索的精度。

【技术实现步骤摘要】
哈希网络训练方法、广告图像素材检索方法及相关装置
本申请涉及图像处理
，特别涉及一种哈希网络训练方法、广告图像素材检索方法及装置。
技术介绍
图像检索可以理解为计算图像的特征值，然后根据特征值间的距离远近来判断图像间是否相关。在大规模图库中，检索一张图像需要比对上百万或千万的图像，因此要做到实时检索，需要快速地计算两张图像间的距离，其中，汉明距离天然适应计算机的底层架构，具有其他距离无可比拟的计算速度，因此采用汉明距离能提高计算的速度。为了使用汉明距离，传统的方法有局部敏感哈希LSH，感知哈希PHASH等，但这些方法表达特征的能力不强，检索精确率不高。为了提高检索精确率，可以采用具有强大特征学习能力的深度哈希网络。但是，基于深度哈希网络进行图像检索的精度仍有待提高。
技术实现思路
为解决上述技术问题，本申请实施例提供一种哈希网络训练方法、广告图像素材检索方法及相关装置，以达到提高深度哈希网络进行图像检索的精度的目的，技术方案如下：一种哈希网络训练方法，包括：从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；对所述第一训练图像进行图像增强，将图像增强后的图像作为第三训练图像；分别将所述第一训练图像、所述第二训练图像及所述第三训练图像输入到深度哈希网络，得到所述深度哈希网络生成的第一特征值、第二特征值和第三特征值；将所述第一特征值、所述第二特征值及所述第三特征值输入到预先设定的损失函数中，得到损失函数值，所述预先设定的损失函数用于最小化相似图像对之间的距离，且最大化不相似图像对间的距离；判断所述损失函数值是否收敛；若未收敛，则对所述深度哈希网络的参数进行更新，并返回执行所述从数据源中选择两张图像，作为训练图像对的步骤，直至所述损失函数值收敛。所述预先设定的损失函数为：L＝(log(1+exp(α<hi,hj>))-αsij<hi,hj>)+log(1+exp(α<hi,hk>))；其中，hi表示所述第一特征值，hj表示所述第二特征值，hk表示所述第三哈希值，<hi,hj>表示hi和hj的内积，<hi,hk>表示hi和hk的内积，α表示指数系数，sij表示图像的相似标识符，sij为1时表示图像相似，sij为0时表示图像不相似。所述深度哈希网络的最后一层全连接层连接有Tanh激活函数；所述深度哈希网络输出的特征值为所述Tanh激活函数将所述最后一层全连接层输出的特征值映射到(-1,1)区间，所得到的特征值。一种广告图像素材检索方法，包括：在接收到针对待处理图像的检索请求时，将所述待处理图像及数据库中的每张图像分别输入到深度哈希网络，得到所述深度哈希网络输出的特征值，所述深度哈希网络为基于权利要求1-3任意一项所述的哈希网络训练方法训练得到的；基于所述待处理图像的特征值及所述数据库中每张图像的特征值，计算所述待处理图像与所述数据库中每张图像之间的汉明距离，并通过所述待处理图像与所述数据库中每张图像之间的汉明距离，从所述数据库中去除与所述待处理图像重复的图像，得到去重后的图像集；基于所述待处理图像的特征值，计算所述待处理图像与所述去重后的图像集中每张图像之间的汉明距离，并基于所述待处理图像与所述去重后的图像集中每张图像之间的汉明距离，在所述去重后的图像集中检索与所述待处理图像相似的图像。所述通过所述待处理图像与所述数据库中每张图像之间的汉明距离，从所述数据库中去除与所述待处理图像重复的图像，包括：获取针对所述待处理图像预先设置的自适应距离阈值，所述自适应距离阈值的设置过程，包括：确定所述待处理图像的色彩复杂度和结构复杂度，并基于所述待处理图像的色彩复杂度和结构复杂度，确定自适应距离阈值；分别判断所述待处理图像与所述数据库中每张图像之间的汉明距离是否小于针对所述待处理图像预先设置的自适应距离阈值；若是，则从所述数据库中删除所述图像。所述确定所述图像的色彩复杂度和结构复杂度，并基于所述图像的色彩复杂度和结构复杂度，确定自适应距离阈值，包括：利用关系式一计算所述待处理图像的灰度直方图的信息熵，将所述待处理图像的灰度直方图的信息熵作为色彩复杂度，L表示所述待处理图像的灰度直方图的级数，ti表示当前级数所含像素个数，T为总像素个数，Ep表示所述待处理图像的灰度直方图的信息熵；利用关系式二计算所述待处理图像的灰度共生矩阵中的同质性统计量，将所述待处理图像的灰度共生矩阵中的同质性统计量作为结构复杂度，G表示灰度共生矩阵,i、j分别表示所述待处理图像的灰度共生矩阵的横、纵坐标，L表示所述待处理图像的灰度直方图的级数；利用关系式三计算自适应距离阈值，其中，a、b、c表示自定义系数，th表示自适应距离阈值。一种哈希网络训练装置，包括：选择模块，用于从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；图像增强模块，用于对所述第一训练图像进行图像增强，将图像增强后的图像作为第三训练图像；特征值生成模块，用于分别将所述第一训练图像、所述第二训练图像及所述第三训练图像输入到深度哈希网络，得到所述深度哈希网络生成的第一特征值、第二特征值和第三特征值；损失函数值确定模块，用于将所述第一特征值、所述第二特征值及所述第三特征值输入到预先设定的损失函数中，得到损失函数值，所述预先设定的损失函数用于最小化相似图像对之间的距离，且最大化不相似图像对间的距离；判断模块，用于判断所述损失函数值是否收敛；更新模块，用于若所述损失函数值未收敛，则对所述深度哈希网络的参数进行更新，并返回执行所述选择模块从数据源中选择两张图像，作为训练图像对的步骤，直至所述损失函数值收敛。所述预先设定的损失函数为：L＝(log(1+exp(α<hi,hj>))-αsij<hi,hj>)+log(1+exp(α<hi,hk>))；其中，hi表示所述第一特征值，hj表示所述第二特征值，hk表示所述第三哈希值，<hi,hj>表示hi和hj的内积，<hi,hk>表示hi和hk的内积，α表示指数系数，sij表示图像的相似标识符，sij为1时表示图像相似，sij为0时表示图像不相似。所述深度哈希网络的最后一层全连接层连接有Tanh激活函数；所述深度哈希网络输出的特征值为所述Tanh激活函数将所述最后一层全连接层输出的特征值映射到(-1,1)区间，所得到的特征值。一种广告图像素材检索装置，包括：生成模块，用于在接收到针对待处理图像的检索请求时，将所述待处理图像及数据库中的每张图像分别输入到深度哈希网络，得到所述深度哈希网络输出的特征值，所述深度哈希网络为基于上述任意一项所述的哈希网络训练方法训练得到的；去重模块，用于基于所述待处理图像的特征值及所述数据库中每张图像的特征值，计本文档来自技高网...

【技术保护点】
1.一种哈希网络训练方法，其特征在于，包括：/n从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；/n对所述第一训练图像进行图像增强，将图像增强后的图像作为第三训练图像；/n分别将所述第一训练图像、所述第二训练图像及所述第三训练图像输入到深度哈希网络，得到所述深度哈希网络生成的第一特征值、第二特征值和第三特征值；/n将所述第一特征值、所述第二特征值及所述第三特征值输入到预先设定的损失函数中，得到损失函数值，所述预先设定的损失函数用于最小化相似图像对之间的距离，且最大化不相似图像对间的距离；/n判断所述损失函数值是否收敛；/n若未收敛，则对所述深度哈希网络的参数进行更新，并返回执行所述从数据源中选择两张图像，作为训练图像对的步骤，直至所述损失函数值收敛。/n

【技术特征摘要】
1.一种哈希网络训练方法，其特征在于，包括：
从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；
对所述第一训练图像进行图像增强，将图像增强后的图像作为第三训练图像；
分别将所述第一训练图像、所述第二训练图像及所述第三训练图像输入到深度哈希网络，得到所述深度哈希网络生成的第一特征值、第二特征值和第三特征值；
将所述第一特征值、所述第二特征值及所述第三特征值输入到预先设定的损失函数中，得到损失函数值，所述预先设定的损失函数用于最小化相似图像对之间的距离，且最大化不相似图像对间的距离；
判断所述损失函数值是否收敛；
若未收敛，则对所述深度哈希网络的参数进行更新，并返回执行所述从数据源中选择两张图像，作为训练图像对的步骤，直至所述损失函数值收敛。


2.根据权利要求1所述的方法，其特征在于，所述预先设定的损失函数为：L＝(log(1+exp(α<hi，hj>))-αsij<hi，hj>)+log(1+exp(α<hi，hk>))；
其中，hi表示所述第一特征值，hj表示所述第二特征值，hk表示所述第三哈希值，<hi,hj>表示hi和hj的内积，<hi,hk>表示hi和hk的内积，α表示指数系数，sij表示图像的相似标识符，sij为1时表示图像相似，sij为0时表示图像不相似。


3.根据权利要求1所述的方法，其特征在于，所述深度哈希网络的最后一层全连接层连接有Tanh激活函数；
所述深度哈希网络输出的特征值为所述Tanh激活函数将所述最后一层全连接层输出的特征值映射到(-1,1)区间，所得到的特征值。


4.一种广告图像素材检索方法，其特征在于，包括：
在接收到针对待处理图像的检索请求时，将所述待处理图像及数据库中的每张图像分别输入到深度哈希网络，得到所述深度哈希网络输出的特征值，所述深度哈希网络为基于权利要求1-3任意一项所述的哈希网络训练方法训练得到的；
基于所述待处理图像的特征值及所述数据库中每张图像的特征值，计算所述待处理图像与所述数据库中每张图像之间的汉明距离，并通过所述待处理图像与所述数据库中每张图像之间的汉明距离，从所述数据库中去除与所述待处理图像重复的图像，得到去重后的图像集；
基于所述待处理图像的特征值，计算所述待处理图像与所述去重后的图像集中每张图像之间的汉明距离，并基于所述待处理图像与所述去重后的图像集中每张图像之间的汉明距离，在所述去重后的图像集中检索与所述待处理图像相似的图像。


5.根据权利要求4所述的方法，其特征在于，所述通过所述待处理图像与所述数据库中每张图像之间的汉明距离，从所述数据库中去除与所述待处理图像重复的图像，包括：
获取针对所述待处理图像预先设置的自适应距离阈值，所述自适应距离阈值的设置过程，包括：确定所述待处理图像的色彩复杂度和结构复杂度，并基于所述待处理图像的色彩复杂度和结构复杂度，确定自适应距离阈值；
分别判断所述待处理图像与所述数据库中每张图像之间的汉明距离是否小于针对所述待处理图像预先设置的自适应距离阈值；
若是，则从所述数据库中删除所述图像。


6.根据权利要求5所述的方法，其特征在于，所述确定所述图像的色彩复杂度和结构复杂度，并基于所述图像的色彩复杂度和结构复杂度，确定自适应距离阈值，包括：
利用关系式一计算所述待处理图像的灰度直方图的信息熵，将所述待处理图像的灰度直方图的信息熵作为色彩复杂度，L表示所述待处理图像的灰度直方图的级数，ti表示当前级数所含像素个数，T为总像素个数，Ep表示所述待处理图像的灰度直方图的信息熵；
利用关系式二计算所述待处理图像的灰度共生矩阵中的同质性统计量，将所述待处理图像的灰度共生矩阵中的同质性统计量作为结构复杂度，G表示灰度共生矩阵,i、j分别表示所述待处理图像的灰度共生矩阵的横、纵坐标，L表示所述待处理图像的灰度直方图的级数；
利用关系式三计算自适应距离阈值，其中，a、b、c表示自定义系数，th表示自适应距离阈值。


7.一种哈希网络训练装置，其特征在于，包括：
选择模块，用于从数据源中选择两张图像，分别作为第一训练图像和第二训练图像；
图像增强模块，用于对所述第一训练图像进行图像增强，将图像增强后的图像作为第三训练图像；
特征值生成模块，用于分别将所述第一训练图...

【专利技术属性】
技术研发人员：钟艺豪，李百川，
申请(专利权)人：有米科技股份有限公司，
类型：发明
国别省市：广东;44