本发明专利技术公开了一种图像特征提取模型训练和图像比对的方法，包括：获取样本图像，对所述样本图像进行图像变换，以至少得到对应的第一变化视图和第二变化视图；将所述第一变化视图输入知识蒸馏网络中的老师网络，通过所述老师网络提取特征；将所述第二变化视图输入所述知识蒸馏网络中的学生网络，通过所述学生网络提取特征；根据所述第二变化视图的特征进行图像恢复，得到恢复视图；根据所述第一变化视图的特征和所述第二变化视图的特征确定蒸馏损失；根据所述恢复视图和所述样本图像确定复原损失；根据所述蒸馏损失和所述复原损失对所述老师网络进行训练。相应地，本发明专利技术公开了图像特征提取模型训练和图像比对的装置。征提取模型训练和图像比对的装置。征提取模型训练和图像比对的装置。
【技术实现步骤摘要】
一种图像特征提取模型训练和图像比对的方法和装置
[0001]本专利技术涉及图像处理技术，尤其涉及一种图像相似检测的方法和装置。
技术介绍
[0002]在这个移动互联网飞速发展的时代，每天都有海量图片和视频数据在社交媒体等网站上传播，然而有很多用户将图片或视频进行一系列添加水印、调整颜色等修改编辑操作后，试图将其处理成新的图像传播至社交媒体上，这种图像盗用、侵权的风险普遍存在。
[0003]为避免这类图像内容风险，产生了许多图像相似检测算法。其中，尺度不变特征变换(SIFT)等基于关键点匹配的算法在图库量级比较大时十分耗时；通过生成图像的哈希表示，再对比图像哈希值的算法对于变换痕迹较重的图像难以发挥很大的作用；基于深度学习的图像表征与比对算法虽然有很好的鲁棒性，但依然难以处理一些强烈的图像变化和图像扰动，如马赛克、色彩变化、各类模糊等。
[0004]鉴于此，希望获得一种新的图像相似检测方案，以简单高效地解决大规模图像场景下的版权保护难题。
技术实现思路
[0005]图像相似检测包括图像特征提取和图像比对两个部分，本专利技术的目的之一在于提供一种图像特征提取模型训练和图像比对方法，该方法通过知识蒸馏网络进行特征提取，在其中加入图像恢复分支，计算图像的复原损失，可以有效应对各类图像变换，弱化图像变化和扰动对模型带来的影响，提高模型的鲁棒性与训练效率。
[0006]根据上述专利技术目的，本专利技术提出了一种图像特征提取模型训练方法，其包括步骤：
[0007]获取样本图像，对所述样本图像进行图像变换，以至少得到所述样本图像对应的第一变化视图和第二变化视图；
[0008]将所述第一变化视图输入知识蒸馏网络中的老师网络，通过所述老师网络提取所述第一变化视图的特征；将所述第二变化视图输入所述知识蒸馏网络中的学生网络，通过所述学生网络提取所述第二变化视图的特征；
[0009]根据所述第二变化视图的特征进行图像恢复，得到恢复视图；
[0010]根据所述第一变化视图的特征和所述第二变化视图的特征确定蒸馏损失；根据所述恢复视图和所述样本图像确定复原损失；
[0011]根据所述蒸馏损失和所述复原损失对所述老师网络进行训练。
[0012]本专利技术将经过变换的图像输入知识蒸馏网络进行特征提取，获得图像的蒸馏损失，可以简单高效地完成图像的表征；接着将提取出的图像特征输入图像恢复分支，计算图像的复原损失，可以学习得到对各类图像变换鲁棒的特征表示，弱化图像变化和扰动对模型带来的影响；最终根据蒸馏损失和复原损失对模型进行训练，所获得的模型拥有较高的鲁棒性与特征提取效率。
[0013]进一步地，根据所述第一变化视图的特征和所述第二变化视图的特征确定蒸馏损
失包括：
[0014]通过所述老师网络提取所述第一变化视图的特征，得到第一特征向量，对所述第一特征向量进行中心化操作后进行归一化处理；
[0015]通过所述学生网络提取所述第二变化视图的特征，得到第二特征向量，对所述第二特征向量进行归一化处理；
[0016]根据归一化之后的第一特征向量和归一化之后的第二特征向量计算所述知识蒸馏网络的蒸馏损失。
[0017]进一步地，根据所述恢复视图和所述样本图像确定复原损失包括：
[0018]根据恢复后的图像与所述样本图像之间的像素差异计算所述复原损失。
[0019]进一步地，对所述样本图像进行图像变换包括：
[0020]对所述样本图像进行数据增强，所述数据增强包括图像翻转、图像加噪、色彩变化和图像模糊。
[0021]更进一步地，执行图像复原算法包括：
[0022]执行与所述数据增强对应的逆变换算法。
[0023]进一步地，所述对所述样本图像进行图像变换，以至少得到所述样本图像对应的第一变化视图和第二变化视图，包括：
[0024]对所述样本图像进行全局变换，得到所述样本图像对应的第一变化视图；
[0025]对所述样本图像进行局部变换，得到所述样本图像对应的第二变化视图。
[0026]更进一步地，所述对所述样本图像进行局部变换包括：
[0027]对所述样本图像进行多次不同的局部变换，得到多个不同的第二变化视图。
[0028]进一步地，根据所述蒸馏损失和所述复原损失对所述老师网络进行训练包括：
[0029]根据所述蒸馏损失和所述复原损失更新所述学生网络参数，根据所述学生网络参数更新所述老师网络的参数。
[0030]根据上述专利技术目的，本专利技术还提出了一种图像比对方法，包括：
[0031]获取检测图像；
[0032]将所述检测图像输入预先训练好的知识蒸馏网络中的老师网络，获取所述检测图像的特征表示，所述老师网络是采用上述的图像特征提取模型训练方法训练得到的；
[0033]判断所述检测图像的特征表示与目标图像特征是否相似。
[0034]在本专利技术中，通过知识蒸馏网络提取出检测图像的特征后，与事先准备好的目标图像特征进行比对，从而获得图像之间的相似度检测结果，判断出图像是否侵权，大大提高了图像相似检测的运算速度，可以轻松处理百万级图像库。
[0035]本专利技术的另一目的在于提供一种图像特征提取模型训练和图像比对装置，该装置通过引入图像恢复分支，可以有效应对各类图像变换，弱化图像变化和扰动对模型带来的影响，提高模型的鲁棒性与训练效率。
[0036]根据上述专利技术目的，本专利技术提出了一种图像特征提取模型训练装置，其包括样本处理模块，知识蒸馏模块，图像复原模块和训练模块：
[0037]所述样本处理模块获取样本图像，对所述样本图像进行图像变换，以至少得到所述样本图像对应的第一变化视图和第二变化视图；
[0038]所述知识蒸馏模块将所述第一变化视图输入知识蒸馏网络中的老师网络，通过所
述老师网络提取所述第一变化视图的特征；将所述第二变化视图输入所述知识蒸馏网络中的学生网络，通过所述学生网络提取所述第二变化视图的特征；
[0039]所述图像复原模块根据所述第二变化视图的特征，对所述第二变化视图进行图像恢复，得到恢复视图；
[0040]所述训练模块根据所述第一变化视图的特征和所述第二变化视图的特征确定蒸馏损失，根据所述恢复视图和所述样本图像确定复原损失，并基于所述蒸馏损失和所述复原损失对所述老师网络进行训练。
[0041]本专利技术通过样本处理模块获得第一变化视图与第二变化视图，经过知识蒸馏模块分别获取图像特征，再通过图像复原模块学习得到对各类图像变换鲁棒的特征表示，最后在训练模块中对模型进行训练；不仅可以简单高效地完成图像的表征，还弱化了图像变化和扰动对模型带来的影响，所获得的模型拥有较高的鲁棒性与特征提取效率。
[0042]进一步地，所述训练模块通过所述老师网络提取所述第一变化视图的特征，得到第一特征向量，对所述第一特征向量进行中心化操作后进行归一化处理。
[0043]通过所述学生网络提取所述第二变化视图的特征本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像特征提取模型训练方法，包括：获取样本图像，对所述样本图像进行图像变换，以至少得到所述样本图像对应的第一变化视图和第二变化视图；将所述第一变化视图输入知识蒸馏网络中的老师网络，通过所述老师网络提取所述第一变化视图的特征；将所述第二变化视图输入所述知识蒸馏网络中的学生网络，通过所述学生网络提取所述第二变化视图的特征；根据所述第二变化视图的特征进行图像恢复，得到恢复视图；根据所述第一变化视图的特征和所述第二变化视图的特征确定蒸馏损失；根据所述恢复视图和所述样本图像确定复原损失；根据所述蒸馏损失和所述复原损失对所述老师网络进行训练。2.如权利要求1所述的图像特征提取模型训练方法，根据所述第一变化视图的特征和所述第二变化视图的特征确定蒸馏损失包括：通过所述老师网络提取所述第一变化视图的特征，得到第一特征向量，对所述第一特征向量进行中心化操作后进行归一化处理；通过所述学生网络提取所述第二变化视图的特征，得到第二特征向量，对所述第二特征向量进行归一化处理；根据归一化之后的第一特征向量和归一化之后的第二特征向量计算所述知识蒸馏网络的蒸馏损失。3.如权利要求1所述的图像特征提取模型训练方法，根据所述恢复视图和所述样本图像确定复原损失包括：根据恢复后的图像与所述样本图像之间的像素差异计算所述复原损失。4.如权利要求1所述的图像特征提取模型训练方法，对所述样本图像进行图像变换包括：对所述样本图像进行数据增强，所述数据增强包括图像翻转、图像加噪、色彩变化和图像模糊。5.如权利要求4所述的图像特征提取模型训练方法，执行图像复原算法包括：执行与所述数据增强对应的逆变换算法。6.如权利要求1所述的图像特征提取模型训练方法，所述对所述样本图像进行图像变换，以至少得到所述样本图像对应的第一变化视图和第二变化视图，包括：对所述样本图像进行全局变换，得到所述样本图像对应的第一变化视图；对所述样本图像进行局部变换，得到所述样本图像对应的第二变化视图。7.如权利要求6所述的图像特征提取模型训练方法，所述对所述样本图像进行局部变换包括：对所述样本图像进行多次不同的局部变换，得到多个不同的第二变化视图。8.如权利要求1所述的图像特征提取模型训练方法，根据所述蒸馏损失和所述复原损失对所述老师网络进行训练包括：根据所述蒸馏损失和所述复原损失更新所述学生网络参数，根据所述学生网络参数更新所述老师网络的参数。9.一种图像比对方法，包括：
获取检测图像；将所述检测图像输入预先训练好的知识蒸馏网络中的老师网络，获取所述检测图像的特征表示，所述老师网络是采用如权利要求1至8任一所述的方法训练得到的；判断所述检测图像的特征表示与目标图像特征是否相似。10.一种图像特征提取模型训练装置，其包括样本处理模块，知识蒸馏模块，图像复原模块和训练模块：所述样本处...
【专利技术属性】
技术研发人员：唐董琦，刘健，李若愚，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。