基于特征选择性聚合的大规模图片侵权检测方法及系统技术方案

本发明专利技术提出了一种基于特征选择性聚合的大规模图片侵权检测方法及系统，属于图片侵权检测领域。该方法利用在大规模图片数据集上预训练的深度残差卷积神经网络提取图片的高层语义特征图，利用选择性特征聚合算法SCDA对特征图进行有选择地聚合，并使用主成分分析方法PCA将聚合得到的特征压缩为一个低维稠密特征向量表示，利用乘积量化的方式为特征向量构建索引，以实现大规模图片侵权检测。这种方法效率很高，可以实现在百万级别向量中毫秒级查找。找。找。

【技术实现步骤摘要】
Descriptor Aggregation)对特征图进行有选择地聚合，并使用主成分分析方法PCA(Principal components analysis)将聚合得到的特征压缩为一个低维稠密特征向量表示，利用乘积量化(Product quantization)的方式为特征向量构建索引，以实现大规模图片侵权检测。
[0009]为了实现上述目的，本专利技术提供了如下技术方案：
[0010]本专利技术的其中一个目的在于提供一种基于特征选择性聚合的大规模图片侵权检测方法，包括以下步骤：
[0011]1)图片预处理：将数据库图片缩放至预设尺寸，并进行图片标准化处理；
[0012]2)提取预处理后的图片的高层语义特征，得到高层语义特征图；
[0013]3)对高层语义特征图按通道进行求和，得到求和结果大于阈值的最大连通区域；将最大连通区域中的特征向量进行加总聚合，得到聚合特征向量；
[0014]4)对聚合特征向量进行PCA主成分分析和降维处理，并对降维后的聚合特征向量进行标准化处理，得到降维后的标准化聚合特征向量；
[0015]5)针对所有的数据库图片对应的降维后的标准化聚合特征向量，采用乘积量化的方式建立索引；
[0016]6)针对每张待查询图片，根据步骤1)至步骤4)的方法获得待查询图片的降维后的标准化聚合特征向量，并通过索引查找数据库中与其最相近的图片，如果相似度超过某一阈值，则判定其为侵权图片。
[0017]本专利技术的另一个目的在于提供一种基于上述方法的特征选择性聚合的大规模图片侵权检测系统，包括：
[0018]图片预处理模块，其用于将数据库图片缩放至预设尺寸，并进行图片标准化处理；
[0019]特征提取与聚合模块，其用于提取预处理后的图片的高层语义特征，得到高层语义特征图，并对对高层语义特征图按通道进行求和，得到求和结果大于阈值的最大连通区域；将最大连通区域中的特征向量进行加总聚合，得到聚合特征向量；
[0020]维度处理模块，其用于对聚合特征向量进行PCA主成分分析和降维处理，并对降维后的聚合特征向量进行标准化处理，得到降维后的标准化聚合特征向量；
[0021]索引构建模块，其用于针对所有的数据库图片对应的降维后的标准化聚合特征向量，采用乘积量化的方式建立索引；
[0022]查询检索模块，其用于根据待查询图片的降维后的标准化聚合特征向量，通过索引查找数据库中与其最相近的候选图片，如果候选图片的相似度超过某一阈值，则判定其为侵权图片。
[0023]与现有技术相比，本专利技术的有益效果为：
[0024](1)本专利技术通过深度残差卷积神经网络提取出图片特征图，并采用SCDA特征聚合算法，可以自动定位图像中的主要语义区域，对特征图中的向量进行选取并聚合，对图像背景和噪声更为鲁棒，适用于图像侵权检测的场景，可以有效地摒弃盗用者对原图进行的裁剪、放缩、加水印、加边框等操作的干扰。
[0025](2)本专利技术采用标准化和PCA进行维度处理，标准化是将得到的图片或特征向量放缩到同一尺度进行比较，排除尺度不一致的影响，可以提高检测效果，PCA则是将原来高维的特征向量进行降维，获得一个低维的特征向量，减少了向量存储空间，提升了相似度计算
的速度，但并不降低检测效果。
[0026](3)本专利技术采用乘积量化的方式进行索引构建，对图片特征向量进行一定程度上的有损压缩，节省了大量内存开销，并提升了检索速度，适用于大规模图片侵权检索场景，可以在百万级图片中实现毫秒级检索查询。
附图说明
[0027]图1为本专利技术的图片侵权检测结构和流程示意图。
[0028]图2为本专利技术的特征提取与聚合模块的工作流程示意图。
[0029]图3为本专利技术的量化乘积编码工作流程示意图。
具体实施方式
[0030]下面结合附图和实施例对本专利技术作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本专利技术的理解，而对其不起任何限定作用。
[0031]下面结合附图和实例对本专利技术做进一步详细描述。
[0032]如图1所示，本专利技术的实施包括离线过程和在线过程两个部分，每个部分又可以划分为预处理模块、特征提取与聚合模块、维度处理模块、索引构建模块和查询检索模块。其整体流程包含以下几个步骤：
[0033]步骤一、图片预处理：将数据库图片缩放至预设尺寸，并进行图片标准化处理；
[0034]步骤二、提取预处理后的图片的高层语义特征，得到高层语义特征图；
[0035]对高层语义特征图按通道进行求和，得到求和结果大于阈值的最大连通区域；将最大连通区域中的特征向量进行加总聚合，得到聚合特征向量；
[0036]步骤三、对聚合特征向量进行PCA主成分分析和降维处理，并对降维后的聚合特征向量进行标准化处理，得到降维后的标准化聚合特征向量；
[0037]步骤四、针对所有的数据库图片对应的降维后的标准化聚合特征向量，采用乘积量化的方式建立索引；
[0038]步骤五、针对每张待查询图片，根据步骤一至步骤三的方法获得待查询图片的降维后的标准化聚合特征向量，并通过索引查找数据库中与其最相近的图片，如果相似度超过某一阈值，则判定其为侵权图片。
[0039]在本专利技术的一项具体实施中，步骤一在离线和在线的过程中，都需要对每张图片进行预处理。
[0040]首先将图片缩放至一个固定的大小，比如(224，224，3)，其中224，224为图片的长和宽，3表示RGB三个通道。再对其进行标准化处理，对于每张图片的每个通道都执行：
[0041]image
*
＝(image
‑
mean)/std
[0042]式中，image
*
为预处理后的通道像素值，image为预处理前的通道像素值，mean和std分别为通道的均值和方差。通常mean在RGB三个通道上分别取0.485、0.456和0.406,std分别取0.229、0.224和0.225，这是在ImageNet数据集上统计得到的图片每个通道的均值和方差，图片经过标准化之后，图片上数值的分布接近于标准正态分布，均值接近0，方差接近1，每个值都被缩放到一定范围内，减少了图片数值倾斜给后续模型带来的影响。
[0043]在步骤二中，预处理之后需要对图片特征进行提取和聚合，特征提取与聚合模块
的工作流程示意图如图2所示。经过预处理的图片被输入到一个深度残差卷积神经网络(ResNet)中，选取在ImageNet数据集上预训练得到的参数作为该模型的参数，模型结构可以选取ResNet50架构，图片经过模型推理之后，得到最后一层卷积层(layer4层)输出的特征图为一个(7，7，2048)的张量，其中2048为通道数量，7为特征图的长度和宽度，该特征图可以被看作7*7个2048维度的深度卷积特征描述符。这个特征图包含了图片的高层语义信息，但其中也包含了一些噪声，在图片侵权检测场景中，图片可能经过了裁剪或者水印干扰，这会对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征选择性聚合的大规模图片侵权检测方法，其特征在于，包括以下步骤：1)图片预处理：将数据库图片缩放至预设尺寸，并进行图片标准化处理；2)提取预处理后的图片的高层语义特征，得到高层语义特征图；3)对高层语义特征图按通道进行求和，得到求和结果大于阈值的最大连通区域；将最大连通区域中的特征向量进行加总聚合，得到聚合特征向量；4)对聚合特征向量进行PCA主成分分析和降维处理，并对降维后的聚合特征向量进行标准化处理，得到降维后的标准化聚合特征向量；5)针对所有的数据库图片对应的降维后的标准化聚合特征向量，采用乘积量化的方式建立索引；6)针对每张待查询图片，根据步骤1)至步骤4)的方法获得待查询图片的降维后的标准化聚合特征向量，并通过索引查找数据库中与其最相近的图片，如果相似度超过某一阈值，则判定其为侵权图片。2.根据权利要求1所述的基于特征选择性聚合的大规模图片侵权检测方法，其特征在于，所述的图片标准化处理方式为：对每张图片的每个通道都执行：image
*
＝(image
‑
mean)/std式中，image
*
为预处理后的通道像素值，image为预处理前的通道像素值，mean和std分别为通道的均值和方差。3.根据权利要求1所述的基于特征选择性聚合的大规模图片侵权检测方法，其特征在于，所述的步骤2)采用4层的深度残差卷积神经网络ResNet来提取图片的高层语义特征，将ResNet最后一层的输出作为最终结果。4.根据权利要求1所述的基于特征选择性聚合的大规模图片侵权检测方法，其特征在于，所述的步骤3)具体为：3.1)将高层语义特征图表示为一个(a，b，m)的张量，其中a和b表示特征图的长度和宽度，m表示通道数，即特征图的维度；3.2)以(i，j，k)表示特征图中的第i行第j列第k个通道的数值，对该特征图按通道进行相加，得到聚合特征矩阵A＝{A
i，j
}，1≤i≤a，1≤j≤b，A
i，j
表示矩阵A中第i行第j列的元素；且：3.3)根据聚合特征矩阵A建立二维掩膜矩阵M，且：式中，M
i，j
是掩膜矩阵中第i行第j列的元素，为预设的掩膜阈值；3.4)获取二维掩膜矩阵M中数值为1的最大连通区域，将高层语义特征图中每一个通道上的所述最大连通区域部分加总聚合起来，得到m维的聚合特征向量，即聚合特征向量。5.根据权利要求1所述的基于特征选择性聚合的大规模图片侵权检测方法，其特征在于，所述的步骤4)具体为：4.1)对所有的数据库图片对应的聚合特征向量进行中心化，即：
式中，x
i*
表示中心化后的第i张数据库图片的聚合特征向量，n表示数据库图片的总数，x
i
和x
j
分别是中心化前的第i张数据库图片和第j张数据库图片的聚合特征向量；4.2)计算(x
1*
，x
2*
，...，x
i*
，...，x
n*
)的协方差矩阵，并对其进行特征值分解，取出最大的k个特征值对应的特征向量(w1，w2，...，w
k
)，并对其进行标准化后得到特征向量矩阵W，对每一个原始向量x
i
转换为y
i
＝W
T
x
i
，得到维度为k的一组降维后的聚合特征向量Y＝(y1，y2，...，y
n
)，4.3)对降维后的每一个聚合特征向量y
i
进行标准化处理：式中，表示标准化之前的第i个图片降维后的聚合特征向量中的第p个元素，表示标准化之后的第i个图片降维后的聚合特征向量中的第p个元素；每一张图片对应的降维后的标准化聚合特征向量表示为6.根据权利要求1所述的基于特征选择性聚合的大规模图片侵权检测方法，其特征在于，所述的步骤5)具体为：针对所有的数据库图片对应的降维后的标准化聚合特征向量，采用乘积量化的方式建立索引；5.1)针对所有的数据库图片对应的降维后的标准化聚合特征向量(y
1*
，y
2*
，...，y
n*
)，利用K
‑
Means聚类算法聚成K类，得到K个第一聚类中心；其中，y
i*
表示第i张图片对应的降维后的标准化聚合特征向量，n表示数据库图片的总数；5.2)针对每一个数据库图片对应的降维后的标准化聚合特征向量y
i*
，其对应的第一聚类中心向量为c
i
，将其相减得到残差向量(y
i*
‑

【专利技术属性】
技术研发人员：陈建海，鲍科，阮汉宁，何钦铭，
申请(专利权)人：浙江阿蚂科技有限公司，
类型：发明
国别省市：