一种基于孪生网络的商标侵权行为识别方法技术

本发明专利技术提供一种基于孪生网络的商标侵权行为识别方法，其包括如下步骤：首先通过训练样本中相同商标和不同商标中正负样本的提取商标图片的特征，将两个网络中提取到的特征进行距离的运算，属于同一个商标的特征距离更近，不同商标图像的特征距离更远，在此基础上进行损失的运算，得到商标相似度对比的模型。再利用训练好的模型将待识别商标与标准商标库的商标进行相似度对比，判定相似度在某范围内的商标为疑似侵权商标。本发明专利技术提供的商标侵权行为识别方法基于孪生网络分别对特征进行提取，并利用改进的深层卷积神经网络作为主干，以及对比损失对模型进行训练，最终对待识别的图片进行相似度判断，能够充分利用商标图像中的特征信息对侵权商标的局部特征进行比对识别，从而提高对疑似侵权商标判定的正确率，减轻商标执法人员从众多商标人工判断是否侵权的困难。侵权的困难。侵权的困难。

【技术实现步骤摘要】
一种基于孪生网络的商标侵权行为识别方法


[0001]本专利技术涉及目标检测与度量学习领域，具体是一种基于孪生网络的商标侵权行为识别方法。

技术介绍

[0002]随着国家对知识产权越来越重视，商标申请数量也在逐年爆炸式地增长，导致商标数据的超载，如何从海量的商标数据中获取与待申请商标相同或近似的商标，从而辅助商标从业人员根据检索结果对商标进行调整，以此提高商标注册成功率，成了商标研究领域中面临的巨大挑战。商标申请人从海量的商标信息中检测到与待申请商标相同或近似的商标并不是一件容易的事情，不仅非常耗时，并且效果往往也不理想，其工作中的遗漏很可能导致商标因与其他企业的商标相似而被商标局驳回，甚至构成侵权，而执法人员在侵权行为认定时也需要与大量商标进行比对，十分耗时耗力。
[0003]为了解决这些问题，商标申请以及侵权行为人工检测前的预检测工作变得尤为重要，急需一种高效信息过滤手段来辅助商标申请人和执法人员从海量商标数据中找到与待检测商标相似或易造成侵权行为的商标。商标检索系统则是当前解决信息过载问题的有效手段，而在实际检索过程中，大多数商标检索软件中商标的近似检测在字形、拼音及含义方面的检测效果并不明显，并且现有软件大多忽略了叠字词因素，导致商标近似检测效果并不理想。
[0004]且由于现在的商标不仅仅是简单的短文本，而是不同图案、字母或者文字的变形与组合，仅依靠短文本相似度计算无法判定一个商标是否真正构成侵权，所以对于多样的商标图片的相似度检测成为一个值的研究的问题。
[0005]基于字符串的相似度方法也称为“字面相似度方法”，主要根据两个字符串之间转换所需要的最小操作次数来度量字符串间的相似度。比较常用的方法有编辑距离(Levenshtein Distance)、Damerau
‑
Levenshtein、汉明距离、欧式距离、余弦相似度、Jaro
‑
Winkler、Jaccard等。编辑距离是比较经典的字符串相似度计算方法，字符之间有删除、插入、替换三个基本操作，每种操作的编辑距离都为1，编辑距离也可称为“代价”，最终计算出字符串之间转变所需的代价即可得出相似度值。Damerau
‑
Levenshtein以Frederick J.Damerau和Vladimir I.Levenshtein两位科学家的名字命名，与Levenshtein不同的是，除了删除、插入和替换操作之外，还包括相邻字符的逆序转换操作。
[0006]国内常用的商标检索软件有CNIPA，IPTOP等。CNIPA作为我国商标局官方软件，同时支持近似查询、综合查询、商品/服务项目查询等功能。其中，商标近似查询主要采用基于类目和文本的检索方法。对于直接输入商标图片进行相似度查询及与商标库中商标进行比对的方式还并没有得到更多的拓展。

技术实现思路

[0007]本专利技术的目的在于针对现有商标比对技术的缺点和不便利性，提供一种基于孪生
网络的商标侵权行为识别方法，能够更好地对现有的商标图片的相似度进行比对，便于商标申请者查询自己的商标是有构成侵权的可能，在相似度识别的成功率和效果上也有了很大的提升。具体技术方案如下：
[0008]一种基于孪生网络的商标侵权行为识别方法，包括训练阶段和识别阶段，其特征在于：
[0009]所述的训练阶段包括如下步骤：
[0010]步骤一：构建商标数据集：对商标图片进行预处理，将同一商标的不同角度拍摄的图片存放同一文件夹中，作为训练的样本。
[0011]步骤二：训练数据构建：在训练时会随机从相同文件加中选取一组商标图片作为训练正样本，从不同文件夹中选取一组商标图片作为训练负样本，选取的两张图片分别经过相同的卷积网络进行特征提取，提取图片的全局和局部特征。
[0012]步骤三：对比损失计算：将提取到的商标特征进行对比损失计算，让相似商标的特征距离更近，不相似商标的特征距离更远，该损失函数主要用在降维中，即本来相似的样本，在经过特征提取后的特征空间中依旧相似，原本不相似的样本，在经过特征提取后，其特征空间中的两个样本仍旧不相似。
[0013](1)训练阶段首先将选取的图片对经过两个相同结构的卷积神经网络进行特征提取，将商标特征映射到特征空间中，对特征提取网络的选择如下：
[0014](a)孪生网络中使用的AlexNet网络主干，并对其进行修改：
[0015]图2为以Alexnet作为主干网络的孪生网络结构，Alexnet共有8层结构，前5层为卷积层，后三层为全连接层。其中提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应较大的值变得相对更大，并抑制其他较小的神经元，从而增强了模型的泛化能力。其中的dropout虽然可以避免模型过拟合，但由于商标样本数量少，dropout对于特征提取和模型训练起到了一定的抑制作用，其对商标特征的提取也有所限制。于是本文将全连接层及其中间的dropout删掉，在经过两次相同的共享权重的卷积之后将得到的特征展开并对其做差取绝对值，得到两个图片的特征距离，再将其结果进行两次全连接，以此训练相似度检测模型。
[0016](b)将主干网络换为VGG模型，并做相应修改：
[0017]图3为VGG的原模型结构，在将其作为孪生网络的主干时，将网络结构中的全连接层去掉，并删掉全连接层前的全局平局池化，分别取孪生网络中每个网络结果最后一层卷积层得到的特征层，以此得到两个输入训练图片的特征，并将其分别展开，将两个特征层的特征空间中的映射作差取绝对值后，再将其进行两次全连接，以得到最终的评估结果。
[0018](c)将主干网络换为RenseNet模型，并做相应修改：
[0019]图4为Resnet的网络结构，Resnet网络结构由一个初始卷积块和四个layer层组成，其中初始卷积块中包含一个7
×
7的卷积，一个BN层一个ReLu激活和一个最大池化，每个layer层又分别包含几个Bottleneck块，其中每个layer层的第一个Bottleneck中包含一个下采样作为残差计算，在每个layer层的开始获取特征与后边的卷积层同时计算，并在layer层最后将得到的残差与layer层结果进行相加作为该layer层的输出。以resnet50为例，四个layer层分别包括3,4,6,3个Bottleneck块。最后是一个全局平均池化和一个全连接转为对应的分类个数。本文保留每个layer层的结构，同时最后去掉了全局平均池化，得
到两个图片的特征求出其特征空间的距离进行模型训练。
[0020](d)将主干网络换为DenseNet模型，并做相应修改：
[0021]DenseNet作为卷积神经网络具有更深的网络结构，对于特征提取的效果也有更加明显的效果，其网络结构如图5所示。其中主要包括稠密快和过渡块两部分，由于每个denseblock之间的输出维度很大，会导致最终输出的feature map的维度也特别大，不便于进行计算，于是加入过渡层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生网络的商标侵权行为识别方法，包括训练阶段和识别阶段，其特征在于：所述的训练阶段包括如下步骤：步骤一：构建商标数据集：对商标图片进行预处理，将同一商标的不同角度拍摄的图片存放同一文件夹中，作为训练的样本。步骤二：训练数据构建：在训练时会随机从相同文件加中选取一组商标图片作为训练正样本，从不同文件夹中选取一组商标图片作为训练负样本，选取的两张图片分别经过相同的卷积网络进行特征提取，提取图片的全局和局部特征。步骤三：对比损失计算：将提取到的商标特征进行对比损失计算，让相似商标的特征距离更近，不相似商标的特征距离更远，该损失函数主要用在降维中，即本来相似的样本，在经过特征提取后的特征空间中依旧相似，原本不相似的样本，在经过特征提取后，其特征空间中的两个样本仍旧不相似。(1)训练阶段首先将选取的图片对经过两个相同结构的卷积神经网络进行特征提取，将商标特征映射到特征空间中，对特征提取网络的选择如下：(a)孪生网络中使用的AlexNet网络主干，并对其进行修改：图2为以Alexnet作为主干网络的孪生网络结构，Alexnet共有8层结构，前5层为卷积层，后三层为全连接层。其中提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应较大的值变得相对更大，并抑制其他较小的神经元，从而增强了模型的泛化能力。其中的dropout虽然可以避免模型过拟合，但由于商标样本数量少，dropout对于特征提取和模型训练起到了一定的抑制作用，其对商标特征的提取也有所限制。于是本文将全连接层及其中间的dropout删掉，在经过两次相同的共享权重的卷积之后将得到的特征展开并对其做差取绝对值，得到两个图片的特征距离，再将其结果进行两次全连接，以此训练相似度检测模型。(b)将主干网络换为VGG模型，并做相应修改：图3为VGG的原模型结构，在将其作为孪生网络的主干时，将网络结构中的全连接层去掉，并删掉全连接层前的全局平局池化，分别取孪生网络中每个网络结果最后一层卷积层得到的特征层，以此得到两个输入训练图片的特征，并将其分别展开，将两个特征层的特征空间中的映射作差取绝对值后，再将其进行两次全连接，以得到最终的评估结果。(c)将主干网络换为RenseNet模型，并做相应修改：图4为Resnet的网络结构，Resnet网络结构由一个初始卷积块和四个layer层组成，其中初始卷积块中包含一个7
×
7的卷积，一个BN层一个ReLu激活和一个最大池化，每个layer层又分别包含几个Bottleneck块，其中每个layer层的第一个Bottleneck中包含一个下采样作为残差计算，在每个layer层的开始获取特征与后边的卷积层同时计算，并在layer层最后将得到的残差与layer层结果进行相...

【专利技术属性】
技术研发人员：刘琳琦，王修晖，彭飞荣，马祥，王乐，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：