图像识别方法、装置、存储介质和计算机设备制造方法及图纸

本公开的实施方式涉及计算机技术领域，更具体地，涉及图像识别方法、装置、存储介质和计算机设备。所述图像识别方法包括：自待识别图像中获取包含有文字的图片区域；对所述图片区域进行特征提取，获得相应图片区域的图片特征；确定所述图片特征与违规图片特征之间的相似度，所述违规图片特征取自违规图片特征库；响应于所述相似度大于第一阈值，将所述待识别图像确定为违规图像。本公开的违规图像识别方案能够高效识别文字内容异常的违规图像，降低对图像语义信息的依赖性，且能应对各种各样的文字类型，实现对违规图像的精准、全面识别。全面识别。全面识别。

Image recognition method, device, storage medium and computer equipment

【技术实现步骤摘要】
图像识别方法、装置、存储介质和计算机设备


[0001]本公开的实施方式涉及计算机
，更具体地，本公开的实施方式涉及图像识别方法、装置、存储介质和计算机设备。

技术介绍

[0002]本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。
[0003]目前的违规图像识别，主要采用图像分类算法或文字识别算法。图像分类算法根据图像的语义信息判断是否包含违规内容，无法处理文字内容异常的图像；文字识别算法将图像中的文字转换为文本以判断是否包含违规内容，无法应对攻击者特意合成的用来攻击文字识别算法的文字类型。

技术实现思路

[0004]本公开的实施方式提供一种图像识别方法、装置、存储介质和计算机设备，能够高效识别文字内容异常的违规图像，降低对图像语义信息的依赖性，且能应对各种各样的文字类型，实现对违规图像的精准、全面识别。
[0005]根据本公开的一个方面，提供一种图像识别方法，包括：自待识别图像中获取包含有文字的图片区域；对所述图片区域进行特征提取，获得相应图片区域的图片特征；确定所述图片特征与违规图片特征之间的相似度，所述违规图片特征取自违规图片特征库；响应于所述相似度大于第一阈值，将所述待识别图像确定为违规图像。
[0006]在本公开的一示例性实施例中，所述自待识别图像中获取包含有文字的图片区域，包括：对所述待识别图像进行文字检测，以基于检测结果确定对应于相应文字序列的文本框；响应于所述文本框为多个，且相应的多个文本框符合合并条件，则对所述多个文本框进行合并以获得目标文本框，并根据所述目标文本框自所述待识别图像中截取所述图片区域；其中，所述合并条件是基于文本框之间的距离，和/或文本框之间的重合度确定的。
[0007]在本公开的一示例性实施例中，所述自待识别图像中获取包含有文字的图片区域，还包括：响应于所述文本框为一个，则根据所述文本框自所述待识别图像中截取所述图片区域。
[0008]在本公开的一示例性实施例中，所述对所述多个文本框进行合并以获得目标文本框，包括：按照预设比例对所述多个文本框进行放大，以获得对应的扩展文本框；对所述扩展文本框进行合并以获得所述目标文本框。
[0009]在本公开的一示例性实施例中，所述对所述扩展文本框进行合并以获得所述目标文本框，包括：将面积最大的扩展文本框确定为基准文本框；确定所述基准文本框与其他各扩展文本框之间的重合度，并基于重合度结果确定候选文本框；其中，所述候选文本框为其他各扩展文本框中，与所述基准文本框之间的重合度超过第二阈值的扩展文本框；将所述基准文本框与所述候选文本框合并以获得所述目标文本框；在剩余的扩展文本框中重复上
述步骤，直至无法再依此获得新的目标文本框。
[0010]在本公开的一示例性实施例中，所述对所述扩展文本框进行合并以获得所述目标文本框，包括：将面积大于第三阈值的扩展文本框确定为基准文本框；确定每个基准文本框与所关联的各扩展文本框之间的重合度，并基于重合度结果确定每个所述基准文本框的候选文本框；其中，一所述基准文本框所关联的扩展文本框，为与该所述基准文本框之间的距离小于第四阈值的扩展文本框；该所述基准文本框的候选文本框为该所述基准文本框所关联的扩展文本框中，与该所述基准文本框之间的重合度超过第二阈值的扩展文本框；将每个所述基准文本框与其候选文本框合并以获得所述目标文本框；在剩余的扩展文本框中重复上述步骤，直至无法再依此获得新的目标文本框。
[0011]在本公开的一示例性实施例中，所述对所述图片区域进行特征提取，包括通过特征提取模型对所述图片区域进行特征提取；其中，所述特征提取模型在应用阶段的网络结构包括：骨干网络，用于对所述图片区域进行特征提取，获得所述图片区域的基础特征；度量网络，与所述骨干网络连接，用于对所述基础特征进行特征处理，获得所述图片区域的图片特征。
[0012]在本公开的一示例性实施例中，所述特征提取模型在训练阶段的网络结构还包括与所述骨干网络连接的分类网络；所述特征提取模型的训练阶段包括：获得标签样本，每个标签样本携带度量标签和/或分类标签；将所述标签样本输入所述骨干网络，获得所述度量网络输出的对应于所述度量标签的度量特征和所述分类网络输出的对应于所述分类标签的分类结果；根据包含所述度量损失和所述分类损失的总损失，优化所述骨干网络、所述度量网络和所述分类网络的参数。
[0013]在本公开的一示例性实施例中，所述度量标签为包含样本标签、正样本标签和负样本标签的三元组标签，在携带相关联的三元组标签的一组样本图像中：携带所述样本标签的当前样本图像自样本图像集中随机选取获得；携带所述正样本标签的正样本图像通过对所述当前样本图像进行数据增强获得；携带所述负样本标签的负样本图像，自所述样本图像集的至少除所述当前样本图像外的剩余样本图像组中选取获得。
[0014]在本公开的一示例性实施例中，所述特征提取模型的训练阶段，通过优化所述骨干网络和所述度量网络的参数，使所述度量网络输出的对应于当前样本图像的度量特征与其正样本图像的度量特征之间的距离减小，并使所述度量网络输出的对应于当前样本图像的度量特征与其负样本图像的度量特征之间的距离增大。
[0015]在本公开的一示例性实施例中，每组样本图像的度量特征的度量损失，采用三元组损失函数进行计算。
[0016]在本公开的一示例性实施例中，当所述当前样本图像不携带相似图像标签时，所述剩余样本图像组由所述样本图像集中除所述当前样本图像外的样本图像组成；当所述当前样本图像携带所述相似图像标签时，所述正样本图像还可自所述样本图像集的相似样本图像组中随机选取获得，所述相似样本图像组中的样本图像均携带所述相似图像标签，所述剩余样本图像组由所述样本图像集中除所述相似样本图像组外的样本图像组成。
[0017]在本公开的一示例性实施例中，所述携带所述负样本标签的负样本图像自所述样本图像集的剩余样本图像组中选取获得，包括：提取所述样本图像集中每张样本图像的特征；计算所述当前样本图像的特征与所述剩余样本图像组中每张剩余样本图像的特征之间
的距离；自距离小于距离阈值的剩余样本图像中，随机选取一剩余样本图像作为所述负样本图像。
[0018]在本公开的一示例性实施例中，所述分类标签包括：第一类别标签，用于表征对应的样本图像来自于真实业务；第二类别标签，用于表征对应的样本图像通过机器合成；第三类别标签，用于表征对应的样本图像来自于外部资源平台；第四类别标签，用于表征对应的样本图像中不包含文字内容；其中，所述第一类别标签、所述第二类别标签和所述第三类别标签所对应的样本图像中，均包含文字内容。
[0019]在本公开的一示例性实施例中，所述第一类别标签、所述第二类别标签和所述第三类别标签所对应的样本图像的分类损失采用包含交叉熵损失函数和中心损失函数的分类损失函数进行计算；所述第四类别标签所对应的样本图像的分类损失采用所述交叉熵损失函数进行计算。
[0020]在本公开的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：自待识别图像中获取包含有文字的图片区域；对所述图片区域进行特征提取，获得相应图片区域的图片特征；确定所述图片特征与违规图片特征之间的相似度，所述违规图片特征取自违规图片特征库；响应于所述相似度大于第一阈值，将所述待识别图像确定为违规图像。2.如权利要求1所述的图像识别方法，其特征在于，所述自待识别图像中获取包含有文字的图片区域，包括：对所述待识别图像进行文字检测，以基于检测结果确定对应于相应文字序列的文本框；响应于所述文本框为多个，且相应的多个文本框符合合并条件，则对所述多个文本框进行合并以获得目标文本框，并根据所述目标文本框自所述待识别图像中截取所述图片区域；其中，所述合并条件是基于文本框之间的距离，和/或文本框之间的重合度确定的。3.如权利要求1所述的图像识别方法，其特征在于，所述对所述图片区域进行特征提取，包括通过特征提取模型对所述图片区域进行特征提取；其中，所述特征提取模型在应用阶段的网络结构包括：骨干网络，用于对所述图片区域进行特征提取，获得所述图片区域的基础特征；度量网络，与所述骨干网络连接，用于对所述基础特征进行特征处理，获得所述图片区域的图片特征。4.如权利要求3所述的图像识别方法，其特征在于，所述特征提取模型在训练阶段的网络结构还包括与所述骨干网络连接的分类网络；所述特征提取模型的训练阶段包括：获得标签样本，每个标签样本携带度量标签和/或分类标签；将所述标签样本输入所述骨干网络，获得所述度量网络输出的对应于所述度量标签的度量特征和所述分类网络输出的对应于所述分类标签的分类结果；根据包含所述度量损失和所述分类损失的总损失，优化所述骨干网络、所述度量网络和所述分类网络的参数。5.如权利要求4所述的图像识别方法，其特征在于，所述度量标签为包含样本标签、正样本标签和负样本标签的三元组标签，在携带相关联的三元组标签的一组样本图像中：携带所述样本标签的...

【专利技术属性】
技术研发人员：邓芮，李雨珂，杜彬彬，杨卫强，朱浩齐，周森，
申请(专利权)人：杭州网易智企科技有限公司，
类型：发明
国别省市：