图像识别方法、装置及电子设备制造方法及图纸

本申请实施例提供了一种图像识别方法、装置及电子设备，包括：通过目标图像分类模型中的变换器获取各图像块对应的第一语义特征；通过目标图像分类模型中的图像块分类模块，获取图像块的第一分类概率，并通过目标图像分类模型中的图像分类模块，获取待识别图像为各种不适类型的图像的第二分类概率；通过目标图像分类模型中的输出层，基于各第一分类概率和第二分类概率中的至少一项，获取待识别图像的图像识别结果。该方案利用了待识别图像的局部特征，提高对包含较小不适区域的图像的召回率。提高对包含较小不适区域的图像的召回率。提高对包含较小不适区域的图像的召回率。

【技术实现步骤摘要】
图像识别方法、装置及电子设备


[0001]本申请涉及计算机
，具体而言，本申请涉及一种图像识别方法、装置及电子设备。

技术介绍

[0002]随着移动互联网的高速发展，人们花费了大量时间阅读信息流资讯或者观看短视频，也有越来越多的人做起了自媒体，创作了大量作品。但是其中创作的内容质量参差不齐，存在封面图或者视频内容包含一些引起用户不适感的图像，严重影响了用户的观看体验，这类图像可以统称为不适图像。识别出不适图像进行过滤对提升内容生态、提升用户阅读体验至关重要。
[0003]目前，很多内容提供平台会采用人工智能（AI）模型来对识别不适图像，然而有的图像的不适区域较小，面积区域更大的背景很容易使模型无法识别出不适图像。

技术实现思路

[0004]本申请的目的旨在至少能解决上述的技术缺陷之一，本申请实施例所提供的技术方案如下：第一方面，本申请实施例提供了一种图像识别方法，包括：将待识别图像分割为至少两个图像块，并将各图像块输入目标图像分类模型，通过目标图像分类模型中的变换器获取各图像块对应的第一语义特征；通过目标图像分类模型中的图像块分类模块，基于每一图像块对应的第一语义特征，获取图像块为各种不适类型的图像块的第一分类概率，并通过目标图像分类模型中的图像分类模块，基于各图像块对应的第一语义特征，获取待识别图像为各种不适类型的图像的第二分类概率；通过目标图像分类模型中的输出层，基于各第一分类概率和第二分类概率中的至少一项，获取待识别图像的图像识别结果。
[0005]在本申请的一种可选实施例中，各种不适类型通过以下方式确定：获取第一预设数量的图像，并获取各图像的第二语义特征；基于各第二语义特征对各图像进行聚类，得到多个图像簇；对于每一图像簇，基于图像簇中的第二预设数量的图像确定图像簇对应的不适类型，将各图像簇对应的不适类型确定为各个不适类型。
[0006]在本申请的一种可选实施例中，通过目标图像分类模型中的图像分类模块基于各图像块对应的第一语义特征，获取待识别图像为各种不适类型的图像的第二分类概率，包括：对各图像块对应的第一语义特征进行均值处理，得到第三语义特征；基于第三语义特征获取第二分类概率；通过目标图像分类模型中的输出层基于各第一分类概率和第二分类概率中的至
少一项，获取待识别图像的图像识别结果，包括：对各第一分类概率进行均值处理，得到第四分类概率，并获取第二分类概率和第四分类概率对应的第一预设权重；对第二分类概率和第四分类概率按第一预设权重进行加权处理，得到第三分类概率；基于第三分类概率获取待识别图像的图像识别结果。
[0007]在本申请的一种可选实施例中，目标图像分类模型通过如下方式获取：获取第三预设数量的样本图像，并对每一样本图像进行分割得到对应的样本图像块，每一样本图像携带有用于指示样本图像是否为各不适类型的图像的标签，若是，标签还指示对应的不适类型；每一样本图像块携带有用于指示样本图像块是否为各不适类型的图像块的标签，若是，标签还指示对应的不适类型；利用各样本图像对初始图像分类模型迭代执行以下训练操作，直至总损失值不大于预设阈值得到目标图像分类模型：将样本图像对应的样本图像块输入初始图像分类模型，得到各图像块为各种不适类型的图像块的第一预测分类概率和样本图像为各种不适类型的图像的第二预测分类概率；基于每一样本图像块的标签和第一预测分类概率获取样本图像块对应的第一损失值，基于样本图像的标签和第二预测分类概率获取对应的第二损失值；基于各第一损失值和第二损失值获取总损失值，并基于总损失值调整初始图像分类模型的参数。
[0008]在本申请的一种可选实施例中，样本图像中通过标注框标注样本图像中的不适区域，样本图像中的每一样本图像块的标签通过以下方式获取：获取样本图像块与样本图像中标注框的重合比例；若重合比例小于预设比例，则将样本图像块的标签确定为非不适类型的图像块，若重合比例不小于预设比例，则将样本图像块的标签确定为不适类型与样本图像不适类型相同的不适样本图像块。
[0009]在本申请的一种可选实施例中，基于各第一损失值和第二损失值获取总损失值，包括：对各第一损失值进行均值处理得到第三损失值，并获取第二损失值和第三损失值对应的第二预设权重；对第二损失值和第三损失值按第二预设权重进行加权处理，得到总损失值。
[0010]在本申请的一种可选实施例中，通过目标图像分类模型中的图像分类模块，基于各图像块对应的第一语义特征，获取待识别图像为各种不适类型的图像的第二分类概率，包括：基于注意力机制获取各第一语义特征对应的第三权重；对各第一语义特征基于第三权重进行加权处理得到第四语义特征；基于第四语义特征获取第二分类概率；通过目标图像分类模型中的输出层，基于各第一分类概率和第二分类概率中的至少一项，获取待识别图像的图像识别结果，包括：
将第二分类概率作为第三分类概率；基于第三分类概率获取待识别图像的图像识别结果。
[0011]第二方面，本申请实施例提供了一种图像识别装置，包括：语义特征获取模块，用于将待识别图像分割为至少两个图像块，并将各图像块输入目标图像分类模型，通过目标图像分类模型中的变换器获取各图像块对应的第一语义特征；分类概率获取模块，用于通过目标图像分类模型中的图像块分类模块，基于每一图像块对应的第一语义特征，获取图像块为各种不适类型的图像块的第一分类概率，并通过目标图像分类模型中的图像分类模块，基于各图像块对应的第一语义特征，获取待识别图像为各种不适类型的图像的第二分类概率；识别结果获取模块，用于通过目标图像分类模型中的输出层，基于各第一分类概率和第二分类概率中的至少一项，获取待识别图像的图像识别结果。
[0012]在本申请的一种可选实施例中，该装置还可以包括不适类型确定模块，用于：获取第一预设数量的图像，并获取各图像的第二语义特征；基于各第二语义特征对各图像进行聚类，得到多个图像簇；对于每一图像簇，基于图像簇中的第二预设数量的图像确定图像簇对应的不适类型，将各图像簇对应的不适类型确定为各个不适类型。
[0013]在本申请的一种可选实施例中，分类概率获取模块具体用于：对各图像块对应的第一语义特征进行均值处理，得到第三语义特征；基于第三语义特征获取第二分类概率；识别结果获取模块具体用于：对各第一分类概率进行均值处理，得到第四分类概率，并获取第二分类概率和第四分类概率对应的第一预设权重；对第二分类概率和第四分类概率按第一预设权重进行加权处理，得到第三分类概率；基于第三分类概率获取待识别图像的图像识别结果。
[0014]在本申请的一种可选实施例中，该装置还包括模型训练模块，用于：获取第三预设数量的样本图像，并对每一样本图像进行分割得到对应的样本图像块，每一样本图像携带有用于指示样本图像是否为各不适类型的图像的标签，若是，标签还指示对应的不适类型；每一样本图像块携带有用于指示样本图像块是否为各不适类型的图像块的标签，若是，标签还指示对应的不适类型；利用各样本图像对初始图像分类模型迭代执行以下训练操作，直至总损失值不大于预设阈值得到目标图像分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：将待识别图像分割为至少两个图像块，并将各图像块输入目标图像分类模型，通过所述目标图像分类模型中的变换器获取各图像块对应的第一语义特征；通过所述目标图像分类模型中的图像块分类模块，基于每一图像块对应的第一语义特征，获取所述图像块为各种不适类型的图像块的第一分类概率，并通过所述目标图像分类模型中的图像分类模块，基于各图像块对应的第一语义特征，获取所述待识别图像为各种不适类型的图像的第二分类概率；通过所述目标图像分类模型中的输出层，基于各第一分类概率和所述第二分类概率中的至少一项，获取所述待识别图像的图像识别结果。2.根据权利要求1所述的方法，其特征在于，所述各种不适类型通过以下方式确定：获取第一预设数量的图像，并获取各图像的第二语义特征；基于各第二语义特征对各图像进行聚类，得到多个图像簇；对于每一图像簇，基于所述图像簇中的第二预设数量的图像确定所述图像簇对应的不适类型，将各图像簇对应的不适类型确定为所述各个不适类型。3.根据权利要求1所述的方法，其特征在于，所述通过所述目标图像分类模型中的图像分类模块基于各图像块对应的第一语义特征，获取所述待识别图像为各种不适类型的图像的第二分类概率，包括：对各图像块对应的第一语义特征进行均值处理，得到第三语义特征；基于所述第三语义特征获取所述第二分类概率；所述通过所述目标图像分类模型中的输出层基于各第一分类概率和所述第二分类概率中的至少一项，获取所述待识别图像的图像识别结果，包括：对各第一分类概率进行均值处理，得到第四分类概率，并获取所述第二分类概率和所述第四分类概率对应的第一预设权重；对所述第二分类概率和所述第四分类概率按第一预设权重进行加权处理，得到所述第三分类概率；基于所述第三分类概率获取所述待识别图像的图像识别结果。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述目标图像分类模型通过如下方式获取：获取第三预设数量的样本图像，并对每一样本图像进行分割得到对应的样本图像块，每一样本图像携带有用于指示所述样本图像是否为各不适类型的图像的标签，若是，所述标签还指示对应的不适类型；每一样本图像块携带有用于指示所述样本图像块是否为各不适类型的图像块的标签，若是，所述标签还指示对应的不适类型；利用各样本图像对初始图像分类模型迭代执行以下训练操作，直至总损失值不大于预设阈值得到所述目标图像分类模型：将所述样本图像对应的样本图像块输入所述初始图像分类模型，得到各图像块为各种不适类型的图像块的第一预测分类概率和所述样本图像为各种不适类型的图像的第二预测分类概率；基于每一样本图像块的标签和第一预测分类概率获取所述样本图像块对应的第一损失值，基于所述样本图像的标签和第二预...

【专利技术属性】
技术研发人员：陈少华，余亭浩，王赟豪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：