图像分类和模型训练方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了图像分类和模型训练方法、装置、电子设备及存储介质，涉及图像识别技术领域。其中，图像分类方法的具体实现方案为：将待分类图像的初级特征分别输入到图像分类模型的第一分支网络和第二分支网络，并利用第一分支网络识别待分类图像的细节特征，利用第二分支网络识别待分类图像的整体特征；根据细节特征与整体特征得到综合特征；根据综合特征对待分类图像进行分类。本申请实施例通过网络分支优化了图像分类模型的网络结构，将图像细节特征和图像整体特征相结合，提升了对复杂图像的识别准确率。

Image classification and model training methods, devices, electronic devices and storage media

【技术实现步骤摘要】
图像分类和模型训练方法、装置、电子设备及存储介质
本申请涉及一种信息
，尤其涉及一种图像识别

技术介绍
图像识别技术是通过计算机对图像中的信息进行处理、分析和理解的技术。网络黑产指以网络作为媒介通过网络技术进行危害计算机信息系统安全和网络空间管理秩序，并以此谋求不当利益的非法行为。图像作为信息载体，是黑产作弊实施非法行为的重要形式。对作弊图像进行识别打击，可以提升用户体验，避免运营风险。识别网络黑产作弊图像目前普遍采用如下三种方案：(1)黑图库检索。(2)图像分类技术。(3)图像检测技术，例如利用OCR(OpticalCharacterRecognition，光学字符识别)技术或目标检测技术识别图像中的关键元素。以上三种方案在实现作弊图像分类方面存在着如下缺陷：对于方案(1)，可通过随机背景、随机滤镜变换等手段绕过该方案，造成遗漏。对于方案(2)，可以通过不断添加图像中元素的手段绕过该方案。对于方案(3)，仅识别细节元素容易误伤非作弊用户所发图像，并且训练数据标注成本较高，对于线上遗漏较难实现快速更新响应。...

【技术保护点】
1.一种图像分类方法，其特征在于，包括：/n将待分类图像的初级特征分别输入到图像分类模型的第一分支网络和第二分支网络，并利用所述第一分支网络识别所述待分类图像的细节特征，利用所述第二分支网络识别所述待分类图像的整体特征；/n根据所述细节特征与所述整体特征得到综合特征；/n根据所述综合特征对所述待分类图像进行分类。/n

【技术特征摘要】
1.一种图像分类方法，其特征在于，包括：
将待分类图像的初级特征分别输入到图像分类模型的第一分支网络和第二分支网络，并利用所述第一分支网络识别所述待分类图像的细节特征，利用所述第二分支网络识别所述待分类图像的整体特征；
根据所述细节特征与所述整体特征得到综合特征；
根据所述综合特征对所述待分类图像进行分类。


2.根据权利要求1所述的方法，其特征在于，所述细节特征包括从所述待分类图像的局部范围内提取的局部元素的语义特征。


3.根据权利要求1所述的方法，其特征在于，所述整体特征包括利用所述待分类图像整体提取的语义特征。


4.根据权利要求1-3中任一项所述的方法，其特征在于，利用所述第一分支网络识别所述待分类图像的细节特征，包括：
通过所述第一分支网络中的第二卷积层提取所述待分类图像的语义信息和位置信息；
利用所述第一分支网络中的双线性层根据所述语义信息和所述位置信息得到所述待分类图像的细节特征。


5.根据权利要求1-3中任一项所述的方法，其特征在于，根据所述细节特征与所述整体特征得到综合特征，包括：
将所述细节特征与所述整体特征进行拼接，得到拼接后的综合特征。


6.一种图像分类模型训练方法，其特征在于，包括：
根据图像分类模型的第一分支网络提取的细节特征得到的分类结果，计算第一损失值；
根据所述图像分类模型的第二分支网络提取的整体特征得到的分类结果，计算第二损失值；
根据所述细节特征与所述整体特征拼接后的综合特征得到的分类结果，计算第三损失值；
将所述第一损失值、所述第二损失值和所述第三损失值加权求和，得到综合损失值；
利用所述综合损失值调节所述图像分类模型的网络参数。


7.一种图像分类装置，其特征在于，包括：
识别单元，用于将待分类图像的初级特征分别输入到图像分类模型的第一分支网络和第二分支网络，并利用所述第一分支网络识别所述待分类图像的细节特征，利用所述第二分支网络识别所述待分类图像的整体特征；

【专利技术属性】
技术研发人员：王昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11