图像识别模型训练与图像识别方法、装置、设备及介质制造方法及图纸

本公开实施例公开了一种图像识别模型训练与图像识别方法、装置、设备及介质。所述训练方法包括：依据图像识别模型训练所需样本图像执行图像风格转换训练任务；依据图像风格转换训练任务得到的风格转换后样本图像，控制图像识别模型执行图像识别训练任务；依据图像风格转换训练任务与图像识别训练任务对图像识别模型进行参数调整，以得到收敛的图像识别模型。本公开方案，通过引入图像风格转换训练任务，避免因特定风格的样本图像稀缺导致模型训练数据量不足，通过提供足量样本图像参与模型训练，保证模型对敏感内容的检测识别能力，在模型训练时结合图像风格转换与图像识别情况等多个维度来实现模型的训练更新，提高模型对敏感内容的检测准确度。敏感内容的检测准确度。敏感内容的检测准确度。

【技术实现步骤摘要】
图像识别模型训练与图像识别方法、装置、设备及介质


[0001]本公开实施例涉及图像处理
，尤其涉及一种图像识别模型训练与图像识别方法、装置、设备及介质。

技术介绍

[0002]随着多媒体爆炸式发展，多媒体的内容质量参差不齐，存在一些多媒体内容中会包含涉及敏感内容，在网络上扩散会引起不良影响。
[0003]相关技术中，为了实现对多媒体中的涉及敏感内容进行过滤，通过人工审核和标记或通过分类模型判断图像是否包括涉及敏感内容，分类模型基于大批量数据集的标注和训练，实现对真人场景中涉及敏感内容的较好识别，但是通过分类模型判断图像是否包括涉及敏感内容，无法灵活应对不同场景，在一些卡通动画等场景下很难实现涉及敏感内容的较好识别。

技术实现思路

[0004]本公开实施例中提供了一种图像识别模型训练与图像识别方法、装置、设备及介质，以实现通过风格迁移生成不同风格样本数据解决训练样本稀缺的问题，实现在用户原创内容情形下对特定场景中涉及敏感内容的识别与拦截。
[0005]第一方面，本公开实施例中提供了一种图像识别模型训练方法，所述训练方法包括：
[0006]依据图像识别模型训练所需样本图像执行图像风格转换训练任务；
[0007]依据所述图像风格转换训练任务得到的风格转换后样本图像，控制所述图像识别模型执行图像识别训练任务；所述图像识别训练任务用于训练图像识别模型对敏感内容的检测识别能力；
[0008]依据所述图像风格转换训练任务与所述图像识别训练任务，对所述图像识别模型进行参数调整，以得到收敛的图像识别模型。
[0009]第二方面，本公开实施例中还提供了一种图像识别方法，采用本公开实施例中所述的图像识别模型的训练方法获取的图像识别模型，所述识别方法包括：
[0010]确定待识别图像；待识别图像包括从待识别视频抽帧获取的至少一帧图像；
[0011]将所述待识别图像输入到所述图像识别模型中，得到所述待识别图像的分类结果。
[0012]第三方面，本公开实施例中还提供了一种图像识别模型训练装置，所述训练装置包括：
[0013]风格转换训练模块，用于依据图像识别模型训练所需样本图像执行图像风格转换训练任务；
[0014]图像识别训练模块，用于依据所述图像风格转换训练任务得到的风格转换后样本图像，控制所述图像识别模型执行图像识别训练任务；所述图像识别训练任务用于训练图
像识别模型对敏感内容的检测识别能力；
[0015]参数调整模块，用于依据所述图像风格转换训练任务与所述图像识别训练任务，对所述图像识别模型进行参数调整，以得到收敛的图像识别模型。
[0016]第四方面，本公开实施例中还提供了一种图像识别装置，采用本公开实施例中所述的图像识别模型的训练方法获取的图像识别模型，所述识别装置包括：
[0017]图像确定模块，用于确定待识别图像；待识别图像包括从待识别视频抽帧获取的至少一帧图像；
[0018]图像识别模块，用于将所述待识别图像输入到所述图像识别模型中，得到所述待识别图像的分类结果。
[0019]第五方面，本公开实施例中还提供了一种电子设备，所述电子设备包括：
[0020]至少一个处理器；以及
[0021]与所述至少一个处理器通信连接的存储器；其中，
[0022]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中任一项所述的图像识别模型训练方法或图像识别方法。
[0023]第六方面，本公开实施例中还提供了一种计算机可读介质，所述计算机可读介质存储有计算机指令，所述计算机指令用于使处理器执行时实现上述实施例中任一项所述的图像识别模型训练方法或图像识别方法。
[0024]本公开实施例的技术方案，依据图像识别模型训练所需样本图像执行图像风格转换训练任务；并且，依据图像风格转换训练任务得到的风格转换后样本图像，控制图像识别模型执行图像识别训练任务，图像识别训练任务用于训练图像识别模型对敏感内容的检测识别能力；依据图像风格转换训练任务与图像识别训练任务对图像识别模型进行参数调整，以得到收敛的图像识别模型。本公开方案，通过引入图像风格转换训练任务，既可以得到特定风格的样本图像进行模型训练，避免因特定风格的样本图像稀缺导致模型训练数据量不足，通过提供足量的样本图像参与模型训练，保证模型对敏感内容的检测能力，同时在模型训练时会结合图像风格转换情况与图像识别情况等多个维度来实现模型的训练更新，进一步提高模型对敏感内容的检测准确度。
[0025]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0026]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0027]图1为本公开实施例提供的一种图像识别模型训练方法的流程图；
[0028]图2为本公开实施例提供的适用的通用图像识别模型的训练示意图；
[0029]图3为本公开实施例提供的适用的通用图像识别方法的应用示意图；
[0030]图4为本公开实施例提供的适用的改进后图像识别模型的训练示意图；
[0031]图5为本公开实施例提供的适用的不同图像风格的样本图像的对比图；
[0032]图6为本公开实施例提供的另一种图像识别模型训练方法的流程图；
[0033]图7为本公开实施例提供的适用的改进后图像识别模型的应用示意图；
[0034]图8为本公开实施例提供的又一种图像识别模型训练方法的流程图；
[0035]图9为本公开实施例提供的一种图像识别方法的流程图；
[0036]图10为本公开实施例提供的一种图像识别模型训练装置的结构框图；
[0037]图11为本公开实施例提供的一种图像识别装置的结构框图；
[0038]图12为实现本公开实施例的图像识别模型训练方法或图像识别方法的电子设备的结构框图。
具体实施方式
[0039]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0040]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0041]本文使用的术语“包括”及其变形是开放性包括，即“包括但本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别模型训练方法，其特征在于，所述训练方法包括：依据图像识别模型训练所需样本图像执行图像风格转换训练任务；依据所述图像风格转换训练任务得到的风格转换后样本图像，控制所述图像识别模型执行图像识别训练任务；所述图像识别训练任务用于训练图像识别模型对敏感内容的检测识别能力；依据所述图像风格转换训练任务与所述图像识别训练任务，对所述图像识别模型进行参数调整，以得到收敛的图像识别模型。2.根据权利要求1所述的方法，其特征在于，依据图像识别模型训练所需样本图像执行图像风格转换训练任务，包括：依据图像识别模型训练所需样本图像中的第一样本图像，从第一风格向第二风格执行第一图像风格转换训练任务；所述第一样本图像的起始图像风格为第一风格；第二风格为对图像识别模型进行训练以使图像识别模型检测识别时所能适用的期望图像风格；依据图像识别模型训练所需样本图像中的第二样本图像，从第二风格向第二风格执行第二图像风格转换训练任务；所述第二样本图像的起始图像风格为第二风格；其中，所述第一图像风格转换训练任务用于提升从第一风格向第二风格进行图像风格转换生成时的可靠度；所述第二图像风格转换训练任务用于通过从第二风格向第一风格进行图像风格转换生成，对从第一风格向第二风格进行图像风格转换生成时的可靠度进行辅助提升。3.根据权利要求2所述的方法，其特征在于，所述风格转换后样本图像包括针对所述第一样本图像经从第一风格向第二风格执行第一图像风格转换训练任务所得到风格转换生成的样本图像。4.根据权利要求2所述的方法，其特征在于，所述第一样本图像包括对具有第一风格的样本视频进行视频抽帧得到的至少两帧视频帧图像。5.根据权利要求2所述的方法，其特征在于，所述第二样本图像包括对具有第二风格的样本视频进行视频抽帧得到的至少两帧视频帧图像。6.根据权利要求2所述的方法，其特征在于，依据图像识别模型训练所需样本图像中的第一样本图像，从第一风格向第二风格执行第一图像风格转换训练任务，包括：将所述第一样本图像从第一风格向第二风格进行风格转换生成，依据风格转换生成的所述第一样本图像执行所述第一图像风格转换训练任务对应的第一风格判别训练子任务，以得到第一风格判别训练子任务对应的损失函数值；其中，所述第一风格判别训练子任务用于训练对从第一风格向第二风格进行风格转换所生成图像的识别能力；将风格转换生成的所述第一样本图像从第二风格向第一风格进行风格转换还原，依据风格转换还原的所述第一样本图像与风格转换生成前的所述第一样本图像执行第一图像风格转换训练任务对应的第一风格转换训练子任务，以得到第一风格转换训练子任务的损失函数值；其中，所述第一风格转换训练子任务用于提升从第一风格向第二风格进行风格转换所得图像的真实度以使在所述第一风格判别训练子任务时增大误识别率。7.根据权利要求6所述的方法，其特征在于，依据图像识别模型训练所需样本图像中的第二样本图像，从第二风格向第二风格执行第二图像风格转换训练任务，包括：将所述第二样本图像从第二风格向第一风格进行风格转换生成，依据风格转换生成的
所述第二样本图像执行所述第二图像风格转换训练任务对应的第二风格判别训练子任务，以得到第二风格判别训练子任务对应的损失函数值；其中，所述第二风格判别训练子任务用于训练对从第二风格向第一风格进行风格转换所得图像的识别能力；将风格转换生成的所述第二样本图像从第一风格向第二风格进行风格转换还原，依据风格转换还原的所述第二样本图像与风格转换生成前的所述第二样本图像执行第二图像风格转换训练任务对应的第二风格转换训练子任务，以得到第二风格转换训练子任务的损失函数值；其中，所述第二风格转换训练子任务用于提升从第二风格向第一风格进行风格转换所得图像的真实度以使在所述第二风格判别训练子任务时增大误识别率。8.根据权利要求1所述的方法，其特征在于，依据所述图像风格转换训练任务得到的风格转换后样本图像，控制所述图像识别模型执行图...

【专利技术属性】
技术研发人员：张逸尘，郭明宇，冉蛟，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：