图像处理方法、装置、存储介质及处理器制造方法及图纸

本发明专利技术公开了一种图像处理方法、装置、存储介质及处理器。其中，该方法包括：获取目标图像，其中，目标图像中包括待识别的多种类别；采用预设模型对目标图像进行识别，若接收到预设模型输出的识别异常反馈，则获取混合数据集合，其中，混合数据集合中包括已标注目标图像中待识别的类别的数据集；通过混合数据集合进行动态监督学习，生成目标检测模型；通过目标检测模型对目标图像进行识别，得到识别结果。本发明专利技术解决了现有技术中在混合数据集训练过程中采用静态监督的方式生成模型，导致该模型的识别效果不佳的技术问题。的识别效果不佳的技术问题。的识别效果不佳的技术问题。

【技术实现步骤摘要】
图像处理方法、装置、存储介质及处理器


[0001]本专利技术涉及图像处理领域，具体而言，涉及一种图像处理方法、装置、存储介质及处理器。

技术介绍

[0002]通用的目标检测算法采用监督学习的方式，每个经过标注的数据集确定了所训练的检测模型的能力边界。若想要在已有模型的基础上，增加对原有数据集中没有标注的类别的检测能力时，对原有数据集进行重新标注是一个可选的方案，但是该方案耗费的时间和人力都较大，且随着需求的频繁变更，这些消耗将会越来越大。因此混合数据集训练成为了越来越多人的选择，即在训练过程中，通过混合多个不同标注的数据集，获得对这些数据集包含的所有类别的检测能力。这种方式不需要重新对任何数据集进行标注，可以利用现有的各种数据集进行灵活组合，是一种经济可行的方案。
[0003]在混合数据集训练过程中，由于目标检测面临的正负样本采样问题，需要对每个数据集中缺失的标注产生对应的监督信息来避免模型对感兴趣目标的敏感度下降的情况。现有方法的方式采用一种静态监督的方式，这种方式产生的监督信息是单个模型的检测结果，很难同时拥有高召回率和高准确率。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种图像处理方法、装置、存储介质及处理器，以至少解决现有技术中在混合数据集训练过程中采用静态监督的方式生成模型，导致该模型的识别效果不佳的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种图像处理方法，包括：获取目标图像，其中，目标图像中包括待识别的多种类别；采用预设模型对目标图像进行识别，若接收到预设模型输出的识别异常反馈，则获取混合数据集合，其中，混合数据集合中包括已标注目标图像中待识别的类别的数据集；通过混合数据集合进行动态监督学习，生成目标检测模型；通过目标检测模型对目标图像进行识别，得到识别结果。
[0007]进一步地，混合数据集合中包括多个数据集，每个数据集中存在不同的标注信息，通过混合数据集合进行动态监督学习，生成目标检测模型，包括：基于多个数据集中的标注信息对每个数据集中的标注信息进行补充，得到第一数据集集合；基于第一数据集集合进行学习训练，得到第一检测模型；通过第一检测模型对每个数据集中的标注信息进行补充，得到第二数据集集合；基于第二数据集集合进行学习训练，得到目标检测模型。
[0008]进一步地，基于第一数据集集合进行学习训练，得到第一检测模型包括：对第一数据集集合采用硬标签训练模式进行学习训练，得到第一检测模型；基于第二数据集集合进行学习训练，得到目标检测模型包括：对第二数据集集合采用软标签训练模式进行学习训练，得到目标检测模型。
[0009]进一步地，对第二数据集集合采用软标签训练模式进行学习训练，得到目标检测模型包括：对第二数据集集合采用软标签训练模式进行学习训练，得到第二检测模型；通过第二检测模型对每个数据集中的标注信息进行过滤，得到第三数据集集合；采用第三数据集集合进行学习训练，得到目标检测模型。
[0010]进一步地，多个数据集包括：第一数据集和第二数据集，其中，第一数据集与第二数据集中存在不同的标注信息，基于多个数据集中的标注信息对每个数据集中的标注信息进行补充，得到第一数据集集合，包括：基于第一数据集进行学习训练，得到检测模型一；基于第二数据集进行学习训练，得到检测模型二；基于检测模型一对第二数据集进行识别，以补充第二数据集中的标注信息；基于检测模型二对第一数据集进行识别，以补充第一数据集中的标注信息；将补充标注信息后的第一数据集和补充标注信息后的第二数据集，作为第一数据集集合。
[0011]进一步地，该方法还包括：对补充标注信息后的第一数据集采用硬标签训练模式进行学习训练，得到检测模型三；对补充标注信息后的第二数据集采用硬标签训练模式进行学习训练，得到检测模型四；基于检测模型三对第二数据集进行识别，以再次补充第二数据集中的标注信息；基于检测模型四对第一数据集进行识别，以再次补充第一数据集中的标注信息；将再次标注信息后的第一数据集和再次补充标注信息后的第二数据集，作为第二数据集集合。
[0012]进一步地，该方法还包括：对再次标注信息后的第一数据集采用软标签训练模式进行学习训练，得到检测模型五；对再次标注信息后的第二数据集采用软标签训练模式进行学习训练，得到检测模型六；通过检测模型五对第二数据集中的标注信息进行识别，以过滤第二数据集中的标注信息；通过检测模型六对第一数据集中的标注信息进行识别，以过滤第一数据集中的标注信息；将过滤标注信息后的第一数据集和过滤标注信息后的第二数据集，作为第三数据集集合。
[0013]进一步地，所述识别异常反馈表示对所述目标图像识别失败。
[0014]根据本专利技术实施例的另一方面，还提供了一种图像处理方法，包括：接收客户端发送的服务调用请求，其中，服务调用请求中携带有目标图像，其中，目标图像中包括待识别的多种类别；响应服务调用请求，在服务器中采用预设模型对目标图像进行识别，若接收到预设模型输出的识别异常反馈，则获取混合数据集合，其中，混合数据集合中包括已标注目标图像中待识别的类别的数据集；通过混合数据集合进行动态监督学习，生成目标检测模型；通过目标检测模型对目标图像进行识别，得到识别结果；输出对目标图像的识别结果。
[0015]根据本专利技术实施例的另一方面，还提供了一种图像处理方法，包括：采集播放视频中的多帧目标图像，其中，目标图像中包括待识别的多种类别；采用预设模型识别目标图像；采用预设模型对目标图像进行识别，若接收到预设模型输出的识别异常反馈，获取混合数据集合，其中，混合数据集合中包括目标图像中已标注的待识别的类别的数据集；基于混合数据集合进行动态监督学习，生成目标检测模型；采用目标检测模型识别目标图像，得到识别结果。
[0016]根据本专利技术实施例的另一方面，还提供了一种图像处理装置，包括：第一获取单元，用于获取目标图像，其中，目标图像中包括待识别的多种类别；第二获取单元，用于采用预设模型对目标图像进行识别，若接收到预设模型输出的识别异常反馈，则获取混合数据
集合，其中，混合数据集合中包括已标注目标图像中待识别的类别的数据集；第一生成单元，用于通过混合数据集合进行动态监督学习，生成目标检测模型；第一识别单元，用于通过目标检测模型对目标图像进行识别，得到识别结果。
[0017]进一步地，混合数据集合中包括多个数据集，每个数据集中存在不同的标注信息，第一生成单元还包括：第一补充子单元，用于基于多个数据集中的标注信息对每个数据集中的标注信息进行补充，得到第一数据集集合；第一训练子单元，用于基于第一数据集集合进行学习训练，得到第一检测模型；第二补充子单元，用于通过第一检测模型对每个数据集中的标注信息进行补充，得到第二数据集集合；第二训练子单元，用于基于第二数据集集合进行学习训练，得到目标检测模型。
[0018]进一步地，第一训练子单元还包括：第一训练模块，用于对第一数据集集合采用硬标签训练模式进行学习训练，得到第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取目标图像，其中，所述目标图像中包括待识别的多种类别；采用预设模型对所述目标图像进行识别，若接收到所述预设模型输出的识别异常反馈，则获取混合数据集合，其中，所述混合数据集合中包括已标注所述目标图像中待识别的类别的数据集；通过所述混合数据集合进行动态监督学习，生成目标检测模型；通过所述目标检测模型对所述目标图像进行识别，得到识别结果。2.根据权利要求1所述的方法，其特征在于，所述混合数据集合中包括多个数据集，每个数据集中存在不同的标注信息，通过所述混合数据集合进行动态监督学习，生成目标检测模型，包括：基于所述多个数据集中的标注信息对每个数据集中的标注信息进行补充，得到第一数据集集合；基于所述第一数据集集合进行学习训练，得到第一检测模型；通过所述第一检测模型对所述每个数据集中的标注信息进行补充，得到第二数据集集合；基于所述第二数据集集合进行学习训练，得到所述目标检测模型。3.根据权利要求2所述的方法，其特征在于，基于所述第一数据集集合进行学习训练，得到第一检测模型包括：对所述第一数据集集合采用硬标签训练模式进行学习训练，得到所述第一检测模型；基于所述第二数据集集合进行学习训练，得到所述目标检测模型包括：对所述第二数据集集合采用软标签训练模式进行学习训练，得到所述目标检测模型。4.根据权利要求2所述的方法，其特征在于，对所述第二数据集集合采用软标签训练模式进行学习训练，得到所述目标检测模型包括：对所述第二数据集集合采用软标签训练模式进行学习训练，得到第二检测模型；通过所述第二检测模型对所述每个数据集中的标注信息进行过滤，得到第三数据集集合；采用所述第三数据集集合进行学习训练，得到所述目标检测模型。5.根据权利要求4所述的方法，其特征在于，所述多个数据集包括：第一数据集和第二数据集，其中，所述第一数据集与所述第二数据集中存在不同的标注信息，基于所述多个数据集中的标注信息对每个数据集中的标注信息进行补充，得到第一数据集集合，包括：基于所述第一数据集进行学习训练，得到检测模型一；基于所述第二数据集进行学习训练，得到检测模型二；基于所述检测模型一对所述第二数据集进行识别，以补充所述第二数据集中的标注信息；基于所述检测模型二对所述第一数据集进行识别，以补充所述第一数据集中的标注信息；将补充标注信息后的第一数据集和补充标注信息后的第二数据集，作为所述第一数据集集合。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
对补充标注信息后的第一数据集采用硬标签训练模式进行学习训练，得到检测模型三；对补充标注信息后的第二数据集采用硬标签训练模式进行学习训练，得到检测模型四；基于所述检测模型三对所述第二数据集进行识别，以再次补充所述第二数据集中的标注信息；基于所述检测模型四对所述第一数据集进行识别，以再次补充所述第一数据集中的标注信息；将再次标注信息后的第一数据集和再次补充标注信息后的第二数据集，作为所述第二数据集集合。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：对所述再次标注信息后的第一数据集采用软标签训练模式进行学习训练，得到检测模型五；对所述再次标注信息后的第二数据集采用软标签训练模式进行学习训练，得到检测模型六；通过所述检测模型五对所述第二数据集中的标注信息进行识别，以过滤所述第二数据集中的标注信息；通过所述检测模型六对所述第一数据集中的标注信息进行识别，以过滤所述第一数据集中的标注信息；将过滤标注信息后的第一数据集和过滤标注信息后的第二数据集，作为所述第三数据集集合。8.根据权利要求1所述的方法，其特征在于，所述识别异常反馈表示对所述目标图像识别失败。9.一种图像处理方法，其特征在于，包括：接收客户端发送的服务调用请求，其中，所述服务调用请求中携带有目标图像，其中，所述目标图像中包括待识别的多种类别；响应所述服务调用请求，在服务器中采用预设模型对所述目标图像进行识别，若接收到所述预设模型输出的识别异常反馈，则获取混合数据集合，其中，所述混合数据集合中包括已标注所述目标图像中待识别的类别的数据集；通过所述混合数据集合进行动态监督学习，生成目标检测模型；通过所述目标检测模型对所述目标图像进行识别，得到识别结果；输出对所述目标图像的识别结果。10.一种图像处理方法，其特征在于，包括：采集播放视频中的多帧目标图像，其中，所述目标图像中包括待识别的多种类别；采用预设模型识别所述目标图像；采用预设模型对所述目标图像进行识别，若接收到所述预设模型输出的识别异常反馈，获取混合数据集合，其中，所述混合数据集合中包括所述目标图像中已标注的待识别的类别的数据集；基于所述混合数据集合进行动态监督学习，生成目标检测模型；采用所述目标检测模型识别所述目标图像，得到识别结果。
11.一种图像处理装置，其特征在于，包括：第一获取单元，用于获取目标图像，其中，所述目标图像中包括待识别的多种类别；第二获取单元，用于采用预设模型对所述目标图像进行识别，若接收到所述预设模型输出的识别异常反馈获取混合数据集合，其中，所述混合数据集合中包括已标注所述目标图像中待识别的类别的数据集；第一生成单元，用于通过所述混合数据集合...

【专利技术属性】
技术研发人员：陈泽，付志航，华先胜，黄建强，陶明渊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：