图像处理方法、模型训练方法、装置、设备和存储介质制造方法及图纸

本公开提供了一种图像处理方法、模型训练方法、装置、设备和存储介质，涉及人工智能领域，具体涉及云计算、视频编码、媒体云技术，可应用在智能云场景下。具体实现方案为：基于显著性检测模型中的特征提取网络，得到目标图像的特征信息；利用所述显著性检测模型中的至少两个检测分支分别对所述特征信息进行处理，得到至少两个显著性图；基于所述至少两个显著性图中的每个显著性图，在所述目标图像中确定对应的显著区域。本公开实施例可以对不同区域的关注程度给出了更细化的度量，从而提升了显著性检测的准确性，并且提升检测效率。并且提升检测效率。并且提升检测效率。

【技术实现步骤摘要】
图像处理方法、模型训练方法、装置、设备和存储介质


[0001]本公开涉及人工智能领域，具体涉及云计算、视频编码、媒体云技术，可应用在智能云场景下。

技术介绍

[0002]通过引入视觉显著性，可以为计算机视觉任务带来一系列重大的帮助和改善。显著性检测是通过计算机视觉算法去预测图像或视频中的哪些信息更受到人眼关注的过程，即显著性检测用于检测出图像或视频中的显著区域。
[0003]相关技术中，一般基于深度学习实现显著性检测，将图像上的区域划分为显著和不显著两类。然而，实际应用场景中，图像或视频中容易出现复杂主体，人眼对不同区域的关注程度也并非局限于显著与非显著。

技术实现思路

[0004]本公开提供了一种图像处理方法、模型训练方法、装置、设备和存储介质。
[0005]根据本公开的一方面，提供了一种图像处理方法，包括：
[0006]基于显著性检测模型中的特征提取网络，得到目标图像的特征信息；
[0007]利用所述显著性检测模型中的至少两个检测分支分别对所述特征信息进行处理，得到至少两个显著性图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：基于显著性检测模型中的特征提取网络，得到目标图像的特征信息；利用所述显著性检测模型中的至少两个检测分支分别对所述特征信息进行处理，得到至少两个显著性图；基于所述至少两个显著性图中的每个显著性图，在所述目标图像中确定对应的显著区域。2.根据权利要求1所述的方法，还包括：针对所述目标图像中的至少两个显著区域以及非显著区域，采用不同的码率进行编码，得到所述目标图像的压缩图像。3.根据权利要求1或2所述的方法，其中，所述特征提取网络包括至少两个卷积层，所述至少两个卷积层中的部分卷积层为深度可分离卷积层。4.根据权利要求1或2所述的方法，其中，所述基于显著性检测模型中的特征提取网络，得到目标图像的特征信息，包括：基于所述特征提取网络中的特征编码网络以及所述目标图像，进行至少两次特征编码以及至少两次池化，得到所述目标图像的至少两个编码特征图；基于所述特征提取网络中的特征解码网络以及所述至少两个编码特征图，进行至少两次上采样以及至少两次特征解码，得到所述目标图像的至少两个解码特征图。5.根据权利要求4所述的方法，其中，所述特征编码网络中包括至少两个用于进行特征编码的残差U型块；所述残差U型块中的输入卷积层为深度可分离卷积层。6.根据权利要求4所述的方法，其中，所述利用所述显著性检测模型中的至少两个检测分支分别对所述特征信息进行处理，得到至少两个显著性图，包括：利用所述至少两个检测分支分别对所述至少两个解码特征图中的最大解码特征图进行处理，得到所述至少两个显著性图。7.一种模型训练方法，包括：获取样本图像，并确定与所述样本图像对应的至少两个显著性图标签；利用所述样本图像以及所述至少两个显著性图标签，对预设模型进行训练，得到显著性检测模型；其中，所述预设模型包括特征提取网络以及至少两个检测分支，所述特征提取网络用于得到样本图像的特征信息，所述至少两个检测分支用于分别对所述特征信息进行处理，以得到至少两个显著性图。8.根据权利要求7所述的方法，其中，所述确定与所述样本图像对应的至少两个显著性图，包括：利用目标检测算法对所述样本图像进行处理，得到所述样本图像中的目标检测框的位置信息；基于所述目标检测框的位置信息，得到所述样本图像对应的第一显著性图标签。9.根据权利要求8所述的方法，其中，所述基于所述目标检测框的位置信息，得到所述样本图像对应的第一显著性图，包括：基于所述目标检测框的位置信息，确定所述目标检测框的包围区域；基于预先获取的第二显著性图标签，确定所述样本图像中的第二显著区域；基于所述目标检测框的包围区域与所述第二显著区域的交集，确定所述样本图像中的
第一显著区域；基于所述第一显著区域，确定所述样本图像对应的第一显著性图标签。10.根据权利要求7
‑
9中任一项所述的方法，其中，所述利用所述样本图像以及所述至少两个显著性图标签，对预设模型进行训练，包括：利用所述预设模型对所述样本图像进行处理，得到所述至少两个显著性图；其中，所述至少两个显著性图包括第一显著性图和第二显著性图，且所述第一显著性图中的显著区域小于所述第二显著性图中的显著区域；基于第一权重、所述第一显著性图以及其对应的显著性图标签，确定第一损失；基于第二权重、所述第二显著性图以及其对应的显著性图标签，确定第二损失；其中，所述第二权重小于所述第一权重；基于所述第一损失以及所述第二损失，确定总损失，并基于所述总损失更新所述预设模型中的参数。11.根据权利要求10所述的方法，其中，所述利用所述预设模型对所述样本图像进行处理，得到所述至少两个显著性图，包括：利用所述预设模型中的特征提取网络，得到所述样本图像的特征信息；所述样本图像的特征信息包括至少两个解码特征图；利用所述预设模型中的每个检测分支中与所述至少两个解...

【专利技术属性】
技术研发人员：李阳刚，邢怀飞，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：