图像处理方法、装置、电子设备和计算机可读介质制造方法及图纸

本发明专利技术提供了一种图像处理方法、装置、电子设备和计算机可读介质，包括：获取待处理图像，并对待处理图像进行特征提取，得到多尺度的特征图；对多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；对多尺度的强化特征图进行图像还原，得到与待处理图像对应的显著性物体蒙版。本发明专利技术的方法对多尺度的特征图中显著性物体所对应的部分进行强化处理后，得到的多尺度的强化特征图中，显著性物体所对应的特征图更加突出，最后对多尺度的强化特征图进行图像还原后，分割得到的显著性物体蒙版更加准确，缓解了现有的显著性物体分割方法在对图像进行处理时，精度差的技术问题。

【技术实现步骤摘要】
图像处理方法、装置、电子设备和计算机可读介质
本专利技术涉及图像处理的
，尤其是涉及一种图像处理方法、装置、电子设备和计算机可读介质。
技术介绍
显著性物体分割(SalientObjectSegmentation)是计算机视觉(ComputerVision)的一个重要课题。在手机自动对焦、无人驾驶、场景理解、图像编辑等领域中都有着非常广泛的应用。显著性物体分割的目的是在一张图像中将显著物体的像素点与其它背景像素点区分出来。不同于传统的语义分割任务，显著性物体并不属于同一类物体，并没有语义相关的标签。但是显著性物体往往处于图像中间，且颜色丰富，如图1(a)所示，图1(b)为与图1(a)对应的显著性物体分割结果示意图。现有的显著性物体分割方法主要分为两类。其中一类是通过对图像的纹理进行分析，确定出图像中纹理丰富的区域，继而通过聚类方法，将物体和其它纹理单一的区域区分出来。这种方法受限于聚类方法，很难获得较高的精度；另外一类是将显著性物体分割看作标准物体分割问题。但是标准物体分割是将图像中预设种类的物体分割出来，例如，将图像中的人、车、狗分割出来，但是这些物体对于某张特定的图像来讲，可能并不是显著性物体，或者并不是所有的都是显著性物体，这就导致分割出的显著性物体出现错误。综上，现有的显著性物体分割方法在对图像进行处理时，存在精度差的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种图像处理方法、装置、电子设备和计算机可读介质，以缓解现有的显著性物体分割方法在对图像进行处理时，精度差的技术问题。第一方面，本专利技术实施例提供了一种图像处理方法，包括：获取待处理图像，并对所述待处理图像进行特征提取，得到多尺度的特征图；对所述多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；对所述多尺度的强化特征图进行图像还原，得到与所述待处理图像对应的显著性物体蒙版。进一步的，对所述待处理图像进行特征提取包括：对所述待处理图像进行多层下采样处理，得到多尺度的原始特征图；对所述多尺度的原始特征图进行优化处理，得到所述多尺度的特征图。进一步的，对所述多尺度的原始特征图进行优化处理包括：对所述多尺度的原始特征图中的目标原始特征图进行第一优化处理，得到第一优化的特征图，其中，所述目标原始特征图为所述多尺度的原始特征图中，除最高维原始特征图以外的特征图；对所述多尺度的原始特征图中的最高维原始特征图进行第二优化处理，得到第二优化的特征图；将所述第一优化的特征图和所述第二优化的特征图作为所述多尺度的特征图。进一步的，对所述多尺度的原始特征图中的目标原始特征图进行第一优化处理包括：利用第一优化模块对所述目标原始特征图进行优化处理，得到第一初始优化的特征图，其中，所述第一优化模块包括：预设数量个第一卷积层；将所述第一初始优化的特征图和其对应的目标原始特征图进行加和运算，得到所述第一优化的特征图。进一步的，对所述多尺度的原始特征图中的最高维原始特征图进行第二优化处理包括：利用第二优化模块对所述最高维原始特征图进行优化处理，得到优化权重，其中，所述第二优化模块包括：第二卷积层、全局池化层和Sigmoid函数处理层；将所述优化权重与所述最高维原始特征图进行乘积运算，得到第二初始优化的特征图；将所述第二初始优化的特征图和所述最高维原始特征图进行加和运算，得到所述第二优化的特征图。进一步的，对所述多尺度的特征图中显著性物体所对应的部分进行强化处理包括：根据所述多尺度的特征图得到显著性物体的初始位置；根据所述初始位置，以至少两种不同扩充尺度，裁剪所述多尺度的特征图中最高维的特征图，得到多个裁剪特征图，所述多个裁剪特征图中包含所述显著性物体的特征信息；将所述多尺度的特征图中的一个或多个作为目标特征图，逐一将各所述目标特征图作为当前目标特征图，计算所述多个裁剪特征图与所述当前目标特征图的相关度，得到所述当前目标特征图的与所述多个裁剪特征图一一对应的多个相关度特征图；根据所述多个相关度特征图和所述当前目标特征图，得到所述当前目标特征图对应的强化特征图。进一步的，根据所述多尺度的特征图得到显著性物体的初始位置包括：对所述多尺度的特征图中最高维的特征图进行降维处理，得到单通道的特征图；对所述单通道的特征图进行二值化处理，得到单通道的二值化特征图；根据所述单通道的二值化特征图确定所述显著性物体的初始位置。进一步的，根据所述初始位置，以至少两种不同扩充尺度，裁剪所述多尺度的特征图中最高维的特征图包括：根据所述初始位置确定所述显著性物体的像素宽度和像素高度；根据所述扩充尺度、所述像素宽度和所述像素高度确定扩充像素宽度和扩充像素高度；在所述最高维的特征图中，沿着将所述初始位置扩充所述扩充像素宽度和所述扩充像素高度后的位置进行裁剪。进一步的，计算所述多个裁剪特征图与所述当前目标特征图的相关度包括：将所述多个裁剪特征图缩放至预设尺度，得到预设尺度的多个裁剪特征图；以所述预设尺度为滑动窗口在所述当前目标特征图上进行滑动；将每次滑动后所述滑动窗口所包含的特征图与所述预设尺度的多个裁剪特征图分别进行乘积运算，根据乘积运算的结果得到当前目标特征图的与多个裁剪特征图一一对应的多个所述相关度特征图。进一步的，根据所述多个相关度特征图和所述当前目标特征图，得到所述当前目标特征图对应的强化特征图包括：将所述多个相关度特征图中的每个相关度特征图与所述当前目标特征图进行乘积运算，得到所述当前目标特征图对应的多个第一强化特征图；将所述多个第一强化特征图与所述当前目标特征图串联，得到所述当前目标特征图对应的第二强化特征图；获取所述当前目标特征图对应的位置强化特征图，并将所述第二强化特征图和所述位置强化特征图串联，得到与所述当前目标特征图对应的强化特征图，其中，所述位置强化特征图的尺度与所述第二强化特征图的尺度相同。进一步的，获取所述当前目标特征图对应的位置强化特征图包括：基于所述显著性物体的初始位置确定所述显著性物体X方向的中心线和Y方向的中心线；将所述Y方向的中心线设置为第一目标值，沿着X方向线性变换为第二目标值，得到X方向的位置强化特征图；将所述X方向的中心线设置为所述第一目标值，沿着Y方向线性变换为所述第二目标值，得到Y方向的位置强化特征图；将所述X方向的位置强化特征图和所述Y方向的位置强化特征图作为所述位置强化特征图。进一步的，对所述多尺度的强化特征图进行图像还原包括：对所述多尺度的强化特征图进行上采样，得到与所述待处理图像对应的显著性物体蒙版。第二方面，本专利技术实施例还提供了一种图像处理装置，包括：特征提取单元，用于获取待处理图像，并对所述待处理图像进行特征提取，得到多尺度的特征图；强化处理单元，用于对所述多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；图像还原单元，用于对所述多尺度的强化特征图进行图像还原，得到与所述待处理图像对应的显著性物体蒙版。第三方面，本专利技术实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理图像，并对所述待处理图像进行特征提取，得到多尺度的特征图；/n对所述多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；/n对所述多尺度的强化特征图进行图像还原，得到与所述待处理图像对应的显著性物体蒙版。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理图像，并对所述待处理图像进行特征提取，得到多尺度的特征图；
对所述多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；
对所述多尺度的强化特征图进行图像还原，得到与所述待处理图像对应的显著性物体蒙版。


2.根据权利要求1所述的方法，其特征在于，对所述待处理图像进行特征提取包括：
对所述待处理图像进行多层下采样处理，得到多尺度的原始特征图；
对所述多尺度的原始特征图进行优化处理，得到所述多尺度的特征图。


3.根据权利要求1或2所述的方法，其特征在于，对所述多尺度的原始特征图进行优化处理包括：
对所述多尺度的原始特征图中的目标原始特征图进行第一优化处理，得到第一优化的特征图，其中，所述目标原始特征图为所述多尺度的原始特征图中，除最高维原始特征图以外的特征图；
对所述多尺度的原始特征图中的最高维原始特征图进行第二优化处理，得到第二优化的特征图；
将所述第一优化的特征图和所述第二优化的特征图作为所述多尺度的特征图。


4.根据权利要求3所述的方法，其特征在于，对所述多尺度的原始特征图中的目标原始特征图进行第一优化处理包括：
利用第一优化模块对所述目标原始特征图进行优化处理，得到第一初始优化的特征图，其中，所述第一优化模块包括：预设数量个第一卷积层；
将所述第一初始优化的特征图和其对应的目标原始特征图进行加和运算，得到所述第一优化的特征图。


5.根据权利要求3或4所述的方法，其特征在于，对所述多尺度的原始特征图中的最高维原始特征图进行第二优化处理包括：
利用第二优化模块对所述最高维原始特征图进行优化处理，得到优化权重，其中，所述第二优化模块包括：第二卷积层、全局池化层和Sigmoid函数处理层；
将所述优化权重与所述最高维原始特征图进行乘积运算，得到第二初始优化的特征图；
将所述第二初始优化的特征图和所述最高维原始特征图进行加和运算，得到所述第二优化的特征图。


6.根据权利要求1-5任一项所述的方法，其特征在于，对所述多尺度的特征图中显著性物体所对应的部分进行强化处理包括：
根据所述多尺度的特征图得到显著性物体的初始位置；
根据所述初始位置，以至少两种不同扩充尺度，裁剪所述多尺度的特征图中最高维的特征图，得到多个裁剪特征图，所述多个裁剪特征图中包含所述显著性物体的特征信息；
将所述多尺度的特征图中的一个或多个作为目标特征图，逐一将各所述目标特征图作为当前目标特征图，计算所述多个裁剪特征图与所述当前目标特征图的相关度，得到所述当前目标特征图的与所述多个裁剪特征图一一对应的多个相关度特征图；
根据所述多个相关度特征图和所述当前目标特征图，得到所述当前目标特征图对应的强化特征图。


7.根据权利要求6所述的方法，其特征在于，根据所述多尺度的特征图得到显著性物体的初始位置包括：
对所述多尺度的特征图中最高维的特征图进行降维处理，得到单通道的特征图；
对所述单通道的特征图进行二值化处理，得到单通道的二值化特征图；
根据所述单通道的二值化特征图确定所述显著性物体的初始位置。


8.根据权利要求6或7所述的方法，其...

【专利技术属性】
技术研发人员：熊鹏飞，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11