基于空间和语义信息的图像处理方法、系统、设备和介质技术方案

本发明专利技术适用于计算机视觉领域，提供了基于空间和语义信息的图像处理方法、系统、设备和介质。所述基于空间和语义信息的图像处理方法包括：获取第一图像，对所述第一图像进行语义提取处理，得到第二图像；从所述第二图像中提取语义信息，利用所述语义信息对所述第一图像进行语义信息细节调整，得到第三图像；从所述第三图像中提取空间信息，利用所述空间信息对所述第二图像进行语义信息引导处理，得到第四图像。本发明专利技术通过浅层空间信息与深层语义信息的相互学习优化，快速、有效地减少浅层特征的噪声，然后引导深层特征重建空间信息，从而有效的提升分割精度，达到图片处理速度与准确度之间平衡，避免了额外的边路辅助或复杂的解码器。器。器。

【技术实现步骤摘要】
基于空间和语义信息的图像处理方法、系统、设备和介质


[0001]本专利技术属于计算机视觉领域，尤其涉及基于空间和语义信息的图像处理方法、系统、设备和介质。

技术介绍

[0002]语义分割是计算机视觉领域的重要任务，其应用广泛且不断发展，其目的是精确预测图像中每个像素的标签。它是实现视觉场景理解的关键一步，在自动驾驶、医学影像、图像生成等领域有着广泛的应用。
[0003]深度学习方法在语义分割领域逐渐占据主导地位，并提出了许多具有代表性的网络模型。尽管深度学习方法在该领域逐渐占据主导地位，并提出了许多网络模型，但是这些模型要么具有较高的精度但计算成本大，要么速度快但精度低，要么使得浅层特征有较多的细节信息，同时也有许多的噪声，要么深层特征有较强的语义信息，但丢失了一些空间信息。
[0004]因此，现有的技术难以同时满足图像处理的精度和速度的要求。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种基于空间和语义信息的图像处理方法，旨在解决现有的技术难以同时满足图像处理的精度和速度的要求的问题。
[0006]本专利技术实施例是这样实现的，一种基于空间和语义信息的图像处理方法，所述图像处理方法包括：获取第一图像，对所述第一图像进行语义提取处理，得到第二图像；从所述第二图像中提取语义信息，利用所述语义信息对所述第一图像进行语义信息细节调整，得到第三图像；从所述第三图像中提取空间信息，利用所述空间信息对所述第二图像进行语义信息引导处理，得到第四图像。
[0007]本专利技术实施例的另一目的在于一种基于空间和语义信息的图像处理系统，所述图像处理系统包括：主干网络，用于获取第一图像，对所述第一图像进行语义提取处理，得到第二图像；语义调整细节模块，用于从所述第二图像中提取语义信息，利用所述语义信息对所述第一图像进行语义信息细节调整，得到第三图像；细节引导语义模块，用于从所述第三图像中提取空间信息，利用所述空间信息对所述第二图像进行语义信息引导处理，得到第四图像。
[0008]本专利技术实施例的另一目的在于一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于空间和语义信息的图像处理方法的步骤。
[0009]本专利技术实施例的另一目的在于一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于空间和语义信息的图像处理方法的步骤。
[0010]本专利技术实施例中提供的基于空间和语义信息的图像处理方法，通过浅层空间信息与深层语义信息的相互学习优化，快速、有效地减少浅层特征的噪声，然后引导深层特征重建空间信息，从而有效的提升分割精度，达到图片处理速度与准确度之间平衡，避免了额外的边路辅助或复杂的解码器。
附图说明
[0011]图1为一个实施例中提供的基于空间和语义信息的图像处理方法的流程图；图2为一个实施例中提供的空间细节和语义信息相互优化网络（DSMONet）的结构框图；图3为一个实施例中提供的相互优化模块（MOM）的结构框图；图4为一个实施例中Cityscapes测试集上分割精度(mIoU)和推理速度(FPS)的对比图；图5 为一个实施例中提供的基于空间和语义信息的图像处理系统的结构框图；图6为一个实施例中计算机设备的内部结构框图。
具体实施方式
[0012]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0013]可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
[0014]如图1所示，在一个实施例中，提出了一种基于空间和语义信息的图像处理方法，所述图像处理方法包括步骤S102~S106：步骤S102，获取第一图像，对所述第一图像进行语义提取处理，得到第二图像。
[0015]在本实施例中，第一图像是浅层图像，浅层图像的分辨率高，图像有较多的空间细节信息，但噪声也相对较多。第二图像是深层图像，通过处理浅层图像得到，其分辨率相对较低，有较强的语义信息，但是空间信息有所缺失。
[0016]具体的，步骤S102的优化处理方法详细展开为步骤S202~S204：步骤S202，获取待处理的原始图像，通过增加特征图通道数量，降低所述原始图像的分辨率，得到所述第一图像。
[0017]步骤S204，在主干网络中对所述第一图像进行特征提取后，再做上下文聚合，得到所述第二图像；所述第二图像的分辨率低于所述第一图像的分辨率。
[0018]如图2所示，原始图像是待处理的图像，原始图像经过4个步骤，通过增加特征图通道数量，降低所述原始图像的分辨率，逐一得到图像1~4。原始图像和图像1~4构成主干网
络。主干网络选择轻量级的STDCNet，共有5个阶段，每个阶段stride为2，特征图通道数增加，分辨率减小到输入图像的1/32。为了获取包含全局上下文信息的特征，在主干网络后加入DAPPM模块来进一步从低分辨率特征图中提取上下文信息，得到第二图像。需要说明的是，本实施例将图像1设置为优化为第一图像，将第4图像优化为第二图像，但实际操作中，只要满足第一图像的分辨率大于第二图像，都可以实现本实施例的技术方案，因此不限定第一图像和第二图像具体对应主干网络中的哪个部分图像，只要满足分辨率要求即可。
[0019]语义分割就是提取深层特征的语义信息，并对提取的特征进行优化，然后上采样输出。具体来说，就是通过ResNet、STDC等主干网络提取深层特征的语义信息。在分割头中，通过Conv
‑
BN
‑
Relu操作，将特征通道数减少到类别数，同时进行上采样操作，将特征大小扩展到输入图像大小，然后使用argmax操作预测每个像素的标签。采用在线硬例挖掘的交叉熵损失对模型进行优化。在UAFM的输出端放置一个语义头生成额外的语义损失，以更好的优化整个网络。采用BCE损失来突出边界区域，增强小物体的特征。最终的损失为：根据经验，将空间细节与语义信息的相互优化网络（DSMONet，Details and Semantic Mutual Optimization NET）训练损失的参数设置为。
[0020]步骤S104，从所述第二图像中提取语义信息，利用所述语义信息对所述第一图像进行语义信息细节调整，得到第三图像。
[0021]在本实施例中，如图2和图3所示，相互优化模块（MOM，Mutual Optimization Module）的输入分别是经过DAPPM上下文聚合后的特征图S和主干特征输出特征图D两部分，即第二图像和第一图像。其中，S具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间和语义信息的图像处理方法，其特征在于，所述图像处理方法包括：获取第一图像，对所述第一图像进行语义提取处理，得到第二图像；从所述第二图像中提取语义信息，利用所述语义信息对所述第一图像进行语义信息细节调整，得到第三图像；从所述第三图像中提取空间信息，利用所述空间信息对所述第二图像进行语义信息引导处理，得到第四图像。2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行语义提取处理，得到第二图像，包括如下步骤：获取待处理的原始图像，通过增加特征图通道数量，降低所述原始图像的分辨率，得到所述第一图像；在主干网络中对所述第一图像进行特征提取后，再做上下文聚合，得到所述第二图像；所述第二图像的分辨率低于所述第一图像的分辨率。3.根据权利要求1所述的方法，其特征在于，所述从所述第二图像中提取语义信息，利用所述语义信息对所述第一图像进行语义信息细节调整，得到第三图像，包括如下步骤：解耦所述第二图像，从所述第二图像中提取第一边缘特征；从所述第一图像中提取第二边缘特征，融合所述第一边缘特征和所述第二边缘特征，得到所述第三图像。4.根据权利要求3所述的方法，其特征在于，所述解耦所述第二图像，从所述第二图像中提取第一边缘特征，包括如下步骤：解耦所述第二图像，通过基于流的身体特征表示方法来获取所述第二图像的主体特征；用所述第二图像减去主体特征，得到所述第一边缘特征。5.根据权利要求3所述的方法，其特征在于，所述从所述第一图像中提取第二边缘特征，融合所述第一边缘特征和所述第二边缘特征，得到所述第三图像，包括如下步骤：用拉普拉斯算子优...

【专利技术属性】
技术研发人员：韩军，马梦圆，黄惠玲，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：