一种基于神经算子的图像分割方法及系统技术方案

本发明专利技术公开了一种基于神经算子的图像分割方法，属于图像分割方法技术领域，包括S1：对RGB图像进行预处理；S2：图像特征提取；S3：图像编码；S4：距离编码；S5：向量拼接；S6：利用求解器求解程涵方程；S7：阈值分割。本发明专利技术的有益效果是，本发明专利技术将图像分割通过偏微分方程的解建模，利用隐式神经表示与卷积神经网路逼近一组程涵方程的解，通过求解零水平集实现图像分割。该方法不需要预分割输入以及多轮修正，可对利用低分辨率图像生成高分辨分割结果，相较直接放大低分辨率分割结果至高分辨有显著提升。升。升。

【技术实现步骤摘要】
一种基于神经算子的图像分割方法及系统


[0001]本专利技术属于图像分割方法
，具体为一种基于神经算子的图像分割方法及系统。

技术介绍

[0002]随着人工智能不断发展，以神经网络为核心的机器视觉算法已经在安防检测、自动驾驶、机器人等诸多领域有了很多落地应用。尤其在自动驾驶领域，视觉感知是重要信息获取方式。目前的图像分割方法可以分为传统图像分割方法以及基于深度模型的图像分割方法。
[0003]传统图像分割方法包括阈值法、区域生长、主动轮廓、水平集等分割方法，传统方法通常需要复杂的图像预处理、特征提取、或者需要人参与交互，虽然主动轮廓和水平集方法可以产生连续的分割结果，但整体来说传统图像分割方法的通用性较差。
[0004]基于深度模型的图像分割方法的包括基于编解码器的方法，基于卷积网络与图模型的方法，基于多尺度金字塔网络的方法，基于空洞卷积的相关方法，以及基于RCNN的相关方法(主要用于实例分割)。整体来讲基于深度神经网络的方法分割效果普遍优于传统方法，但处理效率却比较低、往往在高分辨率图像上效果表现不佳。
[0005]在视觉分析领域，目标检测与图像分割有着大量需求，现行的图像分割算法针对高分辨率图像分割效果差，现有高分辨率图像分割算法并未有效利用全局信息导致边界不清晰。
[0006]现有技术如专利文献：[1]专利公开号CN114882227A，一种人体组织图像分割方法及相关设备；所描述方法应用领域主要为人体组织图像，该方法基于弱标签与伪标签生成标签数据结合预设深度学习模型训练图像分为网络，该方法引入两阶段分割增加了准确性，引入为标签减少标注所需的时间。
[0007]专利公开号CN114972300A，一种基于计算机视觉和深度学习的材料图像分割识别方法；所描述的方法应用领域主要为材料图像，该方法为两阶段方法，首先利用传统方法进行图像分割，然后再通过深度学习模型对图像进行微观组织结构识别。
[0008]专利公开号CN114820636A，一种三维医学图像分割模型及其训练方法和应用；描述了一种基于深度学习的三维医学图像分割模型及其训练方法和应用。该方法设计了网络模型由Prototype计算模块、编码器解码器模块、任务控制器模块、动态卷积核生成器模块以及动态分割头模块构成。解决了医学图像分割领域中的部分标记问题，解决了当前主流方法中参数过多，对任务扩展不灵活的问题，同时在分割结果上有一定的提升。
[0009]上述专利文献[1]‑
[3]的一个主要缺点是不能针对图像进行连续分割，现有的主流图像分割手段仅能对固定分辨率的图像进行分割。
[0010]期刊：[4]Shen,Tiancheng,et al."High Quality Segmentation for Ultra High
‑
resolution Images."Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2022；
[0011][5]Hu,Hanzhe,et al."Learning Implicit Feature Alignment Function for Semantic Segmentation."arXiv preprint arXiv:2206.08655(2022)。
[0012]文献[4]中方法需要使用粗略的图像分割结果，需要预分割；也需要通过多轮修正才能得到可靠结果，计算量消耗大。文献[5]中方法相较[4]，并不需要预分割输入以及多轮修正，可以解决需要预分割以及计算量消耗大问题。此外，[4]和[5]中引入全局信息主要依靠图像特征图、位置信息。

技术实现思路

[0013]针对上述技术问题，本专利技术的目的是提供一种本专利技术提出基于神经算子的图像分割方法，该方法将图像分割通过偏微分方程的解建模，利用隐式神经表示与卷积神经网路逼近一组程涵方程的解，通过求解零水平集实现图像分割。该方法不需要预分割输入以及多轮修正。
[0014]为实现上述目的，本专利技术采用以下技术方案：
[0015]一种基于神经算子的图像分割方法，包括以下步骤：
[0016]S1：对RGB图像进行预处理：RGB图像以I表示，I∈[3
×
H
×
W]，预处理包括：像素标准化操作以及尺寸归一化操作；
[0017]S2：图像特征提取：由神经网络构成F
θ
，输入为I
inp
，输出为图像特征，以F
feat
表示，F
feat
∈[C
feat
×
H
feat
×
W
feat
]，其数学表达式表示为F
feat
＝F
θ
(I
inp
)；
[0018]S3：图像编码：由神经网络E
θ
构成，输入为F
feat
，输出为图像编码，以I
enc
表示，I
enc
∈[1
×
H
grid
×
W
grid
]，输出的图像编码尺寸与距离编码中的网格尺寸相匹配，其数学表达式表示为I
enc
＝E
θ
(F
feat
)；
[0019]S4：距离编码：输入包含编码网格点与检索点坐标，其中编码网格点为P
grid
∈[2
×
H
grid
×
W
grid
]，编码网格点为[1,
‑
1]×
[1,
‑
1]域内均匀采样得到；
[0020]S5：向量拼接：将I
enc
∈[1
×
H
grid
×
W
grid
]变形成列向量V
I
∈[L
×
1],将P
enc
∈[1
×
H
grid
×
W
grid
]变形成向量V
P
∈[1
×
L],其中L＝H
grid
×
W
grid
，然后将V
I
与V
P
进行拼接成编码向量V
cat
∈[1
×
2L]；
[0021]S6：利用求解器求解程涵方程：求解器由神经网络S
θ
构成，输入为编码向量V
cat
，输出为估计的检索点x到分割目标边界的最近距离数学表达为其输出为符号距离函数；
[0022]S7：阈值分割：输入为网格点为P
grid
，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经算子的图像分割方法，其特征在于，包括以下步骤：S1：对RGB图像进行预处理：RGB图像以I表示，I∈[3
×
H
×
W]，预处理包括：像素标准化操作以及尺寸归一化操作；S2：图像特征提取：由神经网络构成F
θ
，输入为I
inp
，输出为图像特征，以F
feat
表示，F
feat
∈[C
feat
×
H
feat
×
W
feat
]，其数学表达式表示为F
feat
＝F
θ
(I
inp
)；S3：图像编码：由神经网络E
θ
构成，输入为F
feat
，输出为图像编码，以I
enc
表示，I
enc
∈[1
×
H
grid
×
W
grid
]，输出的图像编码尺寸与距离编码中的网格尺寸相匹配，其数学表达式表示为I
enc
＝E
θ
(F
feat
)；S4：距离编码：输入包含编码网格点与检索点坐标，其中编码网格点为P
grid
∈[2
×
H
grid
×
W
grid
]，编码网格点为[1，
‑
1]
×
[1，
‑
1]域内均匀采样得到；S5：向量拼接：将I
enc
∈[1
×
H
grid
×
W
grid
]变形成列向量V
I
∈[L
×
1]，将P
enc
∈[1
×
H
grid
×
W
grid
]变形成向量V
P
∈[1
×
L]，其中L＝H
grid
×
W
grid
，然后将V
I
与V
P
进行拼接成编码向量V
cat
∈[1
×
2L]；S6：利用求解器求解程涵方程：求解器由神经网络S
θ
构成，输入为编码向量V
cat
，输出为估计的检索点x到分割目标边界的最近距离数学表达为其输出为符号距离函数；S7：阈值分割：输入为网格点为P
grid
，通过向量拼接与求解器的符号距离函数，由u
grid
∈[1
×
H
grid
×
W
grid
]表示，阈值分割判断u
grid
是否大于0，并将大于0部分设为目标，否则视为背景。2.如权利要求1所述的一种基于神经算子的图像分割方法，其特征在于，S1中，对RGB图像进行预处理还包括，随机裁剪，颜色变换以及对比度变换，变换后的图像以I
inp
表示，I
inp
∈[3
×
H
inp
×
W
inp
]。3.如权利要求1所述的一种基于神经算子的图像分割方法，其特征在于，S1中，像素标准化操作具体为将像素值按比例缩放到特定区间，尺寸归一化操作具体为通过插值将图像尺寸缩放到特定尺寸。4.如权利要求1所述的一种基于神经算子的图像分割方法，其特征在于，S4中编码网格点具体为在x轴方向的[1，
‑
1]均匀采样W
grid
个点，包含1与
‑
1，同理在在y轴方向的[1，
‑
1]均匀采样H
grid
个点，包含1与
‑
1，由这些点组成的网格，如下表所示：其中，检索点x∈[2
×
1]，为[1，
‑
1]
×
[1，
‑
1]域中的点，距离编码P
enc
∈[1
×
H
grid
×
W
grid
]，P
enc
通过计算检索点x与编码网格点P
enc
每个点的欧式距离得到，数学表达为P
enc
＝||x
‑
P
grid
||2。5.如权利要求1所述的一种基于神经算子的图像分割方法，其特征在于，S6中利用神经网络求解程涵方程所采用的求解器为满足输入输出尺寸的神经网络多层感知机。6.一种基于神经算子的图像分割方法，其特征在于，包括以下步骤：S1：对RGB图像进行预处理：RGB图像以I表示，I∈[3
×
H
×
W]，预处理包括：像素标准化操作以及尺寸归一化操作；S2：图像特征提取：由神经网络构成F
θ
，输入为I
inp
，输出为图像特征，以F
feat
表示，F
feat
∈[C
feat
×
H
feat
×
W
feat
]，其数学表达式表示为F
feat
＝F
θ
(I
inp
)；S3：图像编码：由神经网络E
θ
构成，输入为F
feat
，输出为图像编码，以I
enc
表示，I
enc
∈[1
×
H
grid
×
W
grid
]，输出的图像编码尺寸与距离编码中的网格尺寸相匹配，其数学表达式表示为I
enc
＝E
θ
(F
feat
)；S4：距离编码：输入包含编码网格点与检索点坐标，其中编码网格点为P
grid
∈[2
×
H
grid
×
W
g...

【专利技术属性】
技术研发人员：林野，张立华，张沛轩，焦健，
申请(专利权)人：博立科技南京有限公司，
类型：发明
国别省市：