图像分割方法、网络的训练方法、电子设备及存储介质技术

本申请公开了一种图像分割方法、图像分割网络的训练方法、电子设备及存储介质。该方法包括：将输入图像送入图像分割网络；获取输入图像中的第一前景目标框；基于第一前景目标框获取输入图像中的第一感兴趣区域和第一感兴趣区域特征图；将所述第一感兴趣区域划分为多个网格，基于第一感兴趣区域特征图预测第一感兴趣区域中每个网格对应的特征，获取第一感兴趣区域中每个像素点的语义特征。基于第一感兴趣区域中每个网格的特征、第一前景目标框的信息和第一感兴趣区域中每个像素点的语义特征，获取实例分割结果。通过上述方式，能够降低图像分割占用的内存和耗时。

【技术实现步骤摘要】
图像分割方法、网络的训练方法、电子设备及存储介质
本申请涉及图像分割
，特别是涉及一种图像分割方法、图像分割网络的训练方法、电子设备及存储介质。
技术介绍
图像分割是指对图像进行像素级分类，以将图像中的物体(例如车、人、树、天空等)区域分割出来，从而能够实现后续对目标区域的处理。图像分割的方法可以分为语义分割、实例分割和全景分割等等。语义分割可以获取到图像中的所有像素点的具体类别(例如车、人、树、天空等)，实例分割可以在获取到图像中各目标像素点的具体类别(例如车、人等)的同时，将同一类别的不同目标分割出来，全景分割结合语义分割和实例分割，对关注目标(例如车、人等)进行实例分割，对非关注目标(例如树、天空等)进行语义分割，实现全图分割。但是，现有的实例分割方法需占用大量的内存，且需耗费大量的时间，同时分割的精细度无法达到语义级别。
技术实现思路
本申请提供一种图像分割方法、图像分割网络的训练方法、电子设备及存储介质，能够解决现有的实例分割方法精细度不够，需占用大量的内存，且需耗费大量的时间的问题。为解决上本文档来自技高网...

【技术保护点】
1.一种图像分割方法，其特征在于，包括：/n将输入图像送入图像分割网络；/n利用所述图像分割网络获取所述输入图像中的第一前景目标框；/n利用所述图像分割网络基于所述第一前景目标框获取所述输入图像中的第一感兴趣区域和第一感兴趣区域特征图，其中，所述第一感兴趣区域为所述第一前景目标框在所述输入图像中对应的区域；/n利用所述图像分割网络将所述第一感兴趣区域划分为多个网格，利用所述图像分割网络基于所述第一感兴趣区域特征图预测所述第一感兴趣区域中每个所述网格对应的特征，利用所述图像分割网络获取所述第一感兴趣区域中每个像素点的语义特征，其中，所述网格对应的特征为所述网格中存在前景目标的概率；/n基于所述第...

【技术特征摘要】
1.一种图像分割方法，其特征在于，包括：
将输入图像送入图像分割网络；
利用所述图像分割网络获取所述输入图像中的第一前景目标框；
利用所述图像分割网络基于所述第一前景目标框获取所述输入图像中的第一感兴趣区域和第一感兴趣区域特征图，其中，所述第一感兴趣区域为所述第一前景目标框在所述输入图像中对应的区域；
利用所述图像分割网络将所述第一感兴趣区域划分为多个网格，利用所述图像分割网络基于所述第一感兴趣区域特征图预测所述第一感兴趣区域中每个所述网格对应的特征，利用所述图像分割网络获取所述第一感兴趣区域中每个像素点的语义特征，其中，所述网格对应的特征为所述网格中存在前景目标的概率；
基于所述第一感兴趣区域中每个所述网格的特征、所述第一前景目标框的信息和所述第一感兴趣区域中每个像素点的语义特征，获取实例分割结果。


2.根据权利要求1所述的方法，其特征在于，所述第一前景目标框的信息包括第一前景目标框的类别，所述基于所述第一感兴趣区域中每个所述网格的特征、所述前景目标框和所述第一感兴趣区域中每个像素点的语义特征，获取实例分割结果，包括：
基于所述第一感兴趣区域中每个所述网格对应的特征确定所述第一感兴趣区域中存在所述前景目标的区域，基于所述第一感兴趣区域中每个像素点的语义特征，确定所述第一感兴趣区域中对应所述像素点的类别，其中，所述存在前景目标的区域对应的所述网格对应的特征大于预设概率阈值；
基于所述第一感兴趣区域中每个所述像素点的类别，确定所述存在前景目标的区域中属于所述第一前景目标框的类别的像素点，作为所述实例分割结果。


3.根据权利要求1所述的方法，其特征在于，所述利用所述图像分割网络获取所述输入图像中的第一前景目标框，包括：
利用所述图像分割网络获取所述输入图像中的第一基础特征图；
利用所述图像分割网络基于所述第一基础特征图获取所述输入图像中的第一前景目标框。


4.根据权利要求3所述的方法，其特征在于，所述第一前景目标框的信息包括所述第一前景目标框的位置，所述利用所述图像分割网络获取所述第一感兴趣区域中每个像素点的语义特征，包括：
利用所述图像分割网络对所述第一基础特征图进行语义分割，得到所述输入图像中所述各像素点对应的第一语义分割特征图；
基于所述第一前景目标框的位置确定所述第一感兴趣区域中每个像素点在所述第一语义分割特征图中对应的特征，作为对应所述第一感兴趣区域中所述像素点的语义特征。


5.根据权利要求3所述的方法，其特征在于，所述利用所述图像分割网络基于所述第一基础特征图获取所述输入图像中的第一前景目标框，包括：
利用所述图像分割网络基于所述第一基础特征图，获取所述输入图像中的第一前景候选框；
利用所述图像分割网络基于所述第一前景候选框和所述第一基础特征图，获取所述输入图像中的第二感兴趣区域特征图；
利用所述图像分割网络基于所述第二感兴趣区域特征图，获取所述第一前景目标框。


6.根据权利要求5所述的方法，其特征在于，所述利用所述图像分割网络基于所述第二感兴趣区域特征图，获取所述第一前景目标框，包括：
利用所述图像分割网络获取所述第二感兴趣区域特征图对应的框分类特征图和框回归特征图，其中，所述框分类特征图用于表示所述第一前景候选框属于各类别的概率，所述第一框回归特征图用于表示所述第一前景目标框相对于所述第一前景候选框的偏移；
基于所述第二感兴趣区域特征图对应的框分类特征图和所述第二感兴趣区域特征图对应的框回归特征图获取所述第一前景目标框的信息。


7.根据权利要求6所述的方法，其特征在于，所述第一前景目标框的信息还包括所述第一前景目标框的位置和所述第一前景目标框的类别，所述基于所述第二感兴趣区域特征图对应的框分类特征图和所述第二感兴趣区域特征图对应的框回归特征图获取所述第一前景目标框的信息，包括：
对所述第二感兴趣区域特征图对应的框分类特征图进行阈值过滤处理，得到所述第一前景目标框的类别；对所述第二感兴趣区域特征图对应的框回归特征图与所述第一前景候选框的位置进行偏移变换，得到所述第一前景目标框的位置。


8.根据权利要求1所述的方法，其特征在于，在所述利用所述图像分割网络获取所述输入图像中的第一前景目标框的信息之前，包括：
对所述图像分割网络进行训练。


9.根据权利要求8所述的方法，其特征在于，所述对所述图像分割网络进行训练，包括：
将训练图像送入所述图像分割网络；
利用所述图像分割网络获取所述训练图像的第二基础特征图；
利用所述图像分割网络基于所述第二基础特征图获取所述训...

【专利技术属性】
技术研发人员：郑幽娴，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33