一种图像实例分割方法、系统、设备以及存储介质技术方案

本发明专利技术公开了一种图像实例分割方法、系统、设备以及存储介质，包括以下步骤：获取已训练的教师网络和控制器网络；利用所述控制器网络搜索多个解码器结构并利用每一个解码器结构和固定的编码器构成多个分割网络架构；利用所述已训练的教师网络和每一个所述分割网络架构同时进行图像实例分割正向推理，并在每次正向推理后使用所述已训练的教师网络的损失函数对每一个所述分割网络架构的损失函数进行指导并修正，以及根据模拟退火算法从多个所述分割网络架构中挑选若干个分割网络架构进行全量训练并从所述若干个分割网络架构中确定最优的分割网络架构；利用所述最优的分割网络架构对待分割的图像进行图像实例分割。络架构对待分割的图像进行图像实例分割。络架构对待分割的图像进行图像实例分割。

【技术实现步骤摘要】
一种图像实例分割方法、系统、设备以及存储介质


[0001]本专利技术涉及图像处理领域，具体涉及一种图像实例分割方法、系统、设备以及存储介质。

技术介绍

[0002]图像语义分割技术已经成为计算机视觉领域的重要研究方向，广泛应用于移动机器人、自动驾驶、无人机、医学诊断等实际应用场景。目前图像分割技术，主要分为两个研究方向：语义分割和实例分割。语义分割指的是对图像中的每个像素都划分出对应的类别，即实现像素级分类，故也称密集分类；实例分割是在语义分割的基础上区分出同一类别的不同实例。
[0003]目前专家设计的图像分割神经网络模型，已经具有较高的精度水平，例如Mask RCNN、DeepLab、U
‑
net系列算法等神经网络。其中DeepLab系列是语义分割领域影响较大的一个分支，DeepLabV3+属于此系列目前较优秀的变种之一。因此，研究人员开始探索通过神经网络结构搜索（Neural Architecture Search, NAS）实现自动设计神经网络。目前相关研究人员主要聚焦神经网络架构搜索算法，自动建立神经网络，快速应用于实践。现有的神经网络架构算法采用强化学习和进化算法的搜索方法进行架构搜索，通过性能评估方法对采样得到的网络架构进行评估，再通过优化评估指标获取最佳模型结构。前者主要通过神经网络架构搜索（Neural Architecture Search）框架与环境交互的过程中获得最大的奖励实现，主要代表算法有NASNet、MetaQNN、BlockQNN等；后者主要是通用进化算法模拟生物遗传和进化的规律，实现NAS过程，主要代表算法有NEAT、DeepNEAT、CoDeepNEAT等。
[0004]神经网络架构搜索可以针对特定任务去自动设计定制的神经网络，具有深远的影响意义，但是对于图像分割这种需要致密的逐像素点类别划分的任务，在实际应用中存在着计算资源和时间受限的约束。即现有的图像实例分割方法使用的传统神经网络模型存在参数量较大的问题，导致在边缘设备中无法直接使用，例如在自动驾驶场景，目前车端芯片无法承载现有的高精度神经网络，直接使用参数量较小的神经网络又会导致对密集图像的识别不准、不同类别边缘部分界定困难等问题。

技术实现思路

[0005]有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种图像实例分割方法，包括以下步骤：获取已训练的教师网络和控制器网络；利用所述控制器网络搜索多个解码器结构并利用每一个解码器结构和固定的编码器构成多个分割网络架构；利用所述已训练的教师网络和每一个所述分割网络架构同时进行图像实例分割正向推理，并在每次正向推理后使用所述已训练的教师网络的损失函数对每一个所述分割网络架构的损失函数进行指导并修正，以及根据模拟退火算法从多个所述分割网络架构中
挑选若干个分割网络架构进行全量训练并从所述若干个分割网络架构中确定最优的分割网络架构；利用所述最优的分割网络架构对待分割的图像进行图像实例分割。
[0006]在一些实施例中，获取已训练的教师网络，进一步包括：利用骨干网络以及ASPP模块构建教师网络的编码器，其中，所述ASPP模块包括四种不同膨胀率的空洞卷积块和一个全局平均池化块；利用上采样模块、1
×
1卷积块、3
×
3卷积块构建教师网络的解码器，其中，所述教师网络的解码器将所述骨干网络中间层输出的低级特征图和所述ASPP模块的输出作为输入。
[0007]在一些实施例中，还包括：构建第一训练集；利用骨干网络以及ASPP模块对训练集中的图像进行处理；利用所述解码器对所述骨干网络中间层输出的低级特征图和所述ASPP模块的输出进行处理以得到图像实例分割结果；根据所述图像实例分割结果调整所述教师网络的编码器和解码器的参数以对所述教师网络进行训练。
[0008]在一些实施例中，还包括：对所述第一训练集中的数据进行数据增强。
[0009]在一些实施例中，利用骨干网络以及ASPP模块对训练集中的图像进行处理，进一步包括：利用所述骨干网络提取训练集中图像的多层语义特征并利用所述ASPP模块对所述多层语义特征以不同采样率的空洞卷积并行采样以得到五组特征图，并将所述五组特征图拼接后输入到所述教师网络的解码器。
[0010]在一些实施例中，利用所述解码器对所述骨干网络中间层输出的低级特征图和所述ASPP模块的输出进行处理以得到图像分割结果，进一步包括：利用所述上采样模块对来自所述ASPP模块的特征图进行插值上采样并利用所述1
×
1卷积块对来自所述骨干网络中间层输出的低级特征图进行通道降维；将通道降维的低级特征图和线性插值上采样得到的特征图拼接，并送入所述3
×
3卷积块进行处理，并再次利用所述上采样模块进行线性插值上采样以得到所述图像实例分割结果。
[0011]在一些实施例中，利用所述1
×
1卷积块对来自所述骨干网络中间层输出的低级特征图进行通道降维，进一步包括：将所述骨干网络中间层输出的低级特征图的通道降到48。
[0012]在一些实施例中，所述控制器网络包括100个隐藏单元的两层递归LSTM神经网络，且所有隐藏单元从均匀分布中随机初始化。
[0013]在一些实施例中，利用所述控制器网络搜索多个解码器结构并利用每一个解码器结构和固定的编码器构成多个分割网络架构，进一步包括：获取预设的第一解码器块、第二解码器块、第三解码器块以及第四解码器块；利用所述控制器网络在预设的搜索空间中搜索第五解码器块和第六解码器块的
内部结构，以及第一解码器块、第二解码器块、第三解码器块、第四解码器块、第五解码器块和第六解码器块之间的连接方式。
[0014]在一些实施例中，所述搜索空间包括1
×
1卷积，3
×
3卷积，3
×
3可分离卷积，5
×
5可分离卷积，全局平均池化、上采样、1
×
1卷积模块，扩张率为3的3
×
3 卷积，扩张率为12的3
×
3卷积，扩张率为3的可分离3
×
3卷积，扩张率为6的可分离5
×
5卷积，跳跃连接，有效地使路径无效的零操作。
[0015]在一些实施例中，利用所述已训练的教师网络和每一个所述分割网络架构同时进行图像实例分割正向推理，并在每次正向推理后，使用所述已训练的教师网络的损失函数对每一个所述分割网络架构的损失函数进行指导并修正，进一步包括利用如下公式对每一个所述分割网络架构的损失函数进行指导并修正：其中，其中，L
KD
表示知识蒸馏网络总体损失，L
Student
表示分割网络架构的损失，L
Teacher
表示教师网络损失，coff表示一个在具体的网络训练过程中可调节的参数。
[0016]在一些实施例中，所述coff取值为0.3。
[0017]在一些实施例中，还包括：利用公式计算所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像实例分割方法，其特征在于，包括以下步骤：获取已训练的教师网络和控制器网络；利用所述控制器网络搜索多个解码器结构并利用每一个解码器结构和固定的编码器构成多个分割网络架构；利用所述已训练的教师网络和每一个所述分割网络架构同时进行图像实例分割正向推理，并在每次正向推理后使用所述已训练的教师网络的损失函数对每一个所述分割网络架构的损失函数进行指导并修正，以及根据模拟退火算法从多个所述分割网络架构中挑选若干个分割网络架构进行全量训练并从所述若干个分割网络架构中确定最优的分割网络架构；利用所述最优的分割网络架构对待分割的图像进行图像实例分割。2.如权利要求1所述的方法，其特征在于，获取已训练的教师网络，进一步包括：利用骨干网络以及ASPP模块构建教师网络的编码器，其中，所述ASPP模块包括四种不同膨胀率的空洞卷积块和一个全局平均池化块；利用上采样模块、1
×
1卷积块、3
×
3卷积块构建教师网络的解码器，其中，所述教师网络的解码器将所述骨干网络中间层输出的低级特征图和所述ASPP模块的输出作为输入。3.如权利要求2所述的方法，其特征在于，还包括：构建第一训练集；利用骨干网络以及ASPP模块对训练集中的图像进行处理；利用所述解码器对所述骨干网络中间层输出的低级特征图和所述ASPP模块的输出进行处理以得到图像实例分割结果；根据所述图像实例分割结果调整所述教师网络的编码器和解码器的参数以对所述教师网络进行训练。4.如权利要求3所述的方法，其特征在于，还包括：对所述第一训练集中的数据进行数据增强。5.如权利要求3所述的方法，其特征在于，利用骨干网络以及ASPP模块对训练集中的图像进行处理，进一步包括：利用所述骨干网络提取训练集中图像的多层语义特征并利用所述ASPP模块对所述多层语义特征以不同采样率的空洞卷积并行采样以得到五组特征图，并将所述五组特征图拼接后输入到所述教师网络的解码器。6.如权利要求3所述的方法，其特征在于，利用所述解码器对所述骨干网络中间层输出的低级特征图和所述ASPP模块的输出进行处理以得到图像分割结果，进一步包括：利用所述上采样模块对来自所述ASPP模块的特征图进行插值上采样并利用所述1
×
1卷积块对来自所述骨干网络中间层输出的低级特征图进行通道降维；将通道降维的低级特征图和线性插值上采样得到的特征图拼接，并送入所述3
×
3卷积块进行处理，并再次利用所述上采样模块进行线性插值上采样以得到所述图像实例分割结果。7.如权利要求6所述的方法，其特征在于，利用所述1
×
1卷积块对来自所述骨干网络中间层输出的低级特征图进行通道降维，进一步包括：将所述骨干网络中间层输出的低级特征图的通道降到48。
8.如权利要求1所述的方法，其特征在于，所述控制器网络包括100个隐藏单元的两层递归LSTM神经网络，且所有隐藏单元从均匀分布中随机初始化。9.如权利要求1所述的方法，其特征在于，利用所述控制器网络搜索多个解码器结构并利用每一个解码器结构和固定的编码器构成多个分割网络架构，进一步包括：获取预设的第一解码器块、第二解码器块、第三解码器块以及第四解码器块；利用所述控制器网络在预设的搜索空间中搜索第五解码器块和第六解码器块的内部结构，以及第一解码器块、第二解码器块、第三解码器块、第四解码器块、第五解码器块和第六解码器块之间的连接方式。10.如权利要求9所述的方法，其特征在于，所述搜索空间包括1
×
1卷积，3
×
3卷积，3
×
3可分离卷积，5
×
5可分离卷积，全局平均池化、上采样、1
×
1卷积模块，扩张率为3的3
×
3 卷积，扩张率为12的3
×
3卷积，扩张率为3的可分离3
×

【专利技术属性】
技术研发人员：周镇镇，张潇澜，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：