基于轮廓的图像实例分割方法及系统技术方案

本发明专利技术涉及一种基于轮廓的图像实例分割方法及系统，方法包括将目标图像输入至轻量级特征提取网络中，得到图像中目标实例的下采样特征图、中心点和轮廓顶点相对中心点的偏移量；根据中心点和轮廓顶点相对中心点的偏移量，计算得到初始轮廓；对目标实例的下采样特征图和初始轮廓进行全局特征融合，得到粗糙轮廓；对粗糙轮廓进行第一次轮廓变形，得到初步的实例轮廓，并将初步的实例轮廓进行第二次轮廓变形，得到最终的实例轮廓。本发明专利技术其摒弃了传统手工设计初始轮廓的方法，而基于网络学习更接近真值的初始轮廓，在保持算法分割精度的同时，具有较小的参数量和计算量，且具有较快的推理速度，能够应用于使用边缘平台进行现实场景中的实例分割任务。场景中的实例分割任务。场景中的实例分割任务。

【技术实现步骤摘要】
基于轮廓的图像实例分割方法及系统


[0001]本专利技术涉及计算机视觉
，尤其是指一种基于轮廓的图像实例分割方法及系统。

技术介绍

[0002]当前先进的实例分割算法基于深度学习技术，通常使用卷积神经网络(Convolutional neural network,CNN)来提取特征，这些模型具有很多层，参数数量巨大，需要大量的计算资源来训练和推理，也需要大量的内存来存储中间参数，因此需要大量的计算和存储资源。例如，Mask R
‑
CNN模型具有1700万个参数，需要数百兆甚至数千兆的计算量来处理一张高清图片，需要大量的GPU加速。这样的算法无法在边缘设备上直接运行，需要进行优化。但是，边缘设备受限于计算资源、能耗限制等问题，将实例分割模型部署在边缘平台上面临以下挑战：第一、计算量问题：大部分深度学习模型会消耗大量的计算资源，例如GPU、TPU等，而边缘设备通常只能使用低功耗CPU、FPGA等硬件，因此需要设计轻量级的模型结构，减少计算量。第二、内存占用问题：深度学习模型需要大量的内存存储权重和中间计算结果，在边缘设备中内存大小有限，需要采用压缩算法，减少内存占用。第三、推理速度问题：为了能够在现实场景中资源受限的边缘平台也满足实时性需求，需要尽可能地减小模型的推断时间。
[0003]针对上述挑战，面向边缘智能的实例分割算法优化研究具有十分重要的意义。一方面，对算法进行优化，通过使用包括轻量化模型、量化、剪枝、混合精度等手段，减小模型的计算量和内存占用，以达到提高实时性的目的。另一方面，将实例分割算法部署在边缘平台上，可以使得设备在本地快速响应用户需求，避免了数据传输和处理的时间延迟，从而改善了用户体验。除此之外，基于边缘智能的实例分割算法优化研究也有助于推动人工智能与物联网的结合，边缘计算与人工智能的结合是未来智能化社会的趋势，优化实例分割算法可以为自动驾驶、智慧医疗、工业机器人等实际场景提供技术支持。
[0004]目前主流的实例分割算法表示实例的标注形式主要分为网格和轮廓，网格掩码是一种基于像素的二进制掩码，每个像素被标记为前景或背景。而轮廓表示是实例边界的一组连续的像素坐标点的集合。网格掩码可以更好地描述物体的几何结构和内部信息，但是可能需要更多的计算资源；轮廓表示相对轻量级，但是不能反映物体的内部细节。在一些场景下，比如自然图像中的树木、草丛等，轮廓表示更适合捕捉物体的外部形状和纹理信息。目前多采用Deep snake算法进行实时实例分割，该算法是将初始轮廓逐渐优化为目标的边界来进行目标分割，即将物体轮廓作为输入，基于CNN主干特征预测每个顶点的偏移量。Deep Snake算法虽然能够提升实例分割性能，但手工设计的八边形初始轮廓并不能很好地包围实例，也未能充分利用初始目标检测与定位的信息，在轮廓迭代过程中特征点变化路径复杂多变，导致实例分割的性能降低。同时手工设计初始轮廓耗时较多，导致模型推理速度降低。另外，现有的Deep Snake虽然能够在高性能GPU上实现实时的推理速度，但是在自动驾驶、安防监控等实际应用场景中，往往只能使用性能受限的嵌入式GPU等设备，此时，
Deep Snake算法仅能达到5FPS，其远达不到实时的要求。因此，迫切需要提出一种基于轮廓的图像实例分割方法以克服现有技术存在的上述缺陷。

技术实现思路

[0005]为此，本专利技术所要解决的技术问题在于克服现有技术中存在的技术缺陷，而提出一种基于轮廓的图像实例分割方法及系统，其摒弃了传统手工设计初始轮廓的方法，而基于网络学习更接近真值的初始轮廓，在保持算法分割精度的同时，具有较小的参数量和计算量，且具有较快的推理速度，能够应用于使用边缘平台进行现实场景中的实例分割任务。
[0006]为解决上述技术问题，本专利技术提供了一种基于轮廓的图像实例分割方法，包括：
[0007]将目标图像输入至轻量级特征提取网络中，得到图像中目标实例的下采样特征图、中心点和轮廓顶点相对中心点的偏移量；
[0008]根据所述目标实例的中心点和轮廓顶点相对中心点的偏移量，计算得到目标实例的初始轮廓；
[0009]对所述目标实例的下采样特征图和初始轮廓进行全局特征融合，得到所述目标实例的粗糙轮廓；
[0010]对所述目标实例的粗糙轮廓进行第一次轮廓变形，得到初步的实例轮廓，并将初步的实例轮廓进行第二次轮廓变形，得到最终的实例轮廓。
[0011]在本专利技术的一个实施例中，所述轻量级特征提取网络包括特征提取主干网络、特征融合模块和检测头模块，输入的目标图像经过所述特征提取主干网络和特征融合模块，输出目标实例的下采样特征图，使用所述检测头模块回归得到目标实例的中心点和轮廓顶点相对中心点的偏移量。
[0012]在本专利技术的一个实施例中，所述特征提取主干网络为ShuffleNetV2，所述ShuffleNetV2中3
×
3的深度可分离卷积使用5
×
5的深度可分离卷积代替。
[0013]在本专利技术的一个实施例中，根据所述目标实例的中心点和轮廓顶点相对中心点的偏移量，计算得到目标实例的初始轮廓的方法，包括：
[0014]每个初始轮廓顶点相对于中心点的偏移量作为有序点集回归得到，表示为：
[0015][0016]其中，表示第i个初始轮廓顶点在水平方向的偏移量，表示第i个初始轮廓顶点在竖直方向的偏移量，N表示初始轮廓的顶点数；
[0017]初始轮廓顶点坐标由中心点坐标和偏移量相加得到，表示为：
[0018][0019]其中，表示第i个初始轮廓顶点的横坐标，表示第i个初始轮廓顶点的纵坐标。
[0020]在本专利技术的一个实施例中，对所述目标实例的下采样特征图和初始轮廓进行全局特征融合的方法，包括：
[0021]将初始轮廓的顶点特征连接成一长度为N
×
C的向量，其中N是初始轮廓的顶点数，C是顶点特征的通道数；
[0022]基于所述向量预测轮廓顶点的偏移量，轮廓顶点的偏移量是长度为N
×
2的向量，表示为：
[0023][0024]其中，表示第i个粗糙轮廓顶点在水平方向的偏移量，表示第i个粗糙轮廓顶点在竖直方向的偏移量，N表示粗糙轮廓的顶点数；
[0025]将偏移量和初始轮廓坐标相加得到目标实例的粗糙轮廓，表示为：
[0026][0027]其中，表示第i个粗糙轮廓顶点的横坐标，表示第i个粗糙轮廓顶点的纵坐标。
[0028]本专利技术的一个实施例中，对所述目标实例的粗糙轮廓进行第一次轮廓变形和第二次轮廓变形的方法相同。
[0029]在本专利技术的一个实施例中，对所述目标实例的粗糙轮廓进行第一次轮廓变形的方法，包括：
[0030]对所述目标实例的粗糙轮廓进行多尺度的特征提取，得到每层的各个尺度上的轮廓顶点特征；
[0031]将每层的各个尺度上的轮廓顶点特征依次进行连接，融合多尺度的轮廓特征；
[0032]对融合后的轮廓特征进行处理，生成轮廓顶点的偏移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轮廓的图像实例分割方法，其特征在于：包括：将目标图像输入至轻量级特征提取网络中，得到图像中目标实例的下采样特征图、中心点和轮廓顶点相对中心点的偏移量；根据所述目标实例的中心点和轮廓顶点相对中心点的偏移量，计算得到目标实例的初始轮廓；对所述目标实例的下采样特征图和初始轮廓进行全局特征融合，得到所述目标实例的粗糙轮廓；对所述目标实例的粗糙轮廓进行第一次轮廓变形，得到初步的实例轮廓，并将初步的实例轮廓进行第二次轮廓变形，得到最终的实例轮廓。2.根据权利要求1所述的一种基于轮廓的图像实例分割方法，其特征在于：所述轻量级特征提取网络包括特征提取主干网络、特征融合模块和检测头模块，输入的目标图像经过所述特征提取主干网络和特征融合模块，输出目标实例的下采样特征图，使用所述检测头模块回归得到目标实例的中心点和轮廓顶点相对中心点的偏移量。3.根据权利要求2所述的一种基于轮廓的图像实例分割方法，其特征在于：所述特征提取主干网络为ShuffleNetV2，所述ShuffleNetV2中3
×
3的深度可分离卷积使用5
×
5的深度可分离卷积代替。4.根据权利要求1或2所述的一种基于轮廓的图像实例分割方法，其特征在于：根据所述目标实例的中心点和轮廓顶点相对中心点的偏移量，计算得到目标实例的初始轮廓的方法，包括：每个初始轮廓顶点相对于中心点的偏移量作为有序点集回归得到，表示为：其中，表示第i个初始轮廓顶点在水平方向的偏移量，表示第i个初始轮廓顶点在竖直方向的偏移量，N表示初始轮廓的顶点数；初始轮廓顶点坐标由中心点坐标和偏移量相加得到，表示为：其中，表示第i个初始轮廓顶点的横坐标，表示第i个初始轮廓顶点的纵坐标。5.根据权利要求4所述的一种基于轮廓的图像实例分割方法，其特征在于：对所述目标实例的下采样特征图和初始轮廓进行全局特征融合的方法，包括：将初始轮廓的顶点特征连接成一长度为N
×
C的向量，其中N是初始轮廓的顶点数，C是顶点特征的通...

【专利技术属性】
技术研发人员：刘登峰，葛锐，孙雪，付玄辉，柴志雷，吴秦，陈璟，王宁，周浩杰，
申请(专利权)人：江南大学，
类型：发明
国别省市：