【技术实现步骤摘要】
本专利技术涉及实例分割，特别是涉及基于几何约束动态卷积的实例分割方法及系统。
技术介绍
1、本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
2、实例分割(instance segmentation)在计算机视觉领域已逐渐成为一个重要的研究方向，它旨在从图像中识别并区分单个物体实例，并为每个实例精确地划分轮廓。这一任务桥接了目标检测(object detection)与语义分割(semantic segmentation)，因为它不仅需要识别图像中的物体类别，还需要区分同类别中的不同实例。相比于传统的目标检测和语义分割方法，实例分割方法可以提供更详细和丰富的场景解析，能够广泛应用于机器人、增强现实以及医疗图像分析等领域。
3、进入深度学习时代以来，最先进的实例分割方法都是利用深度神经网络实现的。其中，卷积神经网络(convolutional neural network，cnn)又是最主流的选择。最经典的实例分割方法是he等人在2017年提出的mask r-cnn，后续的很多方法都是基于mask r-cnn的主体架构。这类模型通常是先通过边界框定位显著实例，然后从完整的特征图中裁剪出感兴趣区域(region ofinterest，roi)。它将整体任务分解为两个子任务：检测和分割，这种划分直观，并且可以通过扩展现有的目标检测器迅速实现良好的性能。然而，它也存在一些缺点：
4、(1)rois通常是矩形的且与轴对齐。当实例形状不规则或斜对角出现时，roi可能包含太多的背景
5、(2)使用roialign时，不同空间大小的roi被调整为统一大小(例如，14×14)。这种策略可能损害分割的质量，尤其是对于具有复杂边界的大实例。
6、(3)分割的结果在很大程度上取决于前面的检测阶段。即使分割头很优秀，如果roi不完整，它也会表现不佳，因为它只能获取roi内的特征。
7、专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和不足：
8、基于mask r-cnn主体架构的实例分割方法，缺点有以下三个：
9、(1)roi通常是矩形且与坐标轴对齐的，使得形状不规则或斜向出现的实例在其roi中占比较小，使分割更困难。
10、(2)不同空间大小的rois被调整为统一大小，无法适应不同尺寸的实例。
11、(3)分割的结果在很大程度上取决于前面的检测阶段，较低的检测质量会极大的限制分割质量。
12、现有技术有使用了动态卷积，从而避免了上述和roi相关问题的方法，又存在以下不足：
13、(1)动态卷积核的生成仅依赖单个点的特征，能捕捉到的特征较为片面，影响了全面准确的分割；
14、(2)动态卷积核仅仅包含了对特征的表示，不附加几何约束信息，难以对准确的分割提供帮助。
技术实现思路
1、为了解决现有技术的不足，本专利技术提供了基于几何约束动态卷积的实例分割方法及系统；
2、一方面，提供了基于几何约束动态卷积的实例分割方法；
3、基于几何约束动态卷积的实例分割方法，包括：
4、获取待分割图像；
5、将待分割图像，输入到训练后的几何约束动态卷积网络中，得到待分割图像中图像实例对应的分割掩码和类别置信度；
6、基于所述待分割图像中图像实例对应的分割掩码和类别置信度，确定所述待分割图像对应的图像实例分割结果；
7、其中，训练后的几何约束动态卷积网络，用于：对所述待分割图像进行多层级特征提取，得到多层级特征；将多层级特征，进行实例感知，得到所有预测实例的中心、相应的类别置信度和边界框；基于边界框，进行非最大值抑制(non-maximum suppression，nms)，得到保留的实例中心；将多层级特征，进行底部特征提取，得到底部特征；基于多层级特征和保留的实例中心，进行中心特征提取，生成用于外围点定位的动态卷积核；基于用于外围点定位的动态卷积核对底部特征进行动态卷积操作，进行外围点图预测，生成外围点图；基于多层级特征、保留的实例中心和外围点图，进行特征提取和差异化特征融合，生成用于分割的动态卷积核；基于用于分割的动态卷积核对底部特征进行动态卷积操作，得到分割掩码。
8、另一方面，提供了基于几何约束动态卷积的实例分割系统；
9、基于几何约束动态卷积的实例分割系统，包括：
10、获取模块，其被配置为：获取待分割图像；
11、预测模块，其被配置为：将待分割图像，输入到训练后的几何约束动态卷积网络中，得到待分割图像中图像实例对应的分割掩码和类别置信度；
12、结果输出模块，其被配置为：基于所述待分割图像中图像实例对应的分割掩码和类别置信度，确定所述待分割图像对应的图像实例分割结果；
13、其中，训练后的几何约束动态卷积网络，用于：对所述待分割图像进行多层级特征提取，得到多层级特征；将多层级特征，进行实例感知，得到所有预测实例的中心、相应的类别置信度和边界框；基于边界框，进行非最大值抑制(non-maximum suppression，nms)，得到保留的实例中心；将多层级特征，进行底部特征提取，得到底部特征；基于多层级特征和保留的实例中心，进行特征提取，生成用于外围点定位的动态卷积核；基于用于外围点定位的动态卷积核对底部特征进行动态卷积操作，进行外围点图预测，生成外围点图；基于多层级特征、保留的实例中心和外围点图，进行特征提取和差异化特征融合，生成用于分割的动态卷积核；基于用于分割的动态卷积核对底部特征进行动态卷积操作，得到分割掩码。
14、再一方面，还提供了一种电子设备，包括：
15、存储器，用于非暂时性存储计算机可读指令；以及
16、处理器，用于运行所述计算机可读指令，
17、其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
18、再一方面，还提供了一种存储介质，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
19、再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。上述技术方案具有如下优点或有益效果：
20、(1)本专利技术提出了几何约束的动态卷积网络(gcdcnet)用来解决实例分割任务。它不涉及感兴趣区域(region ofinterests，roi)的使用，而是采用关键点引导的动态卷积(keypoints-guided dynamic convolution，kgdc)机制直接从完整特征中生成掩膜(mask)。实验证明，gcdcnet相对于现有的方法更佳。
21、(2)考虑到几何空间的约束，本专利技术基于中心引入了外围点来共同生成动态卷积核。通过这种方本文档来自技高网...
【技术保护点】
1.基于几何约束动态卷积的实例分割方法，其特征是，包括：
2.如权利要求1所述的基于几何约束动态卷积的实例分割方法，其特征是，对所述待分割图像进行多层级特征提取，得到多层级特征，具体包括：
3.如权利要求1所述的基于几何约束动态卷积的实例分割方法，其特征是，将多层级特征，进行实例感知，得到所有预测实例的中心、相应的类别置信度和边界框，具体包括：
4.如权利要求3所述的基于几何约束动态卷积的实例分割方法，其特征是，实例感知头网络，其内部包括：
5.如权利要求1所述的基于几何约束动态卷积的实例分割方法，其特征是，基于多层级特征和每个保留的实例中心，进行中心特征提取，生成用于外围点定位的动态卷积核；具体流程为：
6.如权利要求1所述的基于几何约束动态卷积的实例分割方法，其特征是，基于用于外围点定位的动态卷积核对底部特征进行动态卷积操作，进行外围点图预测，生成外围点图，具体包括：
7.如权利要求1所述的基于几何约束动态卷积的实例分割方法，其特征是，基于多层级特征、保留的实例中心和外围点图，进行特征提取和差异化特征融合
8.基于几何约束动态卷积的实例分割系统，其特征是，包括：
9.一种电子设备，其特征是，包括：
10.一种存储介质，其特征是，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
...【技术特征摘要】
1.基于几何约束动态卷积的实例分割方法，其特征是，包括：
2.如权利要求1所述的基于几何约束动态卷积的实例分割方法，其特征是，对所述待分割图像进行多层级特征提取，得到多层级特征，具体包括：
3.如权利要求1所述的基于几何约束动态卷积的实例分割方法，其特征是，将多层级特征，进行实例感知，得到所有预测实例的中心、相应的类别置信度和边界框，具体包括：
4.如权利要求3所述的基于几何约束动态卷积的实例分割方法，其特征是，实例感知头网络，其内部包括：
5.如权利要求1所述的基于几何约束动态卷积的实例分割方法，其特征是，基于多层级特征和每个保留的实例中心，进行中心特征提取，生成用于外围点定位的动态卷积核；具体流...
【专利技术属性】
技术研发人员：丛润民，陈锦芃，张伟，孙豪言，宋然，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。