针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法技术

本发明专利技术公开了针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法。本发明专利技术中，用轻量级的2D卷积神经网络(CNNs)进行高效的3D数据分割，充分利用了2D网络的优势，并且解决了高计算成本问题和因切片平面有限输入尺寸额外引入的拼接误差。本方法计算来自两个不同嵌入图的像素嵌入之间的距离，以补充沿轴向的亲和信息。本申请通过避免昂贵的3D卷积，它提供了计算和内存的节省。由于沿着横向方向的输入尺寸增加，它具有更强大的能力来捕获2D切片平面的空间信息。它消除了将大规模EM体积划分为多个3D块并处理的需求，从而避免了由多个块的预测亲和性拼接引入的额外错误，本方法的方法在推理延迟仅为1/20的情况下，实现了优于先前最先进方法的性能。

【技术实现步骤摘要】

本专利技术属于图像处理，具体为针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法。

技术介绍

1、神经元连线图的重建在解锁大脑秘密和启发下一代人工智能的神经科学研究中起着重要作用。近年来，3d电子显微镜(em)已成为获得纳米尺度分辨率图像的关键技术，用于追踪细微的神经过程和突触。然而，从em体积中实例分割神经元仍然具有挑战性，原因包括其复杂的形态、模糊的边界和密集的分布。此外，单个神经元可能跨越整个3d体积，远远大于现有模型的视野。因此，直接将现有的实例分割方法应用于自然图像通常会导致诸如合并过度和过度分割的神经元实例的错误。最近，基于3d卷积神经网络(cnns)的高级神经元分割方法通过预测一个3d亲和力图取得了显著进展，这可以通过后处理算法转换为神经元实例。

2、但是尽管3d cnns可以有效地捕获3d空间上下文，并成为领先的神经元分割方法，但高计算和内存需求限制了它们在大规模em数据集上的部署。同时，由于3d网络以3d块作为输入，因此在2d切片平面上的输入尺寸受到限制。在处理大体积数据时，需要使用滑动窗口来获取3d块，并拼接相邻预测，这进一步本文档来自技高网...

【技术保护点】

1.针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法，其特征在于：所述方法包括以下步骤：

2.如权利要求1所述的针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法，其特征在于：所述步骤A中，基于2D卷积算子的Y型网络包含一个编码器和两个解码器，同时从两个相邻的2D切片的输入中提取两个嵌入图；然后，本方法计算来自两个不同嵌入图的像素嵌入之间的距离，以补充沿轴向的亲和信息。

3.如权利要求1所述的针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法，其特征在于：所述步骤B中，跨维度亲和性蒸馏(CAD)策略通过最小化两个网络输出之间的亲和预测差异，将3D教师网络中的切片间依赖...

【技术特征摘要】

1.针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法，其特征在于：所述方法包括以下步骤：

2.如权利要求1所述的针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法，其特征在于：所述步骤a中，基于2d卷积算子的y型网络包含一个编码器和两个解码器，同时从两个相邻的2d切片的输入中提取两个嵌入图；然后，本方法计算来自两个不同嵌入图的像素嵌入之间的距离，以补充沿轴向的亲和信息。

3.如权利要求1所述的针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法，其特征在于：所述步骤b中，跨维度亲和性蒸馏(cad)策略通过最小化两个网络输出之间的亲和预测差异，将3d教师网络中的切片间依赖知识传输给2d学生网络。

4.如权利要求1所述的针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法，其特征在于：所述步骤c中，所述特征嫁接交互(fgi)模块来增强知识蒸馏过程。

5.如权利要求1所述的针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法，其特征在于：所述步骤c中，所述特征嫁接交互(fgi)模块将2d学生网络的嵌入图嫁接到3d教师网络的嵌入图上，并完全计算两个网络嵌入之间的长程切片亲和度；这提供了额外补充的切片上下文信息，以优化来自2d cnn的嵌入。

6.如权利要求1所述的针对三维电镜图像神经元分割的跨维度亲和图蒸馏方法，其特征在于：所述步骤a中，对于3d网络，记作f3d，一个输入体积由z个切片组成，表示为其中每个切片的尺寸为h×w；这个输入体积也可以被视为一个3d输入，记作i3d，尺寸为z×h×w；对应于i3d的标注掩码表示为y3d∈rz×h×w；在传统方法中，本方法直接使用一个3d网络来预测一个3d亲和力图a3d∈r3×z×h×w，即a3d＝f3d(i3d)，它表示在三个维度上的亲和力值，并可以通过后处理算法转换为...

【专利技术属性】
技术研发人员：熊志伟，刘孝雨，蔡苗苗，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：