基于自下而上路径增强的细胞实例分割方法技术

一种基于自下而上路径增强的细胞实例分割方法，由数据预处理、构建实例分割网络、训练实例分割网络、保存模型、验证实例分割网络、测试实例分割网络步骤组成。采用构建实例分割网络步骤中的主干网分支来提取图片中的特征，预测头分支生成实例的定位、分类、掩码系数信息，原型掩码分支生成原型掩码，通过线性结合掩码系数与原型掩码，对图片中的细胞进行实例分割。本发明专利技术与现有的Yolact方法相比，通过改进构建实例分割网络中的特征融合部分，充分利用了图片中信息，提高了物体的定位、分类的准确率，可用于细胞的定位、分类与实例分割。

【技术实现步骤摘要】
基于自下而上路径增强的细胞实例分割方法
本专利技术属于计算机视觉
，具体地涉及到图片中的细胞分类、定位与实例分割。
技术介绍
实例分割是目标检测和语义分割的结合，在图像中将目标检测出来，然后对每个像素打上标签；随着互联网的发展和个人智能移动设备的大量增加，人们正产生、存储和使用大量的图片；实例分割技术在计算机视觉中是基础而又具有挑战性的。由于其广泛的应用场景和研究价值，该技术在学术界和工业界均引起了越来越多的关注。目前主流的物体实例分割方法可以分成两大类别：基于ROI的自上而下的方法(如MaskR-CNN)和基于逐像素聚类、自下而上的方法，这些方法存在的主要问题是多阶段、多超参数、分割结果不够精细等问题。在细胞实例分割
，当前需解决的一个技术问题是提供一种方法简单、定位速度快、定位精度高的细胞实例分割方法。
技术实现思路
本专利技术所要解决的技术问题在于克服上述现有技术的缺点，提供一种方法简单、定位速度快、定位精度高的基于自下而上路径增强的细胞实例分割方法。解决上述技术问题所采用的技术方案是由下述步骤组成：(1)数据预处理从PanNuke数据集中取原始图片分为验证集、测试集、训练集，验证集与测试集、训练集的数量比为1：1：4，训练集、验证集、测试集中的图片大小为550×550像素，将训练集、验证集、测试集图片中的每个细胞提取出来生成新的包含单个细胞的掩码图片，掩码图片的大小为550×550像素，用pycocotools工具将训练集、验证集、测试集中的图片和对应数据集的掩码图片转化为标签文件。(2)构建实例分割网络实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：1)构建主干网分支a特征金字塔网络提取特征图将训练集中的每张图片输入到特征金字塔网络的基础特征提取网络(1-1)中提取特征图，得到基础特征图集合{C1，C2，C3，C4，C5}。b融合特征图将基础特征图集合{C1，C2，C3，C4，C5}输入到特征金字塔网络(1-2)中，进行特征融合，得到融合特征图集合{P3，P4，P5，P6，P7}，用最近邻上采样法进行上采样，得到256通道的特征图集合，在特征金字塔网络输出的特征图上依次连接5个卷积核大小为3×3、步长为2的卷积层，构成路径增强网络(1-3)，由下式得到路径增强网络特征图集合{N3，N4，N5，N6，N7}，构建成主干网分支(1)。式中R为rule激活函数，C3为卷积核大小为3×3、步长为2的卷积层，U为矩阵相加，i∈{3，4，5，6，7}。2)构建预测头分支预测头分支包括定位分支、分类分支、掩码系数分支。a构建定位分支将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经2次卷积核大小为3×3、步长为1的卷积操作，得到(A×S，Lj，Lj)的特征图，将(A×S，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×S)的特征图，再将(Lj，Lj，A×S)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，S)的预测结果，其中A为每个像素点设置的3个锚，S为锚的中心点和左上角点的坐标；将得到的(Lj×Lj×A，S)预测结果的第一维进行列拼接操作，得到(C，S)的定位结果，其中C由下式确定：式中Lj∈{69,35,18,9,5}，j∈{1,2,3,4,5}，构建成定位分支(2-3)。b构建分类分支将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×D，Lj，Lj)的特征图，将(A×D，Lj，Lj)特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×D)的特征图，再将(Lj，Lj，A×D)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，D)的预测结果，其中D表示训练集中离体的细胞类别数，将得到的(Lj×Lj×A，D)预测结果的第一维进行列拼接操作，得到(C，D)的分类结果，构建成分类分支(2-4)。c构建掩码系数分支将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×K，Lj，Lj)的特征图，将(A×K，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj,A×K)的特征图，再将(Lj，Lj，A×K)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，K)的预测结果，其中K是生成掩码系数的个数，K为32或64；将得到的(Lj×Lj×A，K)预测结果的第一维进行列拼接操作，得到(C，K)的掩码系数，构建成掩码系数分支(2-5)。3)构建原型掩码分支将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的N3输入卷积层(3-1)、卷积层3-2)，经卷积核大小为3×3、步长为1的卷积操作，用最近邻上采样法将卷积后的N3上采样到原始图片尺寸的1/4，经2次重复的卷积层(3-3)、(3-4)，得到(32,138,138)的特征图，将(32,138,138)的特征图的第一维与第三维进行位置交换，得到(138，138，32)的原型掩码P，构建成原型掩码分支(3)；(3)训练实例分割网络(a)确定损失函数损失函数Loss包括类别损失、预测框回归损失、掩码损失，损失函数loss由下式确定：Loss＝αLcls+βLbox+θLmask式中α、β、θ为三个损失的不同权重，分别为1、1.5、6.125。(b)训练实例分割网络将训练集、对应的标签文件、ImageNet网络上的预训练模型输入到实例分割网络中进行训练，在训练过程中，设定实例分割网络的学习率γ为0.0001，优化器设定为自适应矩估计优化器，迭代M次，每次迭代使用图片的数量为B，M和B为有限正整数，训练至实例分割网络的损失函数Loss收敛。(4)保存权重文件每迭代F次保存1次权重文件，其中F≤M，得到保存权重文件。(5)验证实例分割网络将验证集和对应的标签文件输入到实例分割网络中进行验证，网络每F次进行一次本文档来自技高网...

【技术保护点】
1.一种基于自下而上路径增强的细胞实例分割方法，其特征在于由下述步骤组成；/n(1)数据预处理/n从PanNuke数据集中取原始图片分为验证集、测试集、训练集，验证集与测试集、训练集的数量比为1：1：4，训练集、验证集、测试集中的图片大小为550×550像素，将训练集、验证集、测试集图片中的每个细胞提取出来生成新的包含单个细胞的掩码图片，掩码图片的大小为550×550像素，用pycocotools工具将训练集、验证集、测试集中的图片和对应数据集的掩码图片转化为标签文件；/n(2)构建实例分割网络/n实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：/n1)构建主干网分支/na特征金字塔网络提取特征图/n将训练集中的每张图片输入到特征金字塔网络的基础特征提取网络(1-1)中提取特征图，得到基础特征图集合{C1，C2，C3，C4，C5}；/nb融合特征图/n将基础特征图集合{C1，C2，C3，C4，C5}输入到特征金字塔网络(1-2)中，进行特征融合，得到融合特征图集合{P...

【技术特征摘要】
1.一种基于自下而上路径增强的细胞实例分割方法，其特征在于由下述步骤组成；
(1)数据预处理
从PanNuke数据集中取原始图片分为验证集、测试集、训练集，验证集与测试集、训练集的数量比为1：1：4，训练集、验证集、测试集中的图片大小为550×550像素，将训练集、验证集、测试集图片中的每个细胞提取出来生成新的包含单个细胞的掩码图片，掩码图片的大小为550×550像素，用pycocotools工具将训练集、验证集、测试集中的图片和对应数据集的掩码图片转化为标签文件；
(2)构建实例分割网络
实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：
1)构建主干网分支
a特征金字塔网络提取特征图
将训练集中的每张图片输入到特征金字塔网络的基础特征提取网络(1-1)中提取特征图，得到基础特征图集合{C1，C2，C3，C4，C5}；
b融合特征图
将基础特征图集合{C1，C2，C3，C4，C5}输入到特征金字塔网络(1-2)中，进行特征融合，得到融合特征图集合{P3，P4，P5，P6，P7}，用最近邻上采样法进行上采样，得到256通道的特征图集合，在特征金字塔网络输出的特征图上依次连接5个卷积核大小为3×3、步长为2的卷积层，构成路径增强网络(1-3)，由下式得到路径增强网络特征图集合{N3，N4，N5，N6，N7}，构建成主干网分支(1)；



式中R为rule激活函数，C3为卷积核大小为3×3、步长为2的卷积层，U为矩阵相加，i∈{3，4，5，6，7}；
2)构建预测头分支
预测头分支包括定位分支、分类分支、掩码系数分支；
a构建定位分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经2次卷积核大小为3×3、步长为1的卷积操作，得到(A×S，Lj，Lj)的特征图，将(A×S，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×S)的特征图，再将(Lj，Lj，A×S)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，S)的预测结果，其中A为每个像素点设置的3个锚，S为锚的中心点和左上角点的坐标；将得到的(Lj×Lj×A，S)预测结果的第一维进行列拼接操作，得到(C，S)的定位结果，其中C由下式确定：



式中Lj∈{69,35,18,9,5}，j∈{1,2,3,4,5}，构建成定位分支(2-3)；
b构建分类分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×D，Lj，Lj)的特征图，将(A×D，Lj，Lj)特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×D)的特征图，再将(Lj，Lj，A×D)的特征图第一维、第二维、第...

【专利技术属性】
技术研发人员：陈昱莅，贾宇航，陆铖，马苗，裴炤，李雪，任敬，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西;61