一种基于多任务深度神经网络的秀丽线虫检测方法技术

本发明专利技术公开一种基于多任务深度神经网络的秀丽线虫检测方法，检测方法包括获取秀丽线虫的原始荧光图片，对原始荧光图片进行荧光点轮廓和荧光亮度人工标注、图像扩充和预处理后建立训练集，利用多任务学习机制的改进YOLACT网络进行学习，经过改进YOLACT网络秀丽线虫荧光点的实例分割结果和荧光亮度结果，根据RGB图像中对秀丽线虫虫体和荧光点的实例分割结果，得到荧光点的二值掩膜及像素坐标信息，根据二值掩膜像素坐标，计算出荧光点的面积。本发明专利技术检测方法通过秀丽线虫荧光点分割、荧光度和尺寸测量的并行学习，输出三个结果，通过多任务学习机制中多种损失函数之间的相互补充作用，能够提高对输出结果的准确率，提升学习效率的同时提高了准确率。效率的同时提高了准确率。效率的同时提高了准确率。

【技术实现步骤摘要】
一种基于多任务深度神经网络的秀丽线虫检测方法


[0001]本专利技术涉及图像处理
，具体是一种基于多任务深度神经网络的秀丽线虫检测方法。

技术介绍

[0002]秀丽线虫是一种很有价值的模式生物，其神经系统简单，通过显微镜可以直观观察到转基因秀丽线虫的神经元(即荧光点)，进而检测神经元的形态学改变，判断神经系统损伤。
[0003]传统的检测方法是人工计算神经元的个数、面积大小和荧光强度，耗时耗力而且存在主观干扰。应用计算机方法解决人工计算效率低、误差大的问题，提高研究结果的准确性为推动线虫更广泛的应用提供了可能。
[0004]YOLACT是当前一种可以实现快速、简便的实例分割的深度卷积神经网络。然而在检测秀丽线虫的神经元形态学改变时，不仅要分割出虫体和荧光点，还需要得到荧光点的面积尺寸信息和荧光强度信息。
[0005]现有的方法通常是人工判断荧光点、计算荧光点个数和尺寸、荧光强度等数据，效率低、误差大，为此提出一种基于多任务深度神经网络的秀丽线虫检测方法。

技术实现思路

[0006]本专利技术的目的在于提供一种基于多任务深度神经网络的秀丽线虫检测方法，通过秀丽线虫荧光点分割、荧光度和尺寸测量的并行学习，经过一次训练同时输出三个结果(实例分割、荧光度和尺寸测量结果)，通过多任务学习机制中多种损失函数之间的相互补充作用，能够提高对输出结果的准确率，提升学习效率的同时提高了准确率。
[0007]本专利技术的目的可以通过以下技术方案实现：
[0008]一种基于多任务深度神经网络的秀丽线虫检测方法，其特征在于，所述检测方法包括以下步骤：
[0009]步骤一：获取秀丽线虫的原始荧光图片。
[0010]步骤二：对原始荧光图片进行荧光点轮廓和荧光亮度人工标注、图像扩充和预处理后建立训练集。
[0011]步骤三：利用多任务学习机制的改进YOLACT网络进行学习。
[0012]步骤四：经过改进YOLACT网络秀丽线虫荧光点的实例分割结果和荧光亮度结果。
[0013]步骤五：根据RGB图像中对秀丽线虫虫体和荧光点的实例分割结果，得到荧光点的二值掩膜及像素坐标信息。
[0014]步骤六：根据二值掩膜像素坐标，计算出荧光点的面积。
[0015]进一步的，所述改进YOLACT网络操作步骤如下：
[0016]S1：输入图像。
[0017]S2：特征提取主干网络，保留原始的主干网络进行初步的特征提取，获得具有丰富
图像特征信息的特征图。
[0018]S3：对特征图处理保留原始处理掩膜系数的全连接层和处理原始掩膜的卷积层，保留原始YOLACT网络中用于输出掩膜结果的掩膜系数和原型掩膜分支，保留掩膜系数损失函数和原型掩膜损失函数，增加全连接层来处理荧光亮度回归。
[0019]S4：根据所产生的荧光亮度回归损失函数和掩膜系数损失函数、原型掩膜损失函数构成联合损失函数。
[0020]进一步的，所述联合损失函数采用加权方式得到，联合损失函数用于梯度反向传播以更新网络参数。
[0021]本专利技术的有益效果：
[0022]1、本专利技术检测方法通过秀丽线虫荧光点分割、荧光度和尺寸测量的并行学习，经过一次训练同时输出三个结果(实例分割、荧光度和尺寸测量结果)；
[0023]2、本专利技术检测方法通过多任务学习机制中多种损失函数之间的相互补充作用，能够提高对输出结果的准确率，提升学习效率的同时提高了准确率。
附图说明
[0024]下面结合附图对本专利技术作进一步的说明。
[0025]图1是本专利技术检测方法流程示意图；
[0026]图2是本专利技术训练集中的秀丽线虫原始荧光图；
[0027]图3是本专利技术原始YOLACT网络的结构示意图；
[0028]图4是本专利技术改进YOLACT网络结构示意图；
[0029]图5是本专利技术检测输出结果图。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0031]一种基于多任务深度神经网络的秀丽线虫检测方法，如图1所示，检测方法包括以下步骤：
[0032]步骤一：获取秀丽线虫的原始荧光图片，如图2所示。
[0033]步骤二：对原始荧光图片进行荧光点轮廓和荧光亮度人工标注、图像扩充和预处理后建立训练集。
[0034]图像扩充的方法包括但不限于采用以下措施：(1)图像水平翻转、旋转变换、随机扣取、尺度变换等常规手段，(2)采用生成对抗网络产出仿真图片以进一步扩充训练集。
[0035]步骤三：利用多任务学习机制的改进YOLACT网络进行学习。
[0036]对原始的YOLACT网络进行基于多任务学习的改造，原始的YOLACT网络的结构示意图，如图3所示；
[0037]如图4所示，改进YOLACT网络操作流程包括以下步骤：
[0038]S1：输入图像。
[0039]S2：特征提取主干网络，保留原始的主干网络进行初步的特征提取，获得具有丰富图像特征信息的特征图。
[0040]S3：对特征图处理保留原始处理掩膜系数的全连接层和处理原始掩膜的卷积层，保留原始YOLACT网络中用于输出掩膜结果的掩膜系数和原型掩膜分支，保留掩膜系数损失函数和原型掩膜损失函数，增加全连接层来处理荧光亮度回归。
[0041]S4：根据所产生的荧光亮度回归损失函数和掩膜系数损失函数、原型掩膜损失函数通过加权方式得到联合损失函数，联合损失函数用于梯度反向传播以更新网络参数。
[0042]步骤四：经过改进YOLACT网络可以直接得到秀丽线虫荧光点的实例分割结果和荧光亮度结果。
[0043]步骤五：根据RGB图像中对秀丽线虫虫体和荧光点的实例分割结果，得到荧光点的二值掩膜及像素坐标信息。
[0044]步骤六：根据二值掩膜像素坐标，利用常见的几何面积计算公式，计算出荧光点的面积，结果图如图5所示。
[0045]在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本专利技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0046]以上显示和描述了本专利技术的基本原理、主要特征和本专利技术的优点。本行业的技术人员应该了解，本专利技术不受上述实施例的限制，上述实施例和说明书中描述的只是说明本专利技术的原理，在不脱离本专利技术精神和范围的前提下，本专利技术还会有各种变化和改进，这些变化和改进都落入要求保护的本专利技术范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务深度神经网络的秀丽线虫检测方法，其特征在于，所述检测方法包括以下步骤：步骤一：获取秀丽线虫的原始荧光图片；步骤二：对原始荧光图片进行荧光点轮廓和荧光亮度人工标注、图像扩充和预处理后建立训练集；步骤三：利用多任务学习机制的改进YOLACT网络进行学习；步骤四：经过改进YOLACT网络秀丽线虫荧光点的实例分割结果和荧光亮度结果；步骤五：根据RGB图像中对秀丽线虫虫体和荧光点的实例分割结果，得到荧光点的二值掩膜及像素坐标信息；步骤六：根据二值掩膜像素坐标，计算出荧光点的面积。2.根据权利要求1所述的一种基于多任务深度神经网络的秀丽线虫检测方法，其特征在于，所述改进YOLACT网络操...

【专利技术属性】
技术研发人员：吴添舒，陈敏，张晓蒙，张纪翔，王馨语，
申请(专利权)人：东南大学，
类型：发明
国别省市：