一种荧光图像中单神经元树突棘的自动检测方法及系统技术方案

本发明专利技术公开了一种荧光图像中单神经元树突棘的自动检测方法及系统，其中，方法的实现包括：将待测三维荧光图像拆分为若干个图像块，然后将各图像块进行投影拼接后得到单神经元所有树突对应的目标待识别图像；沿单神经元树突骨架进行均匀撒种子点，在目标待识别图像中取以各种子点为中心的邻域图像块；使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络对各邻域图像块进行树突棘分割得到树突棘分割图后进行融合；对融合的树突棘分割图进行连通域分析，得到单个的连通域，然后将每个连通域上的树突棘拆分为一个或多个树突棘后，将各连通域中的树突棘进行合并得到单神经元树突棘分割结果。通过本发明专利技术极大提高了识别树突棘的精确性。

An automatic detection method and system of single neuron dendritic spines in fluorescence image

【技术实现步骤摘要】
一种荧光图像中单神经元树突棘的自动检测方法及系统
本专利技术属于神经科学图像分析领域，更具体地，涉及一种基于深度语义分割网络的荧光图像中单神经元树突棘的自动检测方法及系统。
技术介绍
神经元主要是由胞体、树突和轴突构成，不同神经元之间通过突触相互连接和传递信息。树突表面可见许多棘状突起，称为树突棘，是神经元间树突和轴突末端之间连接形成突触的一个位点。医学研究表明，树突棘具有电学特性和可塑性，这些特性关系到神经细胞的生长、发育和突触的建立与消失，在人类大脑认知、学习、记忆与神经疾病等方面起着关键作用。因此，对神经元树突棘的检测是研究树突棘的结构包括个数、形态、密度和分布及其变化的基础，对生命科学具有重大意义。树突棘特别细微，属于微观层面的结构，长度一般在0.5μm～2.0μm，体积一般在0.01μm3～0.8μm3之间。现有的荧光标记技术和高分辨率三维成像技术已经可以获取单神经元的亚微米分辨的三维荧光图像数据集，使得系统地识别和量化单神经元的树突棘成为可能。早期人们识别和检测神经元树突棘主要依靠人工提取，不仅费时费力，而且主观性很强，没有统一的标准，错误率较高，对大量细微的神经元而言这种识别如同九牛一毛难以奏效。近些年来，许多学者在神经元树突棘检测方面做出了巨大的努力，提出了很多半自动或者自动的树突棘分割方法。这些方法的核心技术在于先提取树突的中轴，得到树突的中轴后再根据树突棘和树突的形态特点进一步把它们分开以实现树突棘的检测。这种方法对图像分辨率要求很高，都是对神经元的局部结构进行高分辨率成像，得到的图像中一般只包含一段树突或者是几段树突。在面对完整神经元的树突棘检测任务时，这些方法就存在挑战，具体表现在：a)传统方法一般都是基于人工设计的特征或过滤规则，这种方式对局部少量树突棘适用，但是对完整神经元的大量树突棘则不够鲁棒，很难兼顾形态大小及附着程度各异的全部树突棘，常常顾此失彼，存在一定的局限性；b)部分树突上的树突棘非常密集，存在粘连，传统方法难以区分这密集的树突棘。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种荧光图像中单神经元树突棘的自动检测方法及系统，由此解决现有神经元树突棘的检测在大数据下存在的费时费力及难以兼顾形态大小和附着程度不一的全部树突棘检测的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种荧光图像中单神经元树突棘的自动检测方法，包括：根据人工已经追踪的单神经元树突结构，将待测三维荧光图像拆分为若干个图像块，然后将各图像块进行投影拼接后得到所述待测三维荧光图像中单神经元所有树突对应的目标待识别图像；沿所述待测三维荧光图像中单神经元树突骨架进行均匀撒种子点，并在所述目标待识别图像中取以各种子点为中心的预设大小的邻域图像块；使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络对各所述邻域图像块进行树突棘分割得到树突棘分割图，并融合所有邻域图像块的树突棘分割图；对融合后的树突棘分割图进行连通域分析，得到单个的连通域，然后将每个连通域上的树突棘拆分为一个或多个树突棘后，将各连通域中的树突棘进行合并得到所述待测三维荧光图像的单神经元树突棘分割结果。优选地，所述根据人工已经追踪的单神经元树突结构，将待测三维荧光图像拆分为若干个图像块，然后将各图像块进行投影拼接后得到所述待测三维荧光图像的单神经元所有树突对应的目标待识别图像，包括：根据人工已经追踪的单神经元树突结构，将所述待测三维荧光图像中单神经元的所有树突拆分成若干等长的树突段，其中，各相邻树突段间存在重合；对于每个树突段，从所述待测三维荧光图像中取包含所述树突段的最小图像块，将所述图像块中离所述树突段轴向距离大于预设距离阈值的像素置0，然后将所述图像块沿Z轴作最大值投影得到待识别图像；将各树突段的待识别图像按照对应的XY坐标拼在一起，得到所述待测三维荧光图像的单神经元所有树突对应的目标待识别图像。优选地，所述基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络，包括：保留深度残差网络结构中的前三个残差模块，将所述深度残差网络结构中的第四个残差模块替换为第一间距的空洞卷积模块得到第一结构，并将由第二间距的空洞卷积模块、第三间距的空洞卷积模块、第四间距的空洞卷积模块及卷积核大小为p×p的空洞卷积模块并联后构成的多尺度空洞卷积结构串联在所述第一结构之后得到第二结构，在所述第二结构后依次串联一个残差卷积模块，一个卷积层，一个上采样层后得到所述语义分割网络。优选地，在所述使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络对各所述邻域图像块进行树突棘分割得到树突棘分割图之前，所述方法还包括：根据人工已经追踪的单神经元树突结构，将三维荧光图像拆分为若干个图像块，然后将各图像块进行投影拼接后得到所述三维荧光图像中单神经元所有树突对应的目标待识别图像；沿所述三维荧光图像中单神经元树突骨架进行随机撒种子点，并在所述目标待识别图像和与所述三维荧光图像对应的掩码图像中取以各种子点为中心的预设大小的邻域图像块作为样本集，将所述样本集随机拆分成训练样本集和验证样本集两部分；采用迁移学习的方式由所述训练样本集和所述验证样本集对语义分割网络进行训练得到训练后的语义分割网络。优选地，所述采用迁移学习的方式由所述训练样本集和所述验证样本集对语义分割网络进行训练得到训练后的语义分割网络，包括：调用基于ImageNet数据集的权值初始化语义分割网络中的残差网络部分，语义分割网络中的空洞卷积模块随机初始化，在第一轮训练开始之前，将语义分割网络中的前两个残差模块的卷积层参数设置为不可学习，其他层设置为可学习，采用交叉熵作为损失函数，在第一轮训练过程中，若所述训练样本集的损失函数和所述验证样本集的损失函数满足预设要求且两者的损失函数之间的差异在预设范围内，则停止第一轮训练得到第一轮网络模型；使用所述第一轮网络模型测试所述训练样本集中的图像块，挖掘出被错误分类的像素，在错误分类的像素里随机挑选若干种子点并以挑选出的种子点为中心提取所述预设大小的图像块作为第二轮训练的困难样本，将所述困难样本和所述训练样本集按预设比例组合重新构成第二轮训练样本集，并利用所述第二轮训练样本集训练所述第一轮网络模型，得到训练后的语义分割网络。优选地，所述对融合后的树突棘分割图进行连通域分析，得到单个的连通域，然后将每个连通域上的树突棘拆分为一个或多个树突棘，包括：对于一个连通域中的每个像素点，获取所述像素点的局部密度以及所述像素点到比所述像素点的局部密度高的所有像素点的最短距离；根据所述像素点的局部密度和所述像素点对应的最短距离构成的二维特征空间选取聚类中心；将所述连通域中的每个像素点分配到选取的聚类中心，以将所述连通域中的树突棘拆分为一个或多个树突棘。优选地，所述根据所述像素点的局部密度和所述像素点对应的最短距离构成的二维特征空间选取聚类中心，包括：对于任意一个连通域I*，对I*内的每一个像本文档来自技高网...

【技术保护点】
1.一种荧光图像中单神经元树突棘的自动检测方法，其特征在于，包括：/n根据已经追踪的单神经元树突结构，将待测三维荧光图像拆分为若干个图像块，然后将各图像块进行投影拼接后得到所述待测三维荧光图像中单神经元所有树突对应的目标待识别图像；/n沿所述待测三维荧光图像中单神经元树突骨架进行均匀撒种子点，并在所述目标待识别图像中取以各种子点为中心的预设大小的邻域图像块；/n使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络对各所述邻域图像块进行树突棘分割得到树突棘分割图，并融合所有邻域图像块的树突棘分割图；/n对融合后的树突棘分割图进行连通域分析，得到单个的连通域，然后将每个连通域上的树突棘拆分为一个或多个树突棘后，将各连通域中的树突棘进行合并得到所述待测三维荧光图像的单神经元树突棘分割结果。/n

【技术特征摘要】
1.一种荧光图像中单神经元树突棘的自动检测方法，其特征在于，包括：
根据已经追踪的单神经元树突结构，将待测三维荧光图像拆分为若干个图像块，然后将各图像块进行投影拼接后得到所述待测三维荧光图像中单神经元所有树突对应的目标待识别图像；
沿所述待测三维荧光图像中单神经元树突骨架进行均匀撒种子点，并在所述目标待识别图像中取以各种子点为中心的预设大小的邻域图像块；
使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络对各所述邻域图像块进行树突棘分割得到树突棘分割图，并融合所有邻域图像块的树突棘分割图；
对融合后的树突棘分割图进行连通域分析，得到单个的连通域，然后将每个连通域上的树突棘拆分为一个或多个树突棘后，将各连通域中的树突棘进行合并得到所述待测三维荧光图像的单神经元树突棘分割结果。


2.根据权利要求1所述的方法，其特征在于，所述根据已经追踪的单神经元树突结构，将待测三维荧光图像拆分为若干个图像块，然后将各图像块进行投影拼接后得到所述待测三维荧光图像的单神经元所有树突对应的目标待识别图像，包括：
根据已经追踪的单神经元树突结构，将单神经元的所有树突拆分成若干等长的树突段，其中，各相邻树突段间存在重合；
对于每个树突段，从所述待测三维荧光图像中取包含所述树突段的最小图像块，将所述图像块中离所述树突段轴向距离大于预设距离阈值的像素置0，然后将所述图像块沿Z轴作最大值投影得到待识别图像；
将各树突段的待识别图像按照对应的XY坐标拼在一起，得到所述待测三维荧光图像中单神经元所有树突对应的目标待识别图像。


3.根据权利要求1或2所述的方法，其特征在于，所述基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络，包括：
保留深度残差网络结构中的前三个残差模块，将所述深度残差网络结构中的第四个残差模块替换为第一间距的空洞卷积模块得到第一结构，并将由第二间距的空洞卷积模块、第三间距的空洞卷积模块、第四间距的空洞卷积模块及卷积核大小为p×p的空洞卷积模块并联后构成的多尺度空洞卷积结构串联在所述第一结构之后得到第二结构，在所述第二结构后依次串联一个残差卷积模块，一个卷积层，一个上采样层后得到所述语义分割网络。


4.根据权利要求3所述的方法，其特征在于，在所述使用基于深度残差网络结构和多尺度空洞卷积结构的语义分割网络对各所述邻域图像块进行树突棘分割得到树突棘分割图之前，所述方法还包括：
根据已经追踪的单神经元树突结构，将三维荧光图像拆分为若干个图像块，然后将各图像块进行投影拼接后得到所述三维荧光图像中单神经元所有树突对应的目标待识别图像；
沿所述三维荧光图像中单神经元树突骨架进行随机撒种子点，并在所述目标待识别图像和与所述三维荧光图像对应的掩码图像中取以各种子点为中心的预设大小的邻域图像块作为样本集，将所述样本集随机拆分成训练样本集和验证样本集两部分；
采用迁移学习的方式由所述训练样本集和所述验证样本集对语义分割网络进行训练得到训练后的语义分割网络。


5.根据权利要求4所述的方法，其特征在于，所述采用迁移学习的方式由所述训练样本集和所述验证样本集对语义分割网络进行训练得到训练后的语义分割网络，包括：
调用基于ImageNet数据集的权值初始化语义分割网络中的残差网络部分，语义分割网络中的空洞卷积模块随机初始化，在第一轮...

【专利技术属性】
技术研发人员：曾绍群，程胜华，余雅清，刘小茂，刘钰蓉，王小俊，尹芳芳，李宁，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42