基于卷积神经网络的实时光学层析方法和系统技术方案

技术编号:22330847 阅读:35 留言:0更新日期:2019-10-19 12:24
本发明专利技术提出了一种基于卷积神经网络的实时光学层析方法,通过搭建卷积神经网络,获取对比图像,拆分形成训练图像对,训练卷积神经网络,重建光学层析图像的步骤,从软件层面上对带有焦外信息干扰的宽场图像实现光学层析。这种方法大大地降低了精密光学器件的使用,减少了繁琐的光学系统的调试过程,节省了人力物力,并且能够实时进行处理,可以用于活体成像中。

Real time optical tomography method and system based on convolutional neural network

【技术实现步骤摘要】
基于卷积神经网络的实时光学层析方法和系统
本专利技术涉及图像处理技术,尤其是涉及一种基于卷积神经网络的实时光学层析方法及系统。
技术介绍
在使用宽场显微镜对生物样本进行成像时,照明光会照亮视场附近的区域,从而造成光的信号散射。这种散射会影响光学系统采集到的生物样本信号,导致图像质量下降,信噪比降低。当前,研究者们主要通过三类方法解决这一问题:一是使用共聚焦显微镜和结构光显微镜进行成像以保证图像的质量,因为共聚焦显微镜和结构光显微镜通过阻挡或消除背景光,只保留了焦面上的信号,从而达到光学层析的效果;二是使用光片照明显微镜和多光子显微镜进行成像以保证图像的质量,因为光片照明显微镜和多光子显微镜只激发焦面上的信号,因此抑制了背景信号的产生。三是使用反卷积算法,通过对光学显微镜的点扩散函数进行建模,逆向恢复出没有背景干扰的焦面图像。前两类方法是从硬件层面上实现光学层析,它们或者需要对同一位置进行多次采集,或者需要进行点扫描,并且所有的样本均是直接通过较精密的光学显微镜成像获得较清楚的光学层析图像。这种方式不仅需要使用较复杂的光学器件,增加了光路的调试难度,而且降低了成像速度。第三类方法是基于软件的光学层析方法,它不需要复杂的光学硬件设施,但是它的缺点在于需要对光学显微镜的点扩散函数进行精确地建模,并且容易产生伪影,对噪声很敏感,图像重建时间很长,无法实时处理。因此,专利技术一种新的光学层析方法很有必要。
技术实现思路
本专利技术的目的在于克服上述技术不足,提出了一种基于卷积神经网络的实时光学层析方法,通过训练轻量型的卷积神经网络,从软件层面上对带有焦外信息干扰的宽场图像实现光学层析。这种方法大大地降低了精密光学器件的使用,减少了繁琐的光学系统的调试过程,节省了人力物力,并且能够实时进行处理,可以用于活体成像中。为达到上述技术目的,本专利技术提供的一种基于卷积神经网络的实时光学层析方法,包括如下步骤:S1搭建卷积神经网络结构:网络分为编码器部分和解码器部分,编码器由四个步长为2的卷积层构成,解码器由与所述编码器对称的四个步长为2的反卷积层构成,且在每个编码器和解码器之间有跳跃连接,以使图像先经过编码器被降采样16倍,再经过解码器升采样16倍,最终恢复到原来的尺寸;S2获取对比图像:用宽场显微镜和具有光学层析能力的显微镜拍摄样本,对同一样本获得像素一一对齐的宽场图像和光学层析图像;S3拆分形成图像对:将所述步骤S2中的宽场图像和所述步骤S2中的光学层析图像进行拆分,拆分后的图像尺寸大小为256×256像素,拆分后的宽场图像与光学层析图像的像素一一对应形成图像对;S4训练卷积神经网络:设置卷积神经网络的损失函数,用拆分后一一对应的图像对训练所述步骤S1搭建的卷积神经网络,直到所述损失函数收敛,从而获得训练完成的卷积神经网络;S5重建光学层析图像:采用具有与所述步骤S2中一致的宽场荧光显微镜对新的样本进行拍摄,获得新样本的宽场图像,将新获得的宽场图像根据所述步骤S3中所述的图像尺寸进行拆分,将拆分后的新的宽场图像输入所述步骤S4得到的训练完成的卷积神经网络,最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。本专利技术还提供一种基于卷积神经网络的实时光学层析系统,用于实现上述方法,具体的系统包括:卷积神经网络结构搭建模块,用于将网络分为编码器部分和解码器部分,编码器由四个步长为2的卷积层构成,解码器由与所述编码器对称的四个步长为2的反卷积层构成,且在每个编码器和解码器之间有跳跃连接,以使图像先经过编码器被降采样16倍,再经过解码器升采样16倍,最终恢复到原来的尺寸;获取对比图像模块,用于采用宽场显微镜和具有光学层析能力的显微镜拍摄样本,对同一样本获得像素一一对齐的宽场图像和光学层析图像;拆分形成图像对模块,用于将所述获取对比图像模块中的宽场图像和所述获取对比图像模块中的光学层析图像进行拆分,拆分后的图像尺寸大小为256×256像素,拆分后的宽场图像与光学层析图像的像素一一对应形成图像对;训练卷积神经网络模块,用于设置卷积神经网络的损失函数,用拆分后一一对应的图像对训练所述卷积神经网络结构搭建模块搭建的卷积神经网络结构,直到所述损失函数收敛,从而获得训练完成的卷积神经网络;重建光学层析图像模块,用于和获取对比图像模块相同的宽场显微镜对新的样本进行拍摄,获得新样本的宽场图像,将新获得的宽场图像根据所述拆分形成图像对模块的尺寸进行拆分,将拆分后的新的宽场图像输入所述训练卷积神经网络模块得到的训练完成的卷积神经网络,最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。附图说明图1是采用脑作为样本,以脑成像为例对上述实时光学层析方法进行验证的效果图,其中(a)是用宽场显微镜拍摄的某一脑切片的某一位置的宽场图像,(b)是用结构光照明显微镜对(a)中的同一样本拍摄到的清晰焦面图像,(c)是经过本专利技术提供的基于卷积神经网络的实时光学层析方法对(a)中的图片进行处理后重建得到的光学层析图像,(a)、(b)、(c)三组图像中上面的为标记了神经元的图像,下面的为对胞体进行定位的图像。图2是利用本专利技术方法对tdTomato标记的心脏组织样本进行成像的效果图,WF表示宽场显微镜拍摄的图像,SIM表示结构光显微镜拍摄的图像,CNN表示经过本专利技术方法处理后重建的光学层析图像。图3是利用本专利技术方法对高尔基染色的的鼠脑组织进行成像的效果图,WF表示宽场显微镜拍摄的图像,SIM表示结构光显微镜拍摄的图像,CNN表示经过本专利技术方法处理后重建的光学层析图像。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本专利技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。实施例1本实施例中以采用碘化丙啶染色的转基因标记荧光鼠脑组织的脑片作为样本来对本专利技术提供的一种基于卷积神经网络的实时光学层析方法进行验证,包括如下步骤:S1搭建卷积神经网络结构:网络分为编码器部分和解码器部分,编码器由四个步长为2的卷积层构成,解码器由与所述编码器对称的四个步长为2的反卷积层构成,且在每个编码器和解码器之间有跳跃连接,以使图像先经过编码器被降采样16倍,再经过解码器升采样16倍,最终恢复到原来的尺寸;S2获取对比图像:用宽场显微镜和结构光照明显微镜拍摄样本,对同一样本获得像素一一对齐的宽场图像和光学层析图像,均为像素大小为1024×1024的图像;S3拆分形成图像对:将所述步骤S2中的宽场图像和所述步骤S2中的光学层析图像进行拆分,拆分后得到16个图像尺寸大小为256×256像素的图像,拆分后的宽场图像与光学层析图像的像素一一对应形成图像对;S4训练卷积神经网络:设置卷积神经网络的损失函数,用拆分后一一对应的图像对训练所述步骤S1搭建的神经网络,直到所述损失函数收敛,从而获得训练完成的卷积神经网络;S5重建光学层析图像:采用具有与所述步骤S2中一致的宽场荧光显微镜对新的样本进行拍摄,获得新样本的宽场图像,将新获得的宽场图像根据所述步骤S3中所述的图像尺寸进行拆分,将拆分后的新的宽场图像输入所述步骤S4得到的训练完成的卷积神经网络,最后将卷积神经网络输出的图像进行拼接得到所述新样本本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的实时光学层析方法,其特征在于,包括如下步骤:S1搭建卷积神经网络结构:网络分为编码器部分和解码器部分,编码器由四个步长为2的卷积层构成,解码器由与所述编码器对称的四个步长为2的反卷积层构成,且在每个编码器和解码器之间有跳跃连接,以使图像先经过编码器被降采样16倍,再经过解码器升采样16倍,最终恢复到原来的尺寸;S2获取对比图像:用宽场显微镜和具有光学层析能力的显微镜拍摄样本,对同一样本获得像素一一对齐的宽场图像和光学层析图像;S3拆分形成图像对:将所述步骤S2中的宽场图像和所述步骤S2中的光学层析图像进行拆分,拆分后的图像尺寸大小为256×256像素,拆分后的宽场图像与光学层析图像的像素一一对应形成图像对;S4训练卷积神经网络:设置卷积神经网络的损失函数,用拆分后一一对应的图像对训练所述步骤S1搭建的卷积神经网络,直到所述损失函数收敛,从而获得训练完成的卷积神经网络;S5重建光学层析图像:采用具有与所述步骤S2中一致的宽场荧光显微镜对新的样本进行拍摄,获得新样本的宽场图像,将新获得的宽场图像根据所述步骤S3中所述的图像片尺寸进行拆分,将拆分后的新的宽场图像输入所述步骤S4得到的训练完成的卷积神经网络,最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。...

【技术特征摘要】
1.一种基于卷积神经网络的实时光学层析方法,其特征在于,包括如下步骤:S1搭建卷积神经网络结构:网络分为编码器部分和解码器部分,编码器由四个步长为2的卷积层构成,解码器由与所述编码器对称的四个步长为2的反卷积层构成,且在每个编码器和解码器之间有跳跃连接,以使图像先经过编码器被降采样16倍,再经过解码器升采样16倍,最终恢复到原来的尺寸;S2获取对比图像:用宽场显微镜和具有光学层析能力的显微镜拍摄样本,对同一样本获得像素一一对齐的宽场图像和光学层析图像;S3拆分形成图像对:将所述步骤S2中的宽场图像和所述步骤S2中的光学层析图像进行拆分,拆分后的图像尺寸大小为256×256像素,拆分后的宽场图像与光学层析图像的像素一一对应形成图像对;S4训练卷积神经网络:设置卷积神经网络的损失函数,用拆分后一一对应的图像对训练所述步骤S1搭建的卷积神经网络,直到所述损失函数收敛,从而获得训练完成的卷积神经网络;S5重建光学层析图像:采用具有与所述步骤S2中一致的宽场荧光显微镜对新的样本进行拍摄,获得新样本的宽场图像,将新获得的宽场图像根据所述步骤S3中所述的图像片尺寸进行拆分,将拆分后的新的宽场图像输入所述步骤S4得到的训练完成的卷积神经网络,最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。2.根据权利要求1所述的基于卷积神经网络的实时光学层析方法,其特征在于,所述步骤S3中用于训练的所述图像对为2000-5000对。3.根据权利要求1所述的基于卷积神经网络的实时光学层析方法,其特征在于,若所述步骤S2中对同一样本直接拍摄得到的宽场图像和光学层析图像的像素不满足一一对齐,则利用配准算法将二者配准到像素对齐的程度上。4.根据权利要求2所述的基于卷积神经网络的实时光学层析方法,其特征在于,所述步骤S3还包括将所述图像对的顺序打乱。5.根据权利要求2所述的基于卷积神经网络的实时光学层析方法,...

【专利技术属性】
技术研发人员:龚辉袁菁张小宇宁可夫
申请(专利权)人:华中科技大学
类型:发明
国别省市:湖北,42

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1