一种基于深度学习的白细胞大视场图像检测系统及方法技术方案

本发明专利技术公开了一种基于深度学习的白细胞大视场图像检测系统及方法，系统由图像采集模块、图像重建模块和基于深度学习的智能检测模块构成，通过低倍显微物镜对不同光照下的检测样本成像；图像采集模块记录该低分辨率图像的集合；图像重建模块通过频谱迭代的方法获取高分辨率图像；检测模块使用预先训练好的神经网络对生成的高分辨图像进行特征提取和识别，最后输出检测结果。本发明专利技术能够智能识别白细胞，并分别对视场内的白细胞和红细胞进行计数，帮助检查者快速且准确得到分析结果；同时，满足高分辨率与大视场相结合的要求，实现使用低倍镜得到更高的对比度和分辨率的效果，降低了系统的制造成本。

An image detection system and method based on deep learning for large field of view of white blood cells

【技术实现步骤摘要】
一种基于深度学习的白细胞大视场图像检测系统及方法
本专利技术属于计算显微成像领域和智能医疗检测领域，具体涉及一种基于深度学习的白细胞大视场图像检测系统及方法。
技术介绍
血液分析是医学领域常用的临床检查手段之一，包括白细胞计数及分类、红细胞计数、血小板计数、血红蛋白计数等。其中，白细胞计数与炎症关系密切，被认为是早期疾病诊断的重要预测指标。多项研究表明，白细胞计数与心血管疾病、2型糖尿病等疾病呈正相关；此外，白细胞和红细胞的比例也具有一定的医学价值。因此，白细胞计数具有重要的医学意义。白细胞计数可采用流式细胞仪自动计数，或者由医务工作者借助显微镜手动计数两种方式。流式细胞仪对细胞检测效率高，但不能分析细胞形态，所以显微镜检查仍然是一种重要的医疗检测手段。为了提高诊断的准确性，通常需要对大面积样本区域进行检查，即要求显微镜能够实现大视场成像、高分辨率成像。传统的显微镜受衍射的限制，分辨率主要取决于显微物镜的NA(数值孔径)，NA值越大的显微镜分辨率越高。然而，高NA值的物镜视场范围小，不利于观察样本全貌。为获取大视场显微图像，常规显微镜主要采用机械扫描拼合等方法，这些方法往往要求有精密的机械扫描装置，成本较高。傅里叶叠层显微成像技术通过可编程LED阵列改变照明波阵面的角度，扫描物体的傅里叶频谱信息，再从傅里叶域中还原高分辨率图像。由于傅里叶叠层显微成像技术不需要高相干光源、移动部件和具有高动态范围的探测器，在满足大视场和高分辨率的同时，极大地降低了制造成本，成为大视场显微镜检查的理想手段。>但是，和传统的显微镜类似，基于傅里叠层成像技术的显微镜缺乏相应的系统支持，不能实现智能检测，只能依靠医务工作者肉眼检测，不仅费时，而且误检率受检查者主观状态影响大。
技术实现思路
本专利技术的目的在于，为克服现有技术问题，提供了一种基于深度学习的白细胞大视场图像检测系统及方法，能够满足高分辨率与大视场相结合的要求，实现使用低倍镜获得更高的对比度和分辨率的效果，降低了系统的制造成本；同时，利用专门设计的卷积神经网络智能识别白细胞，并分别对视场内的白细胞和红细胞进行计数，实现白细胞检测、白细胞分类、白细胞计数、红细胞计数等多种功能，帮助检查者快速且准确得到分析结果。本专利技术目的通过下述技术方案来实现：一种基于深度学习的白细胞大视场图像检测方法，所述图像检测方法至少包括如下步骤：S1：建立数据库步骤，采集低分辨率样本图像，并重建生成高分辨率的重建图像，对生成的图像进行标注并储存至数据库中；S2：训练卷积神经网络模型步骤，对步骤S1所采集的数据库以6:2:2的比例划分训练集、验证集和测试集，用测试集、验证集和训练数据集、调整网络超参数和检验模型，直至获得一个损失函数收敛的模型；S3：待测样本采集并完成白细胞检测步骤，基于步骤S2中训练好的卷积神经网络模型完成待测样本图像中的白细胞标注，并完成与预设标准值的比较，实现待测样本情况判断。根据一个优选的实施方式，所述步骤S3具体包括：采集待测样本的低分辨率图像，重建高分辨率图像，并以重建后的待测样本图像作为步骤S2中训练完成的卷积神经网络模型的输入，并由卷积神经网络模型输出待测样本中的白细胞定位、类别、数目，及红细胞数目、白/红细胞占比数值，并与预先储存的标准值进行比较，判断该样品是否存在异常。根据一个优选的实施方式，所述步骤S1和步骤S3中，对低分辨率图像进行重建生成高分辨率图像具体包括如下步骤：步骤a：对低分辨率图像进行去噪预处理步骤；步骤b，选择垂直入射的低分辨率图像进行插值处理，并将经过插值处理后的图像作为样本初始的高分辨率光强图像，相位初始设为零；然后对其做傅里叶变换得到初始的高分辨率频谱，并开始迭代；步骤c，不同入射角度在频域里对应不同的孔径，针对某一个入射角度，在步骤b中获得的高分辨率频谱里截取相对应的子孔径频谱，通过逆傅里叶变换得到待更新的复振幅分布；把待更新的复振幅分布的强度值替换为该入射角所采集的低分辨率图像的强度值，相位信息保持不变；步骤d，利用傅里叶变换求出更新后子孔径的频谱,并用该低分辨率频谱去更新高分辨率频谱中相应的频谱成分；步骤e，重复步骤c和步骤d直至全部入射角度都完成过一次更新，并当所有入射角度完成更新后，重复步骤e，直至代价函数收敛，从而获得待检测的高分辨率图像。根据一个优选的实施方式，所述步骤a中，对低分辨率图像进行去噪预处理步骤，具体包括：在低分辨率图像采集过程中，对图像采集显微镜进行遮光处理，在补光LED完全熄灭的状态下采集暗场图像；将LED阵列编程，依次点亮每个LED，采集不同入射角度下对应的样本低分辨率强度图像；根据所采集的暗场图像，计算出噪声阈值，对每张图像进行噪声处理，使图像中低于该噪声阈值的灰度值为零，减轻噪声的影响。一种基于深度学习的白细胞大视场图像检测系统，所述图像检测系统至少包括图像采集模块、图像重建模块和智能检测模块，所述图像采集模块与所述图像重建模块相连，所述图像重建模块与所述智能检测模块相连，所述智能检测模块基于图像重建模块完成的重建图像实现待识别对象的分析和判断；其中，所述智能检测模块包括：数据库，所述数据库存储有标注好的白细胞的傅里叶叠层显微重建图像；卷积神经网络模型，所述卷积神经网络模型为基于数据库以6:2:2的比例划分的训练集、验证集和测试集而获得的一个损失函数收敛的模型，其中测试集和验证集用于训练数据集和调整网络超参数，测试集用于检验模型；且由所述卷积神经网络模型完成对图像重建模块发送的待检测样本的图像进行白细胞标注；数据分析单元，所述数据分析单元基于待测样本图像中的白细胞标注，并完成与预设标准值的比较，实现待测样本情况判断。根据一个优选的实施方式，所述述卷积神经网络模型进行待检测样本的图像标注包括：由卷积神经网络模型输出待测样本图像中的白细胞定位、类别、数目，及红细胞数目、白/红细胞占比数值。根据一个优选的实施方式，所述图像重建模块包括图像预处理单元和频谱迭代单元；其中，所述图像预处理单元用于实现对低分辨率图像进行去噪预处理，具体包括：在低分辨率图像采集过程中，对图像采集显微镜进行遮光处理，在补光LED完全熄灭的状态下采集暗场图像；将LED阵列编程，依次点亮每个LED，采集不同入射角度下对应的样本低分辨率强度图像；根据所采集的暗场图像，计算出噪声阈值，对每张图像进行噪声处理，使图像中低于该噪声阈值的灰度值为零，减轻噪声的影响。根据一个优选的实施方式，所述频谱迭代单元被配置为采用如下处理步骤进行迭代处理并获得高分辨率的重建图像；步骤b：选择垂直入射的低分辨率图像进行插值处理，并将经过插值处理后的图像作为样本初始的高分辨率光强图像，相位初始设为零；然后对其做傅里叶变换得到初始的高分辨率频谱，并开始迭代；步骤c：不同入射角度在频域里对应不同的孔径，针对某一个入射角度，在步骤b中获得的高分辨率频谱里截取相对应的子孔径频谱，通过逆傅里叶变换得到待更新的复振幅分布；把待更新的复振幅分布的强度值替换为该入射角所采集的低分辨率图像的强度值，相位信息保持不变；步本文档来自技高网...

【技术保护点】
1.一种基于深度学习的白细胞大视场图像检测方法，其特征在于，所述图像检测方法至少包括如下步骤：/nS1：建立数据库步骤，采集低分辨率样本图像，并重建生成高分辨率的重建图像，对生成的图像进行标注并储存至数据库中；/nS2：训练卷积神经网络模型步骤，对步骤S1所采集的数据库以6:2:2的比例划分训练集、验证集和测试集，用测试集、验证集和训练数据集调整网络超参数和检验模型，直至获得一个损失函数收敛的模型；/nS3：待测样本采集并完成白细胞检测步骤，基于步骤S2中训练好的卷积神经网络模型完成待测样本图像中的白细胞标注，并完成与预设标准值的比较，实现待测样本情况判断。/n

【技术特征摘要】
1.一种基于深度学习的白细胞大视场图像检测方法，其特征在于，所述图像检测方法至少包括如下步骤：
S1：建立数据库步骤，采集低分辨率样本图像，并重建生成高分辨率的重建图像，对生成的图像进行标注并储存至数据库中；
S2：训练卷积神经网络模型步骤，对步骤S1所采集的数据库以6:2:2的比例划分训练集、验证集和测试集，用测试集、验证集和训练数据集调整网络超参数和检验模型，直至获得一个损失函数收敛的模型；
S3：待测样本采集并完成白细胞检测步骤，基于步骤S2中训练好的卷积神经网络模型完成待测样本图像中的白细胞标注，并完成与预设标准值的比较，实现待测样本情况判断。


2.如权利要求1所述的一种基于深度学习的白细胞大视场图像检测方法，其特征在于，所述步骤S3具体包括：
采集待测样本的低分辨率图像，重建高分辨率图像，并以重建后的待测样本图像作为步骤S2中训练完成的卷积神经网络模型的输入，
并由卷积神经网络模型输出待测样本中的白细胞定位、类别、数目，及红细胞数目、白/红细胞占比数值，
并与预先储存的标准值进行比较，判断该样品是否存在异常。


3.如权利要求1或2所述的一种基于深度学习的白细胞大视场图像检测方法，其特征在于，所述步骤S1和步骤S3中，对低分辨率图像进行重建生成高分辨率图像具体包括如下步骤：
步骤a：对低分辨率图像进行去噪预处理步骤；
步骤b，选择垂直入射的低分辨率图像进行插值处理，并将经过插值处理后的图像作为样本初始的高分辨率光强图像，相位初始设为零；然后对其做傅里叶变换得到初始的高分辨率频谱，并开始迭代；
步骤c，不同入射角度在频域里对应不同的孔径，针对某一个入射角度，在步骤b中获得的高分辨率频谱里截取相对应的子孔径频谱，通过逆傅里叶变换得到待更新的复振幅分布；把待更新的复振幅分布的强度值替换为该入射角所采集的低分辨率图像的强度值，相位信息保持不变；
步骤d，利用傅里叶变换求出更新后子孔径的频谱,并用该低分辨率频谱去更新高分辨率频谱中相应的频谱成分；
步骤e，重复步骤c和步骤d直至全部入射角度都完成过一次更新，并当所有入射角度完成更新后，重复步骤e，直至代价函数收敛，从而获得待检测的高分辨率图像。


4.如权利要求3所述的一种基于深度学习的白细胞大视场图像检测方法，其特征在于，所述步骤a中，对低分辨率图像进行去噪预处理步骤，具体包括：
在低分辨率图像采集过程中，对图像采集显微镜进行遮光处理，在补光LED完全熄灭的状态下采集暗场图像；
将LED阵列编程，依次点亮每个LED，采集不同入射角度下对应的样本低分辨率强度图像；
根据所采集的暗场图像，计算出噪声阈值，对每张图像进行噪声处理，使图像中低于该噪声阈值的灰度值为零，减轻噪声的影响。


5.一种基于深度学习的白细胞大视场图像检测系统，其特征在于，所述图像检测系统至少包括图像采集模块、图像重建模块和智能检测模块，所述图像采集模块与所述图像重建模块相连，所述图像重建模块与所述智能检测模块相连，所述智能检测模块基于图像重建模块完成的重建图像实现待识别对象的分析和判断；
其中，所述智能检测模块包括：...

【专利技术属性】
技术研发人员：许廷发，王舒珊，张继洲，张一舟，汪心，
申请(专利权)人：北京理工大学重庆创新中心，北京理工大学，
类型：发明
国别省市：重庆;50