一种智能显微镜图像质量增强复原方法技术

本发明专利技术公开了一种智能显微镜图像质量增强复原方法，方法如下：A、获取血细胞涂片；B、搭建显微镜成像系统A、B进行成像处理分别得到图像集P1、P2，处理后得到数据集D1、D2；C、构建全卷积神经网络以数据集D1、D2作为训练数据进行学习训练；D、采用显微镜成像系统A进行成像处理并得到数据集P3并经处理得到数据集D3，将数据集D3输入到全卷积神经网络得到图像质量增强后的数据集D3。本发明专利技术实现了显微成像处理联动调焦、微动成像调节，在得到较低成像质量的显微成像图像后，可通过训练后的全卷积神经网络输出高质量的显微成像图像，以便较低设备技术即可满足医学诊断标准要求，具有智能化、标准化、低成本高效率等优点。低成本高效率等优点。低成本高效率等优点。

【技术实现步骤摘要】
一种智能显微镜图像质量增强复原方法


[0001]本专利技术涉及显微镜图像处理领域，尤其涉及一种智能显微镜图像质量增强复原方法。

技术介绍

[0002]体外诊断(IVD)在现代医学中有着十分重要的地位，医疗工作者通过显微镜观察涂在载玻片上的标本(粪便、血液、尿液等)中各种细胞的形状、颜色、分布等特征，找出标本中是否有异常或感染部位，最后得出疾病或感染的诊断。在信息化时代，出于大批量样本和数据处理的需要，显微镜的人工调焦效率低下，聚焦准确性不足的缺点。因此，一些可以实现自动调焦的智能显微镜设备应运而生，它们利用算法实现自动调焦，利用图像采集设备(相机等)将显微镜下载玻片标本的图像传到终端，以便医生进行病情诊断。但是，传统智能显微镜系统采集到的图像质量往往不够理想，不能够有效帮助医生做出精确诊断，其中存在三个问题，其一是自动对焦算法的局限性，自动对焦算法很难实现精准对焦，往往会和实际图像存在一定的差异；其二是图像采集设备等硬件设备质量的好坏，一套高质量的图像采集设备可以使得最终终端上呈现的载玻片标本图像最大程度的接近人眼通过显微镜观察的图像，但当面临大规模推广应用需求时，受到硬件成本、利润、采购等因素的影响，最终选取的硬件设备往往不是行业中最优良的产品，所选取的硬件设备采集的图像是高质量显微图像的退化图像；其三是传统的图像增强复原算法如根据模糊核的去模糊算法的鲁棒性很差，容易受到环境等因素的影响，导致其在实际应用中存在很多困难；因此，传统智能显微镜设备采集的图像质量往往不够理想，且没有较好的图像增强复原方法，显然，这对于医生后续的诊断有严重的影响。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的如下技术问题：其一自动对焦算法的局限性，其二图像采集、传输等硬件设备的质量好坏对最终成像的影响，其三传统图像去模糊算法的局限性，通过引入血细胞涂片的显微图像作为处理对象；提供一种智能显微镜图像质量增强复原方法，在一般智能显微镜设备实现自动对焦的基础上，依靠质量一般的图像采集利用深度学习图像复原方法，使得最后呈现的图像质量接近于高质量设备下、专业医生精确调焦下得到的图像，从而更好地解除设备技术限制，经济购买力限制，具有广泛的社会价值与应用前景。
[0004]本专利技术的目的通过下述技术方案实现：
[0005]一种智能显微镜图像质量增强复原方法，其方法如下：
[0006]A、获取患者的血细胞涂片；
[0007]B、搭建显微镜成像系统A对血细胞涂片进行成像处理得到图像集P1，搭建显微镜成像系统B对血细胞涂片进行成像处理得到图像集P2，图像集P2的成像图像质量高于图像集P1的成像图像质量；通过模板匹配模块分别对图像集P1、图像集P2进行匹配并分别得到
数据集D1、数据集D2，分别对数据集D1、数据集D2进行旋转增强处理；
[0008]C、构建全卷积神经网络，全卷积神经网络以数据集D2、数据集D1作为训练数据，全卷积神经网络以数据集D2对数据集D1进行质量增强复原处理、复原学习及训练，将数据集D1图像质量增强复原至数据集D2相等或相近图像质量，得到学习训练后的全卷积神经网络；
[0009]D、采用显微镜成像系统A或显微镜成像系统A1对血细胞涂片进行成像处理并得到数据集P3，通过模板匹配模块分别对图像集P3进行匹配并分别得到数据集D3，将数据集D3输入到全卷积神经网络进行图像质量增强复原处理并得到图像质量增强后的数据集D3。
[0010]本专利技术方法中优选的技术方案是：在步骤C中，全卷积神经网络结构包括生成器网络、判别器网络和VGG网络，全卷积神经网络包括四个损失函数，四个损失函数分别为颜色损失函数L
color
、内容损失函数L
content
、总变化差异损失函数L
tv
和纹理损失函数L
texture
；
[0011]生成器网络包括一个9
×9×
64的卷积层、四个相同的残差块，每个残差块依次进行卷积、批归一化、卷积、批归一化操作，然后再经过三层卷积最终得到输出；生成器网络的输入为数据集D1，输出为增强后的图片集D1；
[0012]将生成器网络的图片集D1与数据集D2进行运算来计算颜色损失与总变化差异损失；
[0013]判别器网络结构包括两个卷积层，一个batch批归一化操作，再接一个卷积层，接一个batch批归一化操作，再接一个卷积层，接一个batch批归一化操作，再接一个卷积层，接一个batch批归一化操作，最后接一个全连接层；判别器网络的输入为数据集D2和图片集D1，输出为计算得到的纹理损失；
[0014]将数据集D2和图片集D1作为VGG网络的输入，输出计算内容损失；
[0015]全卷积神经网络设置batch_size参数为8，学习率参数为5e
‑
4，训练次数epoch为200，每次训练包含的步数为10；全卷积神经网络不断优化网络模型参数，使最终输出图像达到数据集D2相等或相近图像质量。
[0016]优选地，显微镜成像系统A包括光源、步进电机、驱动器、显微镜主体和普通相机，普通相机安装于显微镜主体上，显微镜主体安装于步进电机上，显微镜成像系统A1与显微镜成像系统A结构相同，显微镜成像系统A1成像图像质量等于或略低于或略高于显微镜成像系统A成像图像质量；显微镜成像系统A或显微镜成像系统A1的成像处理方法如下：
[0017]B1、选用100倍油浸物镜，置于显微镜主体的显微镜物镜转换器的工作位置，将血细胞涂片固定于显微镜主体的显微镜载物台上，打开位于显微镜主体的显微镜底部的光源，使其光线对准血细胞涂片照射；将普通相机与显微镜主体的显微镜目镜顶端连接，将普通相机采集并得到图像集P1。
[0018]优选地，显微镜成像系统A还包括显微成像运动控制模块A，显微成像运动控制模块A与驱动器、步进电机连接，步进电机与显微镜载物台动力连接，显微成像运动控制模块A用于控制驱动器、步进电机并驱动显微镜载物台移动。
[0019]优选地，显微成像运动控制模块A还包括自动对焦控制模块，自动对焦控制模块与普通相机连接，自动对焦控制模块用于移动显微镜载物台并实现制动对焦作业。
[0020]本专利技术方法中优选的技术方案是：显微镜成像系统B包括光源、步进电机、驱动器、显微镜主体和高清相机，显微镜成像系统B成像处理方法与显微镜成像系统A相同，并通过
高清相机采集得到图像集P2。
[0021]优选地，步骤B中模板匹配模块分别对图像集P1、图像集P2进行匹配裁剪得到尺寸规格一致的数据集D1与数据集D2。
[0022]本专利技术较现有技术相比，具有以下优点及有益效果：
[0023](1)本专利技术在一般智能显微镜设备实现自动对焦的基础上，依靠质量一般的图像采集利用深度学习图像复原方法，使得最后呈现的图像质量接近于高质量设备下、专业医生精确调焦下得到的图像，从而更好地解除设备技术限制，经济购买力限制，具有广泛的社会价值与应用前景。...

【技术保护点】

【技术特征摘要】
1.一种智能显微镜图像质量增强复原方法，其特征在于：其方法如下：A、获取患者的血细胞涂片；B、搭建显微镜成像系统A对血细胞涂片进行成像处理得到图像集P1，搭建显微镜成像系统B对血细胞涂片进行成像处理得到图像集P2，图像集P2的成像图像质量高于图像集P1的成像图像质量；通过模板匹配模块分别对图像集P1、图像集P2进行匹配并分别得到数据集D1、数据集D2，分别对数据集D1、数据集D2进行旋转增强处理；C、构建全卷积神经网络，全卷积神经网络以数据集D2、数据集D1作为训练数据，全卷积神经网络以数据集D2对数据集D1进行质量增强复原处理、复原学习及训练，将数据集D1图像质量增强复原至数据集D2相等或相近图像质量，得到学习训练后的全卷积神经网络；D、采用显微镜成像系统A或显微镜成像系统A1对血细胞涂片进行成像处理并得到数据集P3，通过模板匹配模块分别对图像集P3进行匹配并分别得到数据集D3，将数据集D3输入到全卷积神经网络进行图像质量增强复原处理并得到图像质量增强后的数据集D3。2.按照权利要求1所述的一种智能显微镜图像质量增强复原方法，其特征在于：在步骤C中，全卷积神经网络结构包括生成器网络、判别器网络和VGG网络，全卷积神经网络包括四个损失函数，四个损失函数分别为颜色损失函数L
color
、内容损失函数L
content
、总变化差异损失函数L
tv
和纹理损失函数L
texture
；生成器网络包括一个9
×9×
64的卷积层、四个相同的残差块，每个残差块依次进行卷积、批归一化、卷积、批归一化操作，然后再经过三层卷积最终得到输出；生成器网络的输入为数据集D1，输出为增强后的图片集D1；将生成器网络的图片集D1与数据集D2进行运算来计算颜色损失与总变化差异损失；判别器网络结构包括两个卷积层，一个batch批归一化操作，再接一个卷积层，接一个batch批归一化操作，再接一个卷积层，接一个batch批归一化操作，再接一个卷积层，接一个batch批归一化操作，最后接一个全连接层；判别器网络的输入为数据集D2和图片集...

【专利技术属性】
技术研发人员：王兴国，刘勇，段武堂，张亮，景富军，
申请(专利权)人：宜宾显微智能科技有限公司，
类型：发明
国别省市：