一种智能生物显微镜制造技术

本发明专利技术公开了一种智能生物显微镜，属于显微领域，尤其是能自动对焦，拼接图像并识别有形成分的智能生物显微镜。硬件模块，图像采集模块与电脑通过连接线相连，软件模块运行在电脑端。通过三部步进电机与工业相机的协作，完成单筒显微镜的自动对焦以及图像拍摄，电脑端运行的图像处理软件通过预处理、图像配准、建立变换模型、图像变换、图像融合输出拼接后的大视野图像，最终运行软件中的算法单元对输出的图像进行有形成分识别与计数。本发明专利技术使用过程中，采用一键式操作，极大程度减轻了医生的工作负担，且对微小病变与疑难病例有着极高的识别能力，后期处理的定量化分析为医生诊断提供了可靠的参考。

An Intelligent Biomicroscope

【技术实现步骤摘要】
一种智能生物显微镜
本专利技术是一种生物医学显微领域，特别涉及不同有形成分细胞所在不同层面的自动对焦，拼接图像并完成最终识别的智能生物显微镜。
技术介绍
近些年来，病理分析逐渐成为诊断、预后分析和指导治疗的黄金标准。2017年需约12万名病理医生，但经过训练的医生数量却不足2万，人员压力极大，且医生需要亲自操作显微镜进行拍图，一个玻片需要切换多个视野来进行整体判断，任务繁重。目前，国内医院现有的显微镜大多使用显微照相软件对观测到的显微图像进行拍照，每次只能观测到极小的局部，通常需要多次移动玻片位置来获取不同视野，每次移动所带来的位置与角度的变化，常导致显微图像产生巨大差异；并且每次拍摄的图像独立成图，不利于医生对整体的把握；对于一些显微图像中的微小病变或疑难病例，医生仅靠肉眼，很难挖掘其病理特征。
技术实现思路
本专利技术所要解决的技术问题和提出的技术任务是对现有技术进行改进，提供一种智能生物显微镜，解决目前技术中的显微镜采用人工取放玻片进行观测的方式及肉眼诊断所带来的效率低下、劳动强度大、微小病变诊断难的问题。本专利技术解决上述问题提供的一种解决方案是：一种智能生物显微镜，包括硬件模块、图像采集模块、软件模块及算法模块；所述图像采集模块包括显微镜和相机，所述相机采集经显微镜放大后的图像；所述硬件模块包括自动对焦单元与自动拍图单元，所述自动对焦单元包括步进电机K1，所述软件模块通过控制步进电机K1控制物镜在对焦轴上的移动；所述自动拍图单元包括步进电机K2和步进电机K3，所述软件模块通过控制步进电机K2控制显微镜在y轴上的平移，软件模块通过控制步进电机K3控制载玻片在x轴上的平移，所述x轴y轴都位于载玻片平面；所述软件模块包括通信单元、步进电机K1控制单元、步进电机K2、K3控制单元、图像拼接单元，所述步进电机K2、K3控制单元控制步进电机K2、K3使相机依次连续拍摄图像直到拍摄完整个目标区域，所述图像拼接单元使将获取的图像拼接为完整目标区域图像；所述步进电机K1控制单元的控制方法为：首先以步长L控制物镜在对焦轴上沿某一方向的步进运动，其中0.03mm≤L≤0.04mm，每步进一次拍摄一次目标图像并采用公式(1)计算一次当前目标图像的清晰度；其中，Df计算的图像清晰度，m，n表示图像的长和宽，df/dx表示灰度变化的微分，在计算时可以用近似表示；当连续Q次拍摄的图像的清晰度小于前一次拍摄的图像时，停止该方向上的步进运动，其中4≤Q≤7；然后沿反方向以步长为S控制物镜在对焦轴上步进运动，其中S＝L/4，运动距离为2QL，每步进一次拍摄一次目标图像，采用公式(2)计算出拍摄目标图像中最清晰的一幅图像；其中，f(x,y)表示图像函数；所述步进电机K2、K3控制单元的控制方法为：拍摄完第一张图像后控制步进电机K2和步进电机K3中的一个，使相机拍摄到的视野沿某一方向水平移动一段距离拍摄第二幅图像，设该某一方向为第一方向，此时控制的步进电机为第一电机，再沿第一方向水平移动一段距离拍摄第三幅图像，直到相机拍摄到的图像中识别出目标区域的边缘；然后控制步进电机K2和步进电机K3中的另一个，使相机拍摄到的视野沿另一方向水平移动一段距离拍摄下一幅图像，设该另一方向为第二方向，此时控制的步进电机为第二电机；再控制第一步进电机使相机拍摄的视野沿第一方向的反方向步进运动，依次拍摄图像，直到在拍摄的图像中识别出目标区域的边缘；再控制第二步进电机使视野沿第二方向移动一段距离，拍摄图像；再控制第一步进电机使相机拍摄的视野沿第一方向步进运动，依次拍摄图像，重复上述方法直到拍摄完整个目标区域；其中拍摄的当前图像与前一幅图像有重叠区域；所述识别出目标区域边缘的方法为识别出载玻片上的液体块的边缘：步骤1：计算每个像素的梯度值，将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度比另外两个像素都大，则该像素保留为边缘点；步骤2：设定梯度阈值K1，若步骤1中检测出的边缘点梯度值大于K1，认定该像素为边缘点；步骤3：设定梯度阈值K2，K2大于K1，找出步骤2得到的边缘点中梯度值大于等于K1，小于等于K2像素，逐个计算这些像素是否是边缘点，计算方法为：该像素周围8领域是否存在梯度大于K2的像素，若存在则认为该像素为边缘点，若不存在则认为该像素不是边缘点；步骤4：找出步骤2得到的边缘点中梯度值大于K2的像素，与步骤3得到的边缘点像素合并一起为目标区域的边缘。本产品针对显微镜的复杂操作，实现了一键式操作，通过对医生平常使用习惯的调研，将常见的功能进行了模块化开发，基本可以满足医生的常规使用。医生只需要点击相应的按钮就可控制显微镜自动工作。这是显微镜智能化的一次探究，能够极大的减少显微镜繁杂的操作，与传统显微镜相比，优势明显。本专利技术对焦方法中可以实现显微镜的快速对焦，可大大提高显微镜的使用效率。附图说明图1是本专利技术一种智能生物显微镜的系统结构框图。图2是本专利技术一种智能生物显微镜的硬件模块结构图。图中A为工业相机，B为镜筒，C为物镜，D为光源，E为调焦齿轮，F为支架立柱，G为光源齿轮，H为支架底座，K1为调焦电机，K2为X方向电机，K3为Y方向电机。图3是本专利技术一种智能生物显微镜的3×3图像采集与拼接体系图。图4是本专利技术一种智能生物显微镜的软件模块工作流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本专利技术做进一步详细说明，应当理解，此处所描述的具体实施案例仅用于解释本专利技术，并不用于限定本专利技术。请参阅图1至图4，本专利技术的一种智能生物显微镜，包括电脑、硬件模块、软件模块和图像采集模块，所述三个模块连接线与电脑相连，所述电脑运行软件模块对硬件模块，图像采集模块加以控制，由硬件模块进行自动对焦，3×3图像采集模块进行图像采集，最后由软件模块进行3×3图像拼接与识别，最终确定生物显微图像中的有形成分。所述硬件模块包括工业相机A、镜筒B、物镜C、光源D、调焦齿轮E、支架立柱F、光源齿轮G、支架底座H、调焦电机K1、X方向电机K2、Y方向电机K3。所述单筒显微镜(B、C)经光路改造可达生物显微镜识别精度，所述调焦电机K1控制物镜C的焦距调整，控制物镜在z轴方向移动，所述X方向电机K2控制单筒显微镜整体在x轴方向移动，所述Y方向电机K3控制待测玻片在y轴方向移动，K2、K3协作在xoy平面为图像采集系统定位，构成3x3图像拍摄体系，所述工业相机C附于单筒显微镜的目镜上方，并与所述电脑相连用于拍摄图像。清晰度反馈调节法；在自动对焦过程中，自动拍图单元持续获取运动过程中拍到的图片，并将拍得的图片数字化反馈给软件模块，软件模块内部集成有清晰度评价函数，他将数字化图片进行清晰度计算，从而获取到每一张图片的清晰度，由一个数值表示，通过对一系列清晰度数值进行一维搜索，找到其中的最大值，通过对一维搜索算法的优化，避免误取局部最大值；通过对当前图片以及他前后图片的清晰度对比结果，控制步进电机的运动方向，从而实现动态自动对焦。在对拍摄获取的图像清晰度评价方面，为了使得测试的结果更具说服力，使电机驱动显微镜载物台进行连续采图，在P1，P2，P3，P4四组样本中均按照每次拍图间隔2000个脉冲(250微米)所得的图片(含有最佳本文档来自技高网...

【技术保护点】
1.一种智能生物显微镜，包括硬件模块、图像采集模块、软件模块及算法模块；所述图像采集模块包括显微镜和相机，所述相机采集经显微镜放大后的图像；所述硬件模块包括自动对焦单元与自动拍图单元，所述自动对焦单元包括步进电机K1，所述软件模块通过控制步进电机K1控制物镜在对焦轴上的移动；所述自动拍图单元包括步进电机K2和步进电机K3，所述软件模块通过控制步进电机K2控制显微镜在y轴上的平移，软件模块通过控制步进电机K3控制载玻片在x轴上的平移，所述x轴y轴都位于载玻片平面；所述软件模块包括通信单元、步进电机K1控制单元、步进电机K2、K3控制单元、图像拼接单元，所述步进电机K2、K3控制单元控制步进电机K2、K3使相机依次连续拍摄图像直到拍摄完整个目标区域，所述图像拼接单元使将获取的图像拼接为完整目标区域图像；所述步进电机K1控制单元的控制方法为：首先以步长L控制物镜在对焦轴上沿某一方向的步进运动，其中0.03mm≤L≤0.04mm，每步进一次拍摄一次目标图像并采用公式(1)计算一次当前目标图像的清晰度；

【技术特征摘要】
1.一种智能生物显微镜，包括硬件模块、图像采集模块、软件模块及算法模块；所述图像采集模块包括显微镜和相机，所述相机采集经显微镜放大后的图像；所述硬件模块包括自动对焦单元与自动拍图单元，所述自动对焦单元包括步进电机K1，所述软件模块通过控制步进电机K1控制物镜在对焦轴上的移动；所述自动拍图单元包括步进电机K2和步进电机K3，所述软件模块通过控制步进电机K2控制显微镜在y轴上的平移，软件模块通过控制步进电机K3控制载玻片在x轴上的平移，所述x轴y轴都位于载玻片平面；所述软件模块包括通信单元、步进电机K1控制单元、步进电机K2、K3控制单元、图像拼接单元，所述步进电机K2、K3控制单元控制步进电机K2、K3使相机依次连续拍摄图像直到拍摄完整个目标区域，所述图像拼接单元使将获取的图像拼接为完整目标区域图像；所述步进电机K1控制单元的控制方法为：首先以步长L控制物镜在对焦轴上沿某一方向的步进运动，其中0.03mm≤L≤0.04mm，每步进一次拍摄一次目标图像并采用公式(1)计算一次当前目标图像的清晰度；其中，Df计算的图像清晰度，m，n表示图像的长和宽，df/dx表示灰度变化的微分，在计算时可以用近似表示；当连续Q次拍摄的图像的清晰度小于前一次拍摄的图像时，停止该方向上的步进运动，其中4≤Q≤7；然后沿反方向以步长为S控制物镜在对焦轴上步进运动，其中S＝L/4，运动距离为2QL，每步进一次拍摄一次目标图像，采用公式(2)计算出拍摄目标图像中最清晰的一幅图像；其中，f(x,y)表示图像函数；所述步进电机K2、K3控制单元的控制方法为：拍摄完第一张图像后控制...

【专利技术属性】
技术研发人员：刘娟秀，秦驰，于腾，李晔彬，霍一博，王天鹤，张进浩，王祥舟，杜晓辉，郝如茜，张静，刘霖，倪光明，刘永，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51