一种基于深度强化学习的显微图像自动聚焦方法及系统技术方案

本发明专利技术公开一种基于深度强化学习的显微图像自动聚焦方法，先根据深度强化学习构建显微图像自动聚焦的训练器，再通过该训练器训练构建的深度Q网络模型，通过训练器和深度Q网络模型的联合使用将现有的被动自动聚焦技术中两个独立部分融合成一体，输入待处理的显微图像，采用一种端到端的学习方法直接对显微图像进行处理，输出Q值从而获得对应的聚焦运动。本发明专利技术的方法可有效弱化聚焦评价函数和搜索策略对聚焦性能的影响，同时通过将现有的被动自动聚焦技术中两个独立部分的融合可有效提高聚焦精度和聚焦速度。

【技术实现步骤摘要】
一种基于深度强化学习的显微图像自动聚焦方法及系统
本专利技术涉及图像处理
，尤其是一种基于深度强化学习的显微图像自动聚焦方法及系统。
技术介绍
自动聚焦是利用显微图像进行细胞检测与识别的首要步骤，且广泛应用于各种疾病的诊断，例如：宫颈癌、结核病等。自动聚焦技术可以分为两大类：主动自动聚焦技术和被动自动聚焦技术。目前大多数自动聚焦方法都是基于被动自动聚焦技术，该被动自动聚焦技术包含两个独立的部分：一是聚焦评价函数，利用聚焦评价函数可计算待评价显微图像的聚焦程度，即图像的清晰度。现有方法中，聚焦评价函数对聚焦性能的影响较大，即对聚焦评价函数的设置要求较高。二是搜索策略，采用搜索策略迭代移动显微镜物镜，以找到聚焦评价值最大时显微镜物镜的位置。搜索策略对聚焦性能的优劣起着决定性的作用，现有的大部分聚焦搜索策略都存在通用性差，算法复杂，搜索时间长，不适用于高精度的显微镜自动聚焦。因此，现有的自动聚焦技术普遍存在聚焦精度低、聚焦速度慢等问题，亟需一种快速、精准、通用性好的显微图像自动聚焦技术。
技术实现思路
本专利技术提供一种基于深度强化学习的显微图像自动聚焦方法及系统，用于克服现有技术中聚焦精度低、聚焦速度慢等缺陷。为实现上述目的，本专利技术提出一种基于深度强化学习的显微图像自动聚焦方法，包括：获取显微图像序列；根据深度强化学习构建显微图像自动聚焦的训练器；所述训练器包括智能模块和评价模块；所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作；所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价；利用所述显微图像序列和所述训练器，训练预先构建在所述智能模块内的深度Q网络模型；利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。为实现上述目的，本专利技术还提出一种基于深度强化学习的显微图像自动聚焦系统，包括：图像采集模块，用于获取显微图像序列；训练器构建模块，用于根据深度强化学习构建显微图像自动聚焦的训练器；所述训练器包括智能模块和评价模块；所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作；所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价；模型训练模块，用于利用所述显微图像序列和所述训练器，训练预先构建在所述智能模块内的深度Q网络模型；自动聚焦模块，用于利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。为实现上述目的，本专利技术还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。与现有技术相比，本专利技术的有益效果有：本专利技术提供的基于深度强化学习的显微图像自动聚焦方法，先根据深度强化学习构建显微图像自动聚焦的训练器，再通过该训练器训练构建的深度Q网络模型，通过训练器和深度Q网络模型的联合使用将现有的被动自动聚焦技术中两个独立部分融合成一体，输入待处理的显微图像，采用一种端到端的学习方法直接对显微图像进行处理，输出Q值从而获得对应的聚焦运动。本专利技术的方法可有效弱化聚焦评价函数和搜索策略对聚焦性能的影响，同时通过将现有的被动自动聚焦技术中两个独立部分的融合可有效提高聚焦精度和聚焦速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术提供的基于深度强化学习的显微图像自动聚焦方法流程图；图2为深度强化学习的基本原理示意图；图3为本专利技术实施例中的深度Q网络模型结构图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。另外，本专利技术各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。本专利技术提出一种基于深度强化学习的显微图像自动聚焦方法，如图1所示，包括：101获取显微图像序列；102根据深度强化学习构建显微图像自动聚焦的训练器；所述训练器包括智能模块和评价模块；所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作；所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价；深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。103利用所述显微图像序列和所述训练器，训练预先构建在所述智能模块内的深度Q网络模型；深度Q网络模型采用DQN算法，DQN算法融合了神经网络和Qlearning的方法。104利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。本专利技术提供的基于深度强化学习的显微图像自动聚焦方法中，基于深度强化学习，采用一种端到端的方式，从视觉输入中直接学习自动聚焦策略，采用该策略使显微镜物镜移动到聚焦清晰的位置。深度强化学习的基本原理如图2所示。由图可知，深度强化学习的基本原理可以表示为一个闭环：智能体(Agent)从离散化的动作空间中选取某个聚焦动作at，并将该聚焦动作at传递给环境(Environment)；环境执行该聚焦动作at(Executeat)，并触发状态表示从st转换到st+1，同时返回一个奖励rt和一个新的观察xt(本专利技术中，观察xt为显微镜中实时获取的显微图像)。从深度强化学习的基本原理可知，深度强化学习的关键在于状态空间、动作空间、奖励函数以及Q函数的设计：(1)状态空间：对于本专利技术的显微图像自动聚焦方法，状态空间包括不同的状态表示st，所述状态表示st即为训练器的输入。(2)动作空间：对于本专利技术的显微图像自动聚焦方法，动作空间包括不同的聚焦动作at。(3)奖励函数：奖励函数输出的奖励rt指导智能体的学习过程，当输出的rt值较高时，智能体将前一个聚焦动作作为一个好的策略，反之，则训练失败或在很大程度上影响训练速度。进一步地，奖励函数在提供训练终止条件方面也是至关重要的。(4)Q函数：深度强化学习的关键就是学习一种动作执行策略，并采用一种函数对当前策略进行描述。通常采用Q函数来描述当前策略，本专利技术训练一种深度Q网络模型作为描述最佳策略的最优Q函数(DQN)。在其中一个实施例中，对于步骤101，获取显微图像序列，包括：...

【技术保护点】
1.一种基于深度强化学习的显微图像自动聚焦方法，其特征在于，包括：/n获取显微图像序列；/n根据深度强化学习构建显微图像自动聚焦的训练器；所述训练器包括智能模块和评价模块；所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作；所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价；/n利用所述显微图像序列和所述训练器，训练预先构建在所述智能模块内的深度Q网络模型；/n利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。/n

【技术特征摘要】
1.一种基于深度强化学习的显微图像自动聚焦方法，其特征在于，包括：
获取显微图像序列；
根据深度强化学习构建显微图像自动聚焦的训练器；所述训练器包括智能模块和评价模块；所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作；所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价；
利用所述显微图像序列和所述训练器，训练预先构建在所述智能模块内的深度Q网络模型；
利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。


2.如权利要求1所述的基于深度强化学习的显微图像自动聚焦方法，其特征在于，获取显微图像序列，包括：
在显微镜物镜的景深范围内，控制显微镜物镜以恒定速度等间距的沿显微镜Z轴移动，在显微镜物镜移动的每个位置采集一张显微图像，构成一组显微图像；
控制显微镜物镜移动到新的视野，重复上一步骤，再采集一组显微图像；
控制显微镜物镜移动到若干不同的视野，采集若干组显微图像，所述若干组显微图像构成显微图像序列。


3.如权利要求2所述的基于深度强化学习的显微图像自动聚焦方法，其特征在于，根据深度强化学习构建显微图像自动聚焦的训练器，包括：
根据深度强化学习，构建包括智能模块和评价模块的显微图像自动聚焦的训练器；
所述智能模块的输入为状态表示，输出为聚焦动作；所述状态表示包括起始状态表示和一般状态表示，所述起始状态表示为连续2帧显微图像构成的序列，所述一般状态表示为连续2帧显微图像以及所述显微图像对应的聚焦动作构成的序列；所述聚焦动作包括5个离散化聚焦动作，5个所述离散化聚焦动作分别为粗正步、细正步、终止步、细负步和粗负步；
所述评价模块通过奖励函数对所述智能模块的输出进行评价；所述评价的结果包括正奖励和负奖励，若评价结果为正奖励，则结束训练，若评价结果为负奖励，则继续训练。


4.如权利要求3所述的基于深度强化学习的显微图像自动聚焦方法，其特征在于，所述奖励函数的计算公式为
reward＝α·(current_focus-max_focus)+β(1)
式中，α为权重系数；current_focus为当前帧显微图像的聚焦评价值；max_focus为当前视野下聚焦评价值中的最大值；β为100或-100，若当前帧显微图像的聚焦评价值大于设定阈值时β＝100，否则β＝-100。


5.如权利要求3所述的基于深度强化学习的显微图像自动聚焦方法，其特征在于，所述聚焦评价值为LAP聚焦评价值与ATEN聚焦评价值的和；
所述LAP聚焦评价值的计算公式为



式中，FLAP为当前帧显微图像的LAP聚焦评价值；g(m,n)为像素点位置(m,n)的图像强度值，像素点位置包括(m-1,n)、(...

【专利技术属性】
技术研发人员：翟永平，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43