一种基于深度强化学习的左心室内膜图像分割方法和系统技术方案

本发明专利技术提供一种基于深度强化学习的左心室内膜图像分割方法和系统，首先获取人体心脏MRI数据集并进行预处理；利用强化学习智能体建立起始点定位任务并转化为第一马尔可夫决策过程；利用第一D3QN网络对第一马尔可夫决策过程进行循环迭代优化，获取最优的起始点；智能体以最优的起始点为轮廓追踪的起点，建立轮廓追踪任务并将轮廓追踪任务转化为第二马尔可夫决策过程；利用第二D3QN网络对第二马尔可夫决策过程进行循环更新，将每次更新获得的轮廓点共同保存为左心室内膜图像轮廓，将左心室内膜图像轮廓作为左心室内膜图像分割结果；本发明专利技术能够有效提高模型的性能并提高分割精度。发明专利技术能够有效提高模型的性能并提高分割精度。发明专利技术能够有效提高模型的性能并提高分割精度。

【技术实现步骤摘要】
一种基于深度强化学习的左心室内膜图像分割方法和系统


[0001]本专利技术涉及计算机医学图像处理、深度学习和强化学习
，更具体地，涉及一种基于深度强化学习的左心室内膜图像分割方法和系统。

技术介绍

[0002]强化学习(Reinforcement Learning)是机器学习的一个分支，其模型能够自主学习，实现从环境中不断尝试和探索来达到最优决策的过程，而DQN(Deep Q
‑
Network)是一种基于深度神经网络和Q
‑
learning算法的强化学习算法。在DQN中，深度神经网络被用来逼近Q函数(Q
‑
function)，并将其作为价值函数，使得模型能够通过最大化Q函数来实现最优决策。Q函数定义了在给定状态下执行某一动作所获得的期望奖励，因此，DQN的目标是训练该网络以最大化期望奖励。DQN算法的核心是Q
‑
learning算法，它是一种基于Bellman方程的强化学习算法。该算法通过从经验池(Experience Replay)中随机抽样来训练神经网络，并使用固定的目标网络(Target Network)来解决问题。这些技术有助于提高学习速度和稳定性，使模型更加准确和可靠。
[0003]DQN算法已经在各种领域取得了很好的效果，如计算机游戏、机器人控制、自然语言处理等。在计算机游戏方面，DQN已经在Atari游戏中取得了与人类水平相当的表现。在机器人控制方面，DQN通过优化深度神经网络的参数，能够让机器人更好地学习控制策略，并实现高效率和精准性的运动。此外，在自然语言处理领域，DQN可以被用来训练智能对话系统，使其更加自然、人性化、流畅。
[0004]Double DQN(Double Deep Q
‑
Network)和Dueling DQN都是基于DQN的改进版，用来提高DQN算法在强化学习中的稳定性和性能。
[0005]Double DQN通过使用两个神经网络来解决DQN算法中的过度估计的问题。具体地说，在DQN中，目标Q值是通过目标网络计算得到，并且由于存在最大化操作，可能导致对目标Q值的过度估计。而Double DQN使用另外一个神经网络来计算最大Q值，以减小这种估计误差，从而提高模型的稳定性和性能。
[0006]Dueling DQN则是通过将Q函数分解为状态价值函数(State
‑
Value Function)和优势函数(Advantage Function)两部分来解决DQN算法中的不稳定性问题。在传统的DQN中，Q函数直接输出某一个动作的Q值；而在Dueling DQN中，Q函数首先输出状态值函数和优势函数，然后将它们组合起来得到最终的Q值。状态值函数评估当前状态的价值，而优势函数评估每个动作相对于其他动作的优劣。这种拆分方式可以提高Q函数的表示效率，并且使模型更加稳定和可靠。
[0007]现有技术中公开了一种左心室图像分割方法、装置、设备及存储介质，该方法包括：接收待分割的左心室图像，将左心室图像输入训练好的图像分割网络中进行分割，获得图像分割网络处理得到的左心室分割图像并输出，其中，图像分割网络为深度学习网络，包括下采样部分和上采样部分，上采样部分包括第一卷积层和下采样网络层，上采样部分包括第二卷积层和上采样网络层，从而实现左心室图像的自动分割，提高了左心室图像分割
的效率和效果；现有技术中的方法仅使用单个神经网络模型来进行左心室图像分割，不仅需要大量的训练数据，同时起始点的定位精度不高，因此分割精度也较低。

技术实现思路

[0008]本专利技术为克服上述现有技术需要大量的训练数据以及分割精度较低的缺陷，提供一种基于深度强化学习的左心室内膜图像分割方法和系统，能够提高模型的性能并提高分割精度。
[0009]为解决上述技术问题，本专利技术的技术方案如下：
[0010]一种基于深度强化学习的左心室内膜图像分割方法，包括以下步骤：
[0011]S1：获取人体心脏MRI数据集并进行预处理；
[0012]S2：利用预设的强化学习智能体和预处理后的人体心脏MRI数据集建立起始点定位任务并转化为第一马尔可夫决策过程；
[0013]S3：利用预设的第一D3QN网络对第一马尔可夫决策过程进行循环迭代优化，将最后一次的优化结果作为最优的起始点；
[0014]S4：所述强化学习智能体以最优的起始点为轮廓追踪的起点，根据预处理后的人体心脏MRI数据集和预设的辅助信息建立轮廓追踪任务，并将轮廓追踪任务转化为第二马尔可夫决策过程；
[0015]S5：利用预设的第二D3QN网络对第二马尔可夫决策过程进行循环更新，将每次更新获得的轮廓点共同保存为左心室内膜图像轮廓，将左心室内膜图像轮廓作为左心室内膜图像分割结果。
[0016]优选地，所述步骤S1中预处理的具体方法为：
[0017]对人体心脏MRI数据集中的每张心脏MRI图像提取左心室ROI及其周围若干数量的ROI，将提取到的所有ROI利用双线性插值的方法调整至预设大小，将调整大小后的所有ROI进行归一化处理，完成预处理。
[0018]优选地，所述步骤S2中的起始点定位任务具体为：
[0019]在所述起始点定位任务中，强化学习智能体的第一状态为每个预处理后的人体心脏MRI数据，并任选一点作为起始点定位任务的起点；
[0020]强化学习智能体的动作为：以当前点为中心，强化学习智能体从方向集合{0,1,2,3,4,5,6,7}中选择一个方向进行若干像素长度的移动；
[0021]所述方向集合中的0～7分别表示：根据二维笛卡尔坐标定义的左、左上、上、右上、右、右下、下和左下八个方向；
[0022]强化学习智能体的第一奖励r1为：设置目标点，计算当前点位置与目标点之间的最短欧氏距离d
curr
，以及下一步点位置与目标点之间的最短欧氏距离d
next
，则第一奖励r1为：r1＝d
curr
‑
d
next
。
[0023]优选地，所述步骤S3中的第一D3QN网络具体为：
[0024]所述第一D3QN网络包括依次连接的：输入层、第一2D卷积层、第一2D最大池化层、第二2D卷积层、第二2D最大池化层、第三2D卷积层、第三2D最大池化层、第四2D卷积层、FC模块和输出层；
[0025]所述FC模块包括两条分支，一条分支为依次连接的第一优势函数FC层和第二优势
函数FC层，另一条分支为依次连接的第一价值函数FC层和第二价值函数FC层。
[0026]优选地，所述步骤S4中的轮廓追踪任务具体为：
[0027]在所述轮廓追踪任务中，强化学习智能体的第二状态为添加了边缘检测辅助信息的、预处理后的人体心脏MRI数据，并以起始点定位任务获得的最优的起始点为轮廓追踪的起点；
[0028]强化学习智能体的动作为：以当前点为中心，强化学习智本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的左心室内膜图像分割方法，其特征在于，包括以下步骤：S1：获取人体心脏MRI数据集并进行预处理；S2：利用预设的强化学习智能体和预处理后的人体心脏MRI数据集建立起始点定位任务并转化为第一马尔可夫决策过程；S3：利用预设的第一D3QN网络对第一马尔可夫决策过程进行循环迭代优化，将最后一次的优化结果作为最优的起始点；S4：所述强化学习智能体以最优的起始点为轮廓追踪的起点，根据预处理后的人体心脏MRI数据集和预设的辅助信息建立轮廓追踪任务，并将轮廓追踪任务转化为第二马尔可夫决策过程；S5：利用预设的第二D3QN网络对第二马尔可夫决策过程进行循环更新，将每次更新获得的轮廓点共同保存为左心室内膜图像轮廓，将左心室内膜图像轮廓作为左心室内膜图像分割结果。2.根据权利要求1所述的一种基于深度强化学习的左心室内膜图像分割方法，其特征在于，所述步骤S1中预处理的具体方法为：对人体心脏MRI数据集中的每张心脏MRI图像提取左心室ROI及其周围若干数量的ROI，将提取到的所有ROI利用双线性插值的方法调整至预设大小，将调整大小后的所有ROI进行归一化处理，完成预处理。3.根据权利要求2所述的一种基于深度强化学习的左心室内膜图像分割方法，其特征在于，所述步骤S2中的起始点定位任务具体为：在所述起始点定位任务中，强化学习智能体的第一状态为每个预处理后的人体心脏MRI数据，并任选一点作为起始点定位任务的起点；强化学习智能体的动作为：以当前点为中心，强化学习智能体从方向集合{0,1,2,3,4,5,6,7}中选择一个方向进行若干像素长度的移动；所述方向集合中的0～7分别表示：根据二维笛卡尔坐标定义的左、左上、上、右上、右、右下、下和左下八个方向；强化学习智能体的第一奖励r1为：设置目标点，计算当前点位置与目标点之间的最短欧氏距离d
curr
，以及下一步点位置与目标点之间的最短欧氏距离d
next
，则第一奖励r1为：r1＝d
curr
‑
d
next
。4.根据权利要求3所述的一种基于深度强化学习的左心室内膜图像分割方法，其特征在于，所述步骤S3中的第一D3QN网络具体为：所述第一D3QN网络包括依次连接的：输入层、第一2D卷积层、第一2D最大池化层、第二2D卷积层、第二2D最大池化层、第三2D卷积层、第三2D最大池化层、第四2D卷积层、FC模块和输出层；所述FC模块包括两条分支，一条分支为依次连接的第一优势函数FC层和第二优势函数FC层，另一条分支为依次连接的第一价值函数FC层和第二价值函数FC层。5.根据权利要求4所述的一种基于深度强化学习的左心室内膜图像分割方法，其特征在于，所述步骤S4中的轮廓追踪任务具体为：...

【专利技术属性】
技术研发人员：曾安，庞耀幸，潘丹，赵靖亮，杨宝瑶，赵屾，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：