一种基于对偶状态强化学习的磁共振加速扫描方法技术

本发明专利技术涉及一种基于对偶状态强化学习的磁共振加速扫描方法，包括以下步骤：步骤1、采集磁共振数据集；步骤2、得到初始可视PF状态；步骤3、构建基于对偶状态的RL框架；步骤4、构建基于DNN的相位选择网络，实现可视PF状态到奖励值的累计折扣期望Q值的映射；步骤5、构建步骤3中对偶状态感知环境所包括的基于DNN的图像重建网络，实现可视PF状态到隐DNN状态的映射；步骤6、进行步骤4的相位选择网络和步骤5的图像重建网络的训练；步骤7、依据所得网络模型实现推理阶段磁共振图像的加速扫描与重建。本发明专利技术能够兼顾现有切片自适应相位选择方法中匹配优势与高效预测。匹配优势与高效预测。匹配优势与高效预测。

【技术实现步骤摘要】
一种基于对偶状态强化学习的磁共振加速扫描方法


[0001]本专利技术属于信息与通信工程
，涉及一种磁共振加速扫描方法，尤其是一种基于对偶状态强化学习的磁共振加速扫描方法。

技术介绍

[0002]磁共振成像的扫描时间即k空间填充的时间，与相位编码的数量成正比。因此可以通过从k空间采集部分相位编码(如C个)的方式缩短扫描时间。若全填充的k空间中包含P个相位(L个低频相位构成自动校准信号(Auto
‑
Calibration Signal,ACS)区域)，则加速倍率定义为AF＝P/C。ACS区域预定义的低频相位编码称为预选相位，在所有切片中预选相位均保持固定。对于学习算法而言，需要对M＝C
‑
L个相位进行决策。
[0003]依据算法的学习类型，可将候选相位决策方法分为三种：免学习方法、切片一致学习方法和切片自适应学习方法。(1)免学习方法通过简单的随机采样或等间隔采样来确定M个候选相位。由于没有利用每个切片中L个固定相位的信息，免学习方法效果较差。(2)切片一致学习方法在包含有L个低频相位的固定ACS区域的数据集上学习以确定M个候选相位。在训练阶段完成候选相位的学习后，推理阶段的所有切片均使用相同的M个相位。(3)切片自适应学习方法则在训练过程中学习相位预测模型，并在推理过程中使用该预测模型为每个切片预测其特定的M个候选相位。该预测模型可以视为由L个固定相位组成的ACS的函数。由于不同的切片具有不同的ACS，因此对于不同的切片，模型能够预测不同的相位，所以每个切片的相位各不相同。
[0004]切片自适应方法有望得到最佳相位选择。但是，与免学习方法和切片一致学习方法相比，切片自适应方法在每一步的相位选择中都有时间开销，而免学习方法和切片一致学习方法由于所有相位都在扫描之前确定，扫描过程中无时间开销。因此切片自适应学习方法需要确保扫描过程中的相位选择效率，对于常规脉冲序列(如快速自旋回波(Fast Spin Echo,FSE)序列)，所允许的相位预测时间间隔仅有几毫秒(如10ms)。
[0005]强化学习(Reinforcement Learning,RL)具有强大的序列决策能力，因此适用于逐相位决策。然而现有的基于RL的方法，如Pineda提出的切片自适应方法，相位选择效率较低，需要超过1000毫秒来确定一个相位，原因在于，该方法的状态转移和奖励计算都在耗时的重建网络上完成，导致状态转移对图像重建网络的依赖转化为相位选择对图像重建网络的依赖，从而增加了相位选择时间支出。虽然Pineda等提出的方法较为低效，但是具有匹配优势：通过在神经网络重建图像组成的隐DNN状态空间上计算奖励使得预测的相位及对应采集的k空间数据与图像重建网络需要的相位相匹配。
[0006]与Pineda提出的方法相比，Liu等提出的基于RL的TITLE方法采用快速逆傅里叶变换进行状态转移，据此实现了高效的切片自适应逐相位选择，并且基于Transformer特征提取的相位选择网络也确保了相位选择性能。但是由于TITLE方法在逆傅里叶变换图像形成的状态空间上进行奖励计算，所选相位未考虑到面向图像重建网络的相位需求，缺乏Pineda方法的匹配优势，限制了TITLE方法的性能。
[0007]综上，现有切片自适应磁共振加速扫描方法存在以下缺陷和不足：能够兼顾匹配重建网络需求的相位选择方法具有较好的重建性能但效率太低，会拖慢某些快速序列(如：快速回波序列)的扫描速度；而能够进行快速相位选择的方法则很难考虑到来自重建网络的相位需求，因此导致性能下降。
[0008]经检索，未发现与本专利技术相同或相似的已公开的专利文献。

技术实现思路

[0009]本专利技术的目的在于克服现有技术的不足，提出一种基于对偶状态强化学习的磁共振加速扫描方法，能够兼顾现有切片自适应相位选择方法中匹配优势与高效预测两个优点。
[0010]本专利技术解决其现实问题是采取以下技术方案实现的：
[0011]一种基于对偶状态强化学习的磁共振加速扫描方法，包括以下步骤：
[0012]步骤1、采集磁共振数据集；
[0013]步骤2、对步骤1采集的磁共振数据集中待输入网络的每个数据进行预处理，得到初始可视PF状态；
[0014]步骤3、构建基于对偶状态的RL框架；
[0015]步骤4、构建步骤3中相位选择智能体所使用的基于DNN的相位选择网络，实现可视PF状态到奖励值的累计折扣期望Q值的映射；
[0016]步骤5、构建步骤3中对偶状态感知环境所包括的基于DNN的图像重建网络，实现可视PF状态到隐DNN状态的映射；
[0017]步骤6、利用步骤1建立的数据集、步骤2的预处理操作依据步骤3的基于对偶状态的RL框架进行步骤4的相位选择网络和步骤5的图像重建网络的训练；
[0018]步骤7、依据所得网络模型实现推理阶段磁共振图像的加速扫描与重建。
[0019]而且，所述步骤1的磁共振数据集采集的k空间为完全扫描，采集坐标系为笛卡尔坐标系。
[0020]而且，所述步骤2的具体步骤包括：
[0021](1)首先构建包含有L个低频相位编码的ACS区域的低频k空间欠采样相位指示向量L＝30，P＝368；相位指示向量关于k空间中心行/列对称，包含30条全1的行/列，其余部分为0；
[0022](2)然后将相位指示向量与k空间数据相乘得到初始ACS数据，初始ACS数据与其对应的相位指示向量共同组成初始可视PF状态。
[0023]而且，所述步骤3的基于对偶状态的RL框架由相位选择智能体和对偶状态感知环境组成；
[0024]其中，相位选择智能体能够基于可视PF状态空间进行逐相位循环选择，对偶状态感知环境可依据相位选择智能体的决策动作，将动作对应的相位编码添加到当前部分扫描的k空间数据中，实现基于可视PF状态空间的高效状态转移；
[0025]其中，对偶状态感知环境能够将可视PF状态映射为隐DNN状态，依据隐DNN状态实现面向DNN需求的奖励R的计算，通过奖励R评价相位选择智能体选择动作的有效性。
[0026]而且，所述步骤4的具体步骤包括：
[0027](1)对步骤2所述可视PF状态中的部分扫描k空间数据进行逆傅里叶变换得到对应的部分扫描图像，将其分解为图像块，并将分解的每个图像块都映射为一维向量m＝512，称为图像块向量，图像块向量具有c个，对于维度为的切片，依据步长为16可分解得到c＝920；
[0028](2)对于部分扫描图像对应相位指示向量则直接映射为长度为m的一维向量，称为相位指示向量；
[0029](3)设定一个类别向量，共有922个维度为m的输入向量；为了保持部分扫描图像的空间信息，构建位置向量然后通过相加的方式嵌入到输入向量，最终形成输入矩阵并输入N＝4个Transformer编码层中进行不同类型的特征交互以预测相位编码，一个Transformer编码层依顺序包括一个归一化层、一个多头注意力层、一个归一化层和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对偶状态强化学习的磁共振加速扫描方法，其特征在于：包括以下步骤：步骤1、采集磁共振数据集；步骤2、对步骤1采集的磁共振数据集中待输入网络的每个数据进行预处理，得到初始可视PF状态；步骤3、构建基于对偶状态的RL框架；步骤4、构建步骤3中相位选择智能体所使用的基于DNN的相位选择网络，实现可视PF状态到奖励值的累计折扣期望Q值的映射；步骤5、构建步骤3中对偶状态感知环境所包括的基于DNN的图像重建网络，实现可视PF状态到隐DNN状态的映射；步骤6、利用步骤1建立的数据集、步骤2的预处理操作依据步骤3的基于对偶状态的RL框架进行步骤4的相位选择网络和步骤5的图像重建网络的训练；步骤7、依据所得网络模型实现推理阶段磁共振图像的加速扫描与重建。2.根据权利要求1所述的一种基于对偶状态强化学习的磁共振加速扫描方法，其特征在于：所述步骤1的磁共振数据集采集的k空间为完全扫描，采集坐标系为笛卡尔坐标系。3.根据权利要求1所述的一种基于对偶状态强化学习的磁共振加速扫描方法，其特征在于：所述步骤2的具体步骤包括：(1)首先构建包含有L个低频相位编码的ACS区域的低频k空间欠采样相位指示向量L＝30，P＝368；相位指示向量关于k空间中心行/列对称，包含30条全1的行/列，其余部分为0；(2)然后将相位指示向量与k空间数据相乘得到初始ACS数据，初始ACS数据与其对应的相位指示向量共同组成初始可视PF状态。4.根据权利要求1所述的一种基于对偶状态强化学习的磁共振加速扫描方法，其特征在于：所述步骤3的基于对偶状态的RL框架由相位选择智能体和对偶状态感知环境组成；其中，相位选择智能体能够基于可视PF状态空间进行逐相位循环选择，对偶状态感知环境可依据相位选择智能体的决策动作，将动作对应的相位编码添加到当前部分扫描的k空间数据中，实现基于可视PF状态空间的高效状态转移；其中，对偶状态感知环境能够将可视PF状态映射为隐DNN状态，依据隐DNN状态实现面向DNN需求的奖励R的计算，通过奖励R评价相位选择智能体选择动作的有效性。5.根据权利要求1所述的一种基于对偶状态强化学习的磁共振加速扫描方法，其特征在于：所述步骤4的具体步骤包括：(1)对步骤2所述可视PF状态中的部分扫描k空间数据进行逆傅里叶变换得到对应的部分扫描图像，将其分解为图像块，并将分解的每个图像块都映射为一维向量m＝512，称为图像块向量，图像块向量具有c个，对于维度为的切片，依据步长为16可分解得到c＝920；(2)对于部分扫描图像对应相位指示向量则直接映射为长度为m的一维向量，称为相位指示向量；(3)设定一个类别向量，共有922个维度为m的输入向量；为了保持部分扫描图像的空间
信息，构建位置向量然后通过相加的方式嵌入到输入向量，最终形成输入矩阵并输入N＝4个Transformer编码层中进行不同类型的特征交互以预测相位编码，一个Transformer编码层依顺序包括一...

【专利技术属性】
技术研发人员：刘一鸣，庞彦伟，王建，孙学斌，何宇清，
申请(专利权)人：天津天达图治科技有限公司，
类型：发明
国别省市：