本发明专利技术属于手术导航技术领域，公开了一种血管介入导丝的自动导航方法、装置、设备及介质。该方法包括：基于第一造影视频，获取当前帧图像的状态信息；构建深度强化学习网络并进行训练，得到训练好的深度强化学习网络；将所述当前帧图像的状态信息输入到训练好的深度强化学习网络中，得到机器手臂的决策动作；在所述机器手臂执行完所述决策动作之后，重新获取当前帧图像的状态信息，并输入到训练好的深度强化学习网络中，直至所述导丝到达所述目标位置为止。通过上述方式，通过机器手臂来代替医生手动递送导丝的过程，能够有效减少医生暴露在辐射环境中的时间。在辐射环境中的时间。在辐射环境中的时间。
【技术实现步骤摘要】
血管介入导丝的自动导航方法、装置、设备及介质
[0001]本专利技术涉及手术导航
，尤其涉及一种血管介入导丝的自动导航方法、装置、设备及介质。
技术介绍
[0002]介入手术是利用现代高技术手段进行的微创治疗手段，具有创口小以及恢复快的优点。仪器的发展使得介入手术可以在影像设备下进行操作，能够完全取代部分传统开放手术。目前手术方案的确定往往是在进行造影的时候，医生清楚地看到血管(冠脉血管、肾动脉)或神经的具体情况后，进行病情分析，进行导丝的行走路径规划。目前的介入手术方式是由医生手动通过导丝或将球囊和支架送入到病变位置。然而，通过医生手动递送导丝不仅费时费力，同时医生在手术室长时间暴露在辐射的环境中。
技术实现思路
[0003]本专利技术的主要目的在于提供一种血管介入导丝的自动导航方法、装置、设备及介质，旨在解决现有技术通过医生手动递送导丝费时费力以及增加医生暴露在辐射环境中的时间的技术问题。
[0004]为实现上述目的，本专利技术提供了一种血管介入导丝的自动导航方法，所述方法包括以下步骤：
[0005]S1、基于第一造影视频，获取当前帧图像的状态信息，其中，所述状态信息包括导丝的当前起点位置和目标位置；
[0006]S2、构建深度强化学习网络并进行训练，得到训练好的深度强化学习网络；
[0007]S3、将所述当前帧图像的状态信息输入到训练好的深度强化学习网络中，得到机器手臂的决策动作；
[0008]S4、在所述机器手臂执行完所述决策动作之后，重新获取当前帧图像的状态信息，并根据新的状态信息重复执行步骤S3
‑
S4，直至所述导丝到达所述目标位置为止。
[0009]可选地，所述构建深度强化学习网络并进行训练，得到训练好的深度强化学习网络，包括：
[0010]S21、构建深度强化学习网络，并设计机器手臂操作导丝的决策动作和奖励机制；
[0011]S22、基于第二造影视频，获取第一帧图像的状态信息s，并将所述第一帧图像的状态信息s输入到所述深度强化学习网络中，得到机器手臂的决策动作a；
[0012]S23、在所述机器手臂执行完所述决策动作a之后，获取第二帧图像的状态信息s
’
，并基于所述奖励机制得到从状态信息s到状态信息s
’
的回报值r；
[0013]S24、将(s，a，r，s
’
)作为一组样本存放入经验池集T中，并在令s＝s'之后，重复执行步骤S21
‑
S24，直至导丝到达目标位置为止；
[0014]S25、从所述经验池集T中随机抽取B组样本，利用梯度下降法将误差反向传播，来更新所述深度强化学习网络的网络参数，得到训练好的深度强化学习网络。
[0015]可选地，基于所述奖励机制得到从状态信息s到状态信息s
’
的回报值r，包括：
[0016]根据状态信息s和状态信息s
’
，确定从所述状态信息s到所述状态信息s
’
的距离；
[0017]基于所述距离，根据所述奖励机制得到从所述状态信息s到所述状态信息s
’
的回报值r。
[0018]可选地，所述基于所述距离，根据所述奖励机制得到从所述状态信息s到所述状态信息s
’
的回报值r，包括：
[0019]判断所述第二帧图像中导丝的当前起点位置是否在血管外面，得到判断结果；
[0020]基于所述判断结果和所述距离，根据所述奖励机制得到从所述状态信息s到所述状态信息s
’
的回报值r。
[0021]可选地，所述从所述经验池集T中随机抽取B组样本，利用梯度下降法将误差反向传播，来更新所述深度强化学习网络的网络参数，得到训练好的深度强化学习网络，包括：
[0022]所述经验池集T中随机抽取B组样本，并分别输入到所述深度强化学习网络中的目标网络和预测网络中，得到所述目标网络的输出价值Q(s',a',θ')和所述预测网络的输出价值Q(s,a,θ)；
[0023]根据所述目标网络的输出价值Q(s',a',θ')和所述预测网络的输出价值Q(s,a,θ)来构建损失函数Loss；
[0024]基于所述损失函数Loss利用梯度下降法将误差反向传播，来更新所述深度强化学习网络的网络参数，得到训练好的深度强化学习网络。
[0025]可选地，所述根据所述目标网络的输出价值Q(s',a',θ')和所述预测网络的输出价值Q(s,a,θ)来构建损失函数Loss，包括：
[0026]根据所述目标网络的输出价值Q(s',a',θ')和回报值r来确定目标值；
[0027]根据所述预测网络的输出价值Q(s,a,θ)来确定预测值；
[0028]基于所述目标值和所述预测值来构建损失函数Loss。
[0029]可选地，所述根据所述目标网络的输出价值Q(s',a',θ')和回报值来确定目标值，包括：
[0030]从所述目标网络的所有输出价值Q(s',a',θ')中确定最大的输出价值maxQ(s',a',θ')；
[0031]根据所述最大的输出价值maxQ(s',a',θ')和回报值r来确定目标值。
[0032]此外，为实现上述目的，本专利技术还提出一种血管介入导丝的自动导航装置，所述血管介入导丝的自动导航装置包括：
[0033]获取模块，用于基于第一造影视频，获取当前帧图像的状态信息，其中，所述状态信息包括导丝的当前起点位置和目标位置；
[0034]构建模块，用于构建深度强化学习网络并进行训练，得到训练好的深度强化学习网络；
[0035]所述获取模块，还用于将所述当前帧图像的状态信息输入到训练好的深度强化学习网络中，得到机器手臂的决策动作；
[0036]所述获取模块，用于在所述机器手臂执行完所述决策动作之后，重新获取当前帧图像的状态信息。
[0037]此外，为实现上述目的，本专利技术还提出一种血管介入导丝的自动导航设备，所述血
管介入导丝的自动导航设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的血管介入导丝的自动导航程序，所述血管介入导丝的自动导航程序配置为实现如上文所述的血管介入导丝的自动导航方法的步骤。
[0038]此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有血管介入导丝的自动导航程序，所述血管介入导丝的自动导航程序被处理器执行时实现如上文所述的血管介入导丝的自动导航方法的步骤。
[0039]本专利技术通过获取在PCI手术过程的实时造影视频，来采集实时造影视频中的当前帧图像，并获取当前帧图像中的状态信息，再将当前帧图像的状态信息输入到训练好的深度强化学习网络中，即可得到机器手臂的决策动作，机器手臂执行完决策动作后，重新采集实时造影视频中的当前帧图像，并获取重新采集的当前帧图像的新的状态信息，再将新的状态信息输入到训练好的深度强化学习网络中，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种血管介入导丝的自动导航方法，其特征在于，所述自动导航方法包括：S1、基于第一造影视频，获取当前帧图像的状态信息，其中，所述状态信息包括导丝的当前起点位置和目标位置；S2、构建深度强化学习网络并进行训练，得到训练好的深度强化学习网络；S3、将所述当前帧图像的状态信息输入到训练好的深度强化学习网络中，得到机器手臂的决策动作；S4、在所述机器手臂执行完所述决策动作之后，重新获取当前帧图像的状态信息，并根据新的状态信息重复执行步骤S3
‑
S4，直至所述导丝到达所述目标位置为止。2.如权利要求1所述的方法，其特征在于，所述构建深度强化学习网络并进行训练，得到训练好的深度强化学习网络，包括：S21、构建深度强化学习网络，并设计机器手臂操作导丝的决策动作和奖励机制；S22、基于第二造影视频，获取第一帧图像的状态信息s，并将所述第一帧图像的状态信息s输入到所述深度强化学习网络中，得到机器手臂的决策动作a；S23、在所述机器手臂执行完所述决策动作a之后，获取第二帧图像的状态信息s
’
，并基于所述奖励机制得到从状态信息s到状态信息s
’
的回报值r；S24、将(a,s,r,s')作为一组样本存放入经验池集T中，并在令s＝s'之后，重复执行步骤S21
‑
S24，直至导丝到达目标位置为止；S25、从所述经验池集T中随机抽取B组样本，利用梯度下降法将误差反向传播，来更新所述深度强化学习网络的网络参数，得到训练好的深度强化学习网络。3.如权利要求2所述的方法，其特征在于，基于所述奖励机制得到从状态信息s到状态信息s
’
的回报值r，包括：根据状态信息s和状态信息s
’
，确定从所述状态信息s到所述状态信息s
’
的距离；基于所述距离，根据所述奖励机制得到从所述状态信息s到所述状态信息s
’
的回报值r。4.如权利要求3所述的方法，其特征在于，所述基于所述距离，根据所述奖励机制得到从所述状态信息s到所述状态信息s
’
的回报值r，包括：判断所述第二帧图像中导丝的当前起点位置是否在血管外面，得到判断结果；基于所述判断结果和所述距离，根据所述奖励机制得到从所述状态信息s到所述状态信息s
’
的回报值r。5.如权利要求2所述的方法，其特征在于，所述从所...
【专利技术属性】
技术研发人员：王旭，马骏，郑凌霄，兰宏志，
申请(专利权)人：深圳睿心智能医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。