基于深度学习的骨科手术机器人智能磨锉控制方法及装置制造方法及图纸

本发明专利技术提供一种基于深度学习的骨科手术机器人智能磨锉控制方法及装置，方法包括：采集用于强化学习网络模型训练的多个参数信息，多个参数信息包括骨科手术机器人的机械臂的参数信息、髋臼参数信息以及髋臼杯参数信息；基于多个参数信息，对强化学习网络模型进行迭代训练，得到训练好的强化学习网络模型；将目标参数信息输入至训练好的强化学习网络模型中，控制骨科手术机器人的机械臂的智能运动，以实现磨锉操作。上述方法，通过训练好的深度学习网络模型，对目标参数进行处理，进而控制机械臂智能移动，以实现磨锉操作。如此，机械臂能够实现自主移动，并自主实现磨锉操作，从而减少操作人员由于操作不当带来的磨锉误差，提高磨锉精度。高磨锉精度。高磨锉精度。

【技术实现步骤摘要】
基于深度学习的骨科手术机器人智能磨锉控制方法及装置


[0001]本专利技术涉及医疗领域，尤其涉及一种基于深度学习的骨科手术机器人智能磨锉控制方法及装置。

技术介绍

[0002]由于应用机器人进行骨关节手术的普及，对骨关节术前与术中的磨挫精度的要求越来越高。目前，手术机器人主要是靠人为操作，可能会产生操作不当，影响磨锉精度的情况。
[0003]因此，需要提出一种新的方式，以提高磨锉精度。

技术实现思路

[0004]本专利技术提供一种基于深度学习的骨科手术机器人智能磨锉控制方法及装置，用以解决上述问题。
[0005]本专利技术的第一方面，提供一种基于深度学习的骨科手术机器人智能磨锉控制方法，包括：
[0006]采集用于强化学习网络模型训练的多个参数信息，所述多个参数信息包括骨科手术机器人的机械臂的参数信息、髋臼参数信息以及髋臼杯参数信息；
[0007]基于所述多个参数信息，对强化学习网络模型进行迭代训练，得到训练好的强化学习网络模型；
[0008]将目标参数信息输入至训练好的强化学习网络模型中，控制骨科手术机器人的机械臂的智能运动，以实现磨锉操作。
[0009]可选的，所述骨科手术机器人的机械臂的参数信息包括：机械臂各个关节的初始放置位置、机械臂各个关节的初始放置位置、机械臂各个关节的可达运动范围、机械臂各个关节运动过程中的位置和速度、机械臂各个关节最终到达的目标位置；
[0010]所述髋臼参数信息，包括：髋臼的中心点位置以及髋臼的半径；
[0011]所述髋臼杯参数信息，包括：髋臼杯型号、髋臼杯的前倾角、髋臼杯的外展角、髋臼杯到髋臼上部的平均距离、髋臼杯到髋臼内部的平均距离以及髋臼杯到髋臼前壁的平均距离。
[0012]可选的，所述强化学习网络模型，包括：
[0013]第一分支结构和第二分支结构；
[0014]所述第一分支结构包括Actor优化器、Online策略网络与Target策略网络，所述Online策略网络分别与所述Actor优化器及所述Target策略网络连接；
[0015]所述Actor优化器输入Online策略网络计算得到的梯度，并对Online策略网络进行网络参数的更新，更新的Online策略网络使用Soft update参数更新算法对Target策略网络进行训练，输出当前状态s
i
、当前动作a
i
、当前奖励值r
i
与下一状态s
i+1
，并将数据存储到记忆库中；
[0016]所述第二分支结构包括Critic优化器、迁移Online Q网络与Target Q网络，所述迁移Online Q网络分别与所述Critic优化器、所述Target Q网络及所述述Online策略网络连接；
[0017]所述Critic优化器用于输入迁移Online Q网络计算得到的梯度，并对迁移Online Q网络进行网络参数的更新，更新的迁移Online Q网络使用Soft update参数更新算法对Target Q网络进行训练。
[0018]可选的，所述记忆库中的数据进行了N次采样操作，N次采样后的数据分别输入至Target策略网络和Target Q网络中。
[0019]可选的，还包括：
[0020]所述Online策略网络的动作策略，在加入噪声扰动之后，输入至环境中，并接收反馈的机械臂的当前的状态、机械臂的当前奖励值与机械臂的下一状态。
[0021]可选的，所述迁移Online Q网络包括依次连接的第一模块、RELU模块以及FC模块；
[0022]其中，所述第一模块包括第一支路和第二支路，所述第一支路包括依次连接的3*3conv模块、BN模块、RELU模块、3*3conv模块、BN模块，第二支路包括1*1conv模块，第一支路处理所得的结果与第二支路处理所得的结果相加后输入至所述RELU模块。
[0023]可选的，当前奖励值对应的奖励机制基于如下方式计算得到：
[0024][0025]t
i
表示当前状态的状态值，当下一状态的指标t
i+1
大于当前指标值t
i
时，强化学习网络模型会得到σ
‑
奖励，停止得到负惩罚σ0以阻止暂停，当下一状态的指标小于当前指标值时，强化学习网络模型会得到σ
+
奖励。
[0026]本专利技术的第二方面，提供一种基于深度学习的骨科手术机器人智能控制装置，包括：
[0027]采集模块，用于采集用于强化学习网络模型训练的多个参数信息，所述多个参数信息包括骨科手术机器人的机械臂的参数信息、髋臼参数信息以及髋臼杯参数信息；
[0028]训练模块，用于基于所述多个参数信息，对强化学习网络模型进行迭代训练，得到训练好的强化学习网络模型；
[0029]控制模块，用于将目标参数信息输入至训练好的强化学习网络模型中，控制骨科手术机器人的机械臂的智能运动。
[0030]本专利技术的第三方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于深度学习的骨科手术机器人智能磨锉控制方法。
[0031]本专利技术的第四方面，提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于深度学习的骨科手术机器人智能磨锉控制方法。
[0032]本专利技术的上述技术方案至少具有如下有益效果：
[0033]本专利技术提供的基于深度学习的骨科手术机器人智能磨锉控制方法，通过采集的多
个参数信息对深度学习网络模型进行训练，进而得到训练好的深度学习网络模型。基于训练好的深度学习网络模型，对目标参数进行处理，进而控制机械臂智能移动，以实现磨锉操作。如此，机械臂能够实现自主移动，并自主实现磨锉操作，从而减少操作人员由于操作不当带来的磨锉误差，提高磨锉精度。
附图说明
[0034]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1为本专利技术提供的一种基于深度学习的骨科手术机器人智能磨锉控制方法的流程示意图；
[0036]图2为本专利技术提供的一种深度学习网络模型的结构示意图；
[0037]图3为本专利技术提供的一种迁移Online Q网络的结构示意图；
[0038]图4为专利技术提供的一种基于深度学习的骨科手术机器人智能磨锉控制装置的模块示意图；
[0039]图5为本专利技术提供的一种电子设备的结构示意图。
具体实施方式
[0040]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的骨科手术机器人智能磨锉控制方法，其特征在于，包括：采集用于强化学习网络模型训练的多个参数信息，所述多个参数信息包括骨科手术机器人的机械臂的参数信息、髋臼参数信息以及髋臼杯参数信息；基于所述多个参数信息，对强化学习网络模型进行迭代训练，得到训练好的强化学习网络模型；将目标参数信息输入至训练好的强化学习网络模型中，控制骨科手术机器人的机械臂的智能运动，以实现磨锉操作。2.根据权利要求1所述的基于深度学习的骨科手术机器人智能磨锉控制方法，其特征在于，所述骨科手术机器人的机械臂的参数信息包括：机械臂各个关节的初始放置位置、机械臂各个关节的初始放置位置、机械臂各个关节的可达运动范围、机械臂各个关节运动过程中的位置和速度、机械臂各个关节最终到达的目标位置；所述髋臼参数信息，包括：髋臼的中心点位置以及髋臼的半径；所述髋臼杯参数信息，包括：髋臼杯型号、髋臼杯的前倾角、髋臼杯的外展角、髋臼杯到髋臼上部的平均距离、髋臼杯到髋臼内部的平均距离以及髋臼杯到髋臼前壁的平均距离。3.根据权利要求1所述的基于深度学习的骨科手术机器人智能磨锉控制方法，其特征在于，所述强化学习网络模型，包括：第一分支结构和第二分支结构；所述第一分支结构包括Actor优化器、Online策略网络与Target策略网络，所述Online策略网络分别与所述Actor优化器及所述Target策略网络连接；所述Actor优化器输入Online策略网络计算得到的梯度，并对Online策略网络进行网络参数的更新，更新的Online策略网络使用Soft update参数更新算法对Target策略网络进行训练，输出当前状态s
i
、当前动作a
i
、当前奖励值r
i
与下一状态s
i+1
，并将数据存储到记忆库中；所述第二分支结构包括Critic优化器、迁移Online Q网络与Target Q网络，所述迁移Online Q网络分别与所述Critic优化器、所述Target Q网络及所述述Online策略网络连接；所述Critic优化器用于输入迁移Online Q网络计算得到的梯度，并对迁移Online Q网络进行网络参数的更新，更新的迁移Online Q网络使用Soft update参数更新算法对Target Q网络进行训练。4.根据权利要求3所述的基于深度学习的骨科手术机器人智能磨锉...

【专利技术属性】
技术研发人员：张逸凌，刘星宇，
申请(专利权)人：张逸凌，
类型：发明
国别省市：