【技术实现步骤摘要】
本申请属于髋关节压配领域，尤其涉及一种基于强化学习的关节手术机器人智能压配控制方法、装置、设备及计算机可读存储介质。
技术介绍
1、随着骨关节手术的普及，对骨关节术前与术中的压配精度的要求越来越高。但是，由于骨关节股骨侧病变的多样性，如骨折、坏死性骨关节病、各类关节炎、骨刺等，造成骨关节的压配的误差存在较大的不确定性。
2、目前，对于髋关节的压配是通过有经验的医生手动操作完成压配，压配精度差。
3、因此，如何提高髋关节压配精度是本领域技术人员亟需解决的技术问题。
技术实现思路
1、本申请实施例提供一种基于强化学习的关节手术机器人智能压配控制方法、装置、设备及计算机可读存储介质，能够提高髋关节压配精度。
2、第一方面，本申请实施例提供一种基于强化学习的关节手术机器人智能压配控制方法，包括：
3、获取初始状态信息；其中，初始状态信息包括髋臼的中心点位置、髋臼的半径、髋臼杯型号、机械臂各个关节的初始放置位置、机械臂各个关节的可达运动范围、机械臂各个关节运动过程中的位置和速度、机械臂各个关节最终到达的目标位置；
4、将初始状态信息输入预设的强化学习网络模型中，输出机械臂的运动轨迹；
5、基于机械臂的运动轨迹，控制机械臂将髋臼杯压配到髋臼中。
6、可选的，强化学习网络模型，包括：
7、q估计网络，用于以具有权重的卷积神经网络来评估动作值函数；
8、q目标网络，用于计算拟合的目标值。p>
9、可选的，q估计网络，用于以具有权重的卷积神经网络来评估动作值函数，包括：
10、将记忆库中的当前状态与损失函数得到的梯度作为q估计网络的输入，q估计网络通过训练迭代多次来调整q估计网络的权值；
11、q估计网络的输出结果包括第一结果和第二结果；其中，第一结果为评估动作价值的函数值；第二结果为机械臂的运动轨迹。
12、可选的，q目标网络，用于计算拟合的目标值，包括：
13、将下一状态和q估计网络权值输入q目标网络，输出拟合的目标值。
14、可选的，包括：
15、q估计网络和q目标网络均为密集卷积网络，用于缓解梯度消失、促进特征传递、减小计算量和参数量。
16、可选的，还包括：
17、分别获取机械臂运动到目标位置的偏差、覆盖率与各个关节移动的平均距离；
18、基于机械臂运动到目标位置的偏差、覆盖率与各个关节移动的平均距离，确定奖励机制。
19、可选的，还包括：
20、将q目标网络的最大值参数值、奖励值求和，得到q目标网络的拟合函数值；
21、计算q目标网络的拟合函数值、评估动作价值的函数值之间的欧氏距离，得到q估计网络的损失函数。
22、第二方面，本申请实施例提供了一种基于强化学习的关节手术机器人智能压配控制装置，装置包括：
23、信息获取模块，用于获取初始状态信息；其中，初始状态信息包括髋臼的中心点位置、髋臼的半径、髋臼杯型号、机械臂各个关节的初始放置位置、机械臂各个关节的可达运动范围、机械臂各个关节运动过程中的位置和速度、机械臂各个关节最终到达的目标位置；
24、运动轨迹输出模块，用于将初始状态信息输入预设的强化学习网络模型中，输出机械臂的运动轨迹；
25、压配控制模块，用于基于机械臂的运动轨迹，控制机械臂将髋臼杯压配到髋臼中。
26、第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
27、所述处理器执行所述计算机程序指令时实现如第一方面所示的基于强化学习的关节手术机器人智能压配控制方法。
28、第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所示的基于强化学习的关节手术机器人智能压配控制方法。
29、本申请实施例的基于强化学习的关节手术机器人智能压配控制方法、装置、设备及计算机可读存储介质，能够提高髋关节压配精度。
30、该基于强化学习的关节手术机器人智能压配控制方法，包括：获取初始状态信息；其中，初始状态信息包括髋臼的中心点位置、髋臼的半径、髋臼杯型号、机械臂各个关节的初始放置位置、机械臂各个关节的可达运动范围、机械臂各个关节运动过程中的位置和速度、机械臂各个关节最终到达的目标位置；将初始状态信息输入预设的强化学习网络模型中，输出机械臂的运动轨迹；基于机械臂的运动轨迹，控制机械臂将髋臼杯压配到髋臼中。
本文档来自技高网...【技术保护点】
1.一种基于强化学习的关节手术机器人智能压配控制方法，其特征在于，包括：
2.根据权利要求1所述的基于强化学习的关节手术机器人智能压配控制方法，其特征在于，强化学习网络模型，包括：
3.根据权利要求2所述的基于强化学习的关节手术机器人智能压配控制方法，其特征在于，Q估计网络，用于以具有权重的卷积神经网络来评估动作值函数，包括：
4.根据权利要求3所述的基于强化学习的关节手术机器人智能压配控制方法，其特征在于，Q目标网络，用于计算拟合的目标值，包括：
5.根据权利要求4所述的基于强化学习的关节手术机器人智能压配控制方法，其特征在于，包括：
6.根据权利要求5所述的基于强化学习的关节手术机器人智能压配控制方法，其特征在于，还包括：
7.根据权利要求6所述的基于强化学习的关节手术机器人智能压配控制方法，其特征在于，还包括：
8.一种基于强化学习的关节手术机器人智能压配控制装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，电子设备包括：处理器以及存储有计算机程序指令的存储器；p>
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的基于强化学习的关节手术机器人智能压配控制方法。
...【技术特征摘要】
1.一种基于强化学习的关节手术机器人智能压配控制方法，其特征在于，包括：
2.根据权利要求1所述的基于强化学习的关节手术机器人智能压配控制方法，其特征在于，强化学习网络模型，包括：
3.根据权利要求2所述的基于强化学习的关节手术机器人智能压配控制方法，其特征在于，q估计网络，用于以具有权重的卷积神经网络来评估动作值函数，包括：
4.根据权利要求3所述的基于强化学习的关节手术机器人智能压配控制方法，其特征在于，q目标网络，用于计算拟合的目标值，包括：
5.根据权利要求4所述的基于强化学习的关节手术机器人智能压配控制方法，其特征在于，包括：
【专利技术属性】
技术研发人员：张逸凌，刘星宇，
申请(专利权)人：北京长木谷医疗科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。