一种应用于关节康复的辅助系统、方法及存储介质技术方案

本发明专利技术公开了一种应用于关节康复的辅助系统、方法及存储介质，其中系统包括：关节图像获取模块，用于获取患者关节图像并进行预处理；关节角度预测模块，用于基于预处理后的患者关节图像，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点；角度综合器，用于基于三个预测关节关键点计算得到第二预测关节角度，并对第一预测关节角度和第二预测关节角度取平均值，得到最终关节角度评估值。只需获取患者的关节图像，就可利用关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工测量和计算关节恢复角度的繁琐步骤，提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况。

【技术实现步骤摘要】
一种应用于关节康复的辅助系统、方法及存储介质
本专利技术涉及医疗设备
，尤其涉及一种应用于关节康复的辅助系统、方法及存储介质。
技术介绍
目前许多肘关节骨折患者在进行内固定或者石膏固定保守治疗后。因为肢体长期制动，容易导致肌肉萎缩、关节内粘连或韧带挛缩。早期合理的功能锻炼，可促进患肢血液循环，减少肌肉萎缩，防止关节僵硬，促进骨折愈合，其临床价值已得到公认。我国康复医疗体系由三级医院康复科、二级医院康复科(康复专科医院)、社区康复中心(门诊)或居家康复组成。三级医院康复科主要承担急性期康复治疗，二级医院康复科(康复专科医院)则承担恢复期康复治疗，社区康复医疗中心(门诊)或居家康复主要承担维持期康复治疗。但是目前无论在软、硬件设施配置上还是在人员配置方面，优质资源均主要集中在大城市的三甲医院。许多患者来自县城或边远农村，住址附近并不一定具备良好的康复条件，长期住在大城市三甲医院进行康复锻炼不仅不方便，而且康复费用不菲。对于许多并不富裕的患者来说，能凑齐手术费进行手术就已实属不易，额外的高额康复费用则难以承担，所以许多患者很难在三甲医院进行肘关节术后的规范屈伸活动康复训练。第二个问题是出院时虽然医生常会教导患者出院后如何进行肘关节的屈伸活动锻炼，但由于疼痛，以及不知如何把握康复训练的力度，担心骨折再移位或关节脱位等，许多患者本人以及家属出院后并不敢进行屈伸活动。术后一个月随访时患者肘关节已经出现僵硬，恢复并不理想。
技术实现思路
本专利技术提供了一种应用于关节康复的辅助系统、方法及存储介质，以解决现有技术中患者在出院后无法规范的进行关节康复训练的问题。第一方面，提供了一种应用于关节康复的辅助系统，包括：关节图像获取模块，用于获取患者关节图像并进行预处理；关节角度预测模块，用于基于预处理后的患者关节图像，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；角度综合器，用于基于三个预测关节关键点计算得到第二预测关节角度，并对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。通过上述应用于关节康复的辅助系统，只需获取患者的关节图像，就可利用预先训练好的关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工测量和计算关节恢复角度的繁琐步骤，做到精准、数字化、即视感和便利化，有助于提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况，及时进行远程的指导；同样也有利于术者随访资料收集与统计分析，从而总结临床疗效，改善和提高医疗技术。进一步地，所述关节康复评估模型通过如下方法训练得到：采集若干关节图像并进行预处理；标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出预测关节角度。在该关节康复评估模型中，特征提取子网络、关键点检测子网络和角度回归子网络构成了一个多任务学习系统，即同时实现了关键点检测任务和角度回归任务。两个学习任务相辅相成，分别利用自身任务中所包含的有用信息来帮助另一个任务学习得到更为准确的模型参数。在多任务学习中，任务之间的信息相互共享，知识在不同的任务中互相迁移。一方面，多任务学习方法通过信息共享和知识迁移提升整体的学习效果，另一方面，当样本数据不足时，可以通过其它任务学到的知识来补充单个任务的信息，能缓解样本数据稀疏的问题。此外，角度回归子网络直接获得关节的活动角度，而关键点检测子网络通过一定的公式计算可间接得到关节的活动角度，二者求均值后作为最终角度，能够进一步减小单个任务中出现的误差。进一步地，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：A1、设置训练参数：采用Adam优化器，以均方误差损失为损失函数，预设batchsize为a，预设训练次数为n轮,预设学习率β；A2、网络参数初始化：从互联网下载ImageNet数据集中预训练的ResNet50模型参数，将特征抽取子网络的参数初始化为该预训练的ResNet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；A3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；A4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；A5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；A6、重复步骤A3～A5，直至完成n轮训练，即得到最终的关节康复评估模型。进一步地，还包括压力可视化模块；所述压力可视化模块包括：柔性压力传感器，用于安装于患者关节处，采集关节进行被动活动时施加的压力值，并传输给处理模块；处理模块，用于接收柔性压力传感器传输的压力值，并转换为数字信号传输给显示模块；显示模块，用于接收处理模块的数字信号并将关节被动活动时施加的压力值进行显示。第二方面，提供了一种应用于关节康复的辅助方法，包括：获取患者关节图像并进行预处理；以预处理后的患者关节图像为输入，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；基于三个预测关节关键点计算得到第二预测关节角度，对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。进一步地，所述关节康复评估模型通过如下方法训练得到：采集若干关节图像并进行预处理；标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的本文档来自技高网...

【技术保护点】
1.一种应用于关节康复的辅助系统，其特征在于，包括：/n关节图像获取模块，用于获取患者关节图像并进行预处理；/n关节角度预测模块，用于基于预处理后的患者关节图像，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；/n角度综合器，用于基于三个预测关节关键点计算得到第二预测关节角度，并对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。/n

【技术特征摘要】
1.一种应用于关节康复的辅助系统，其特征在于，包括：
关节图像获取模块，用于获取患者关节图像并进行预处理；
关节角度预测模块，用于基于预处理后的患者关节图像，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；
角度综合器，用于基于三个预测关节关键点计算得到第二预测关节角度，并对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。


2.根据权利要求1所述的应用于关节康复的辅助系统，其特征在于，所述关节康复评估模型通过如下方法训练得到：
采集若干关节图像并进行预处理；
标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；
基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；
其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；
所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；
所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；
所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出预测关节角度。


3.根据权利要求2所述的应用于关节康复的辅助系统，其特征在于，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：
A1、设置训练参数：采用Adam优化器，以均方误差损失为损失函数，预设batchsize为a，预设训练次数为n轮,预设学习率β；
A2、网络参数初始化：从互联网下载ImageNet数据集中预训练的ResNet50模型参数，将特征抽取子网络的参数初始化为该预训练的ResNet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；
A3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；
A4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；
A5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；
A6、重复步骤A3～A5，直至完成n轮训练，即得到最终的关节康复评估模型。


4.根据权利要求1所述的应用于关节康复的辅助系统，其特征在于，还包括压力可视化模块；
所述压力可视化模块包括：
柔性压力传感器，用于安装于患者关节处，采集关节进行被动活动时施加的压力值，并传输给处理模块；
处理模块，用于接收柔性压力传感器传输的压力值，并转换为数字信号传输给显示模块；
显示模块，用于接收处理模块的数字信号并将关节被动活动时施加的压力值进行显示。


5.一种应用于关节康复的辅助方法，其特征在于，包括：
获取患者关节图像并进行预处理；
以预处理后的患者关节图像为输入，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；
基于三个预测关节关键点计算得到第二预测关节角度，对第一...

【专利技术属性】
技术研发人员：成亮，熊运生，朱勇，林涨源，
申请(专利权)人：中南大学湘雅医院，
类型：发明
国别省市：湖南;43