一种基于强化学习算法的智能假肢制造技术

本发明专利技术公开了一种基于强化学习算法的智能假肢，包括：训练数据采集组件、云端工作站、核心处理器、第一肌电信号采集模块、执行机构和假肢本体；训练数据采集组件采集完整腿部在进行不同动作时的肌电信号和位姿信号；云端工作站利用训练集对预先构建的DQN模型进行训练；第一肌电信号采集模块采集残肢的肌电信号；核心处理器加载训练好的DQN模型，并输出与残肢肌电信号对应的位姿信号；执行机构根据DQN模型输出的位姿信号驱动假肢本体执行对应的动作。本发明专利技术利用完整腿部采集的肌电信号与动作位姿对DQN模型进行训练，识别残肢肌电信号并作出符合佩戴者习惯的腿部动作的能力，提高假肢动作识别精度。高假肢动作识别精度。高假肢动作识别精度。

【技术实现步骤摘要】
一种基于强化学习算法的智能假肢


[0001]本专利技术涉及智能假肢
，更具体的说是涉及一种基于强化学习算 法的智能假肢。

技术介绍

[0002]现有的商业化假肢主要有以下三种缺点：(1)肢体的复合动作必须分成 单一动作依次进行，不符合人体运动习惯；(2)多采用阈值控制，控制稳定 但识别率不高；(3)需要佩戴者完成多组训练以定制适合的假肢，费时费力。
[0003]因此，如何提供一种使腿部动作更贴近人体本身、动作识别率高的基于 强化学习算法的智能假肢是本领域技术人员亟需解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种基于强化学习算法的智能假肢，利用被试 者完整腿部采集的肌电信号与动作位姿建立训练集对DQN模型进行强化学习 训练，并识别残肢肌电信号并作出符合佩戴者习惯的腿部动作的能力，提高 假肢动作识别精度，进而提升使用体验。
[0005]为了实现上述目的，本专利技术采用如下技术方案：
[0006]一种基于强化学习算法的智能假肢，包括：训练数据采集组件、云端工 作站、核心处理器、第一肌电信号采集模块、执行机构和假肢本体；
[0007]所述训练数据采集组件用于在安装所述假肢本体之前，采集完整腿部在 进行不同动作时的肌电信号和位姿信号；
[0008]所述核心处理器用于对完整腿部的肌电信号和位姿信号进行预处理后， 作为训练集，并上传至所述云端工作站；
[0009]所述云端工作站用于利用所述训练集对预先构建的DQN模型进行训练；
[0010]所述第一肌电信号采集模块用于在安装所述假肢本体之后，采集残肢的 肌电信号；
[0011]所述核心处理器用于加载训练好的DQN模型，并将采集的残肢肌电信号 输入训练好的DQN模型，输出与残肢肌电信号对应的位姿信号；
[0012]所述执行机构用于根据DQN模型输出的位姿信号驱动所述假肢本体执行 对应的动作。
[0013]进一步的，在上述一种基于强化学习算法的智能假肢中，所述训练数据 采集组件包括：第二肌电信号采集模块和动作采集模块；
[0014]所述第二肌电信号采集模块用于在安装所述假肢本体之前，采集完整腿 部的肌电信号；
[0015]所述动作采集模块用于在安装所述假肢本体之前，采集完整腿部的位姿 信号；
[0016]所述核心处理器根据完整腿部的位姿信号，实时构造腿部运动模型。
[0017]进一步的，在上述一种基于强化学习算法的智能假肢中，所述第一肌电 信号采集模块、所述第二肌电信号采集模块和所述动作采集模块均连接有放 大电路；所述放大电路用于将完整腿部的肌电信号和位姿信号以及残肢肌电 信号放大至所需幅度值。
[0018]进一步的，在上述一种基于强化学习算法的智能假肢中，所述放大电路 包括：仪用放大器U2、四运算放大器U1A、U1B、U1C和U1D、电阻R1、R2、 R3、R4、R5、R6、R7、R8、R9、R10、R11、以及电容C1、C2和C3；其中，仪 用放大器U2的型号为AD620AN；四运算放大器U1A、U1B、U1C和U1D的型号 均为LM324AD；
[0019]四运算放大器U1A的同相输入端与第一肌电信号采集模块或第二肌电信 号采集模块或动作采集模块的输出端连接，反相输入端分别与电阻R1的一端 和电阻R2的一端连接，电阻R2的另一端与四运算放大器U1A的输出端连接； 四运算放大器U1B的同相输入端与第一肌电信号采集模块或第二肌电信号采 集模块或动作采集模块的输出端连接，反向输入端分别与电阻R1的另一端和 电阻R3的一端连接，电阻R3的另一端与四运算放大器U1B的输出端连接； 电阻R4的一端和电阻R5的一端连接，四运算放大器U1C的反相输入端和同 相输入端共同接入电阻R4和电阻R5的连接节点，电阻R4的另一端分别与四 运算放大器U1A的输出端和电容C1的一端连接，电容C1的另一端分别与电 阻R6的一端和仪用放大器U2的反相输入端连接；电阻R7的一端与电阻R6 的另一端连接，电阻R7的另一端分别与仪用放大器U2的同相输入端和电容 C2的一端连接；电容C2的另一端分别与电阻R5的另一端和四运算放大器U1B 的输出端连接；四运算放大器U1D的同相输入端接地，电阻R10和电容C3并 联在四运算放大器U1D的反相输入端和输出端之间；四运算放大器U1D的输 出端与电阻R11的一端连接，电阻R11的另一端与核心处理器连接；四运算 放大器U1D的反相输入端和四运算放大器U1C的输出端之间连接电阻R9；仪 用放大器U2的输出端与核心处理器连接；电阻R8连接在仪用放大器U2的引 脚1和引脚8之间；仪用放大器U2的偏置输出端接地。
[0020]进一步的，在上述一种基于强化学习算法的智能假肢中，所述核心处理 器还用于对根据完整腿部的不同位姿信号为肌电信号打上对应的标签，并利 用主成分分析法对完整腿部的肌电信号活动段数据进行特征提取，得到肌电 信号的均方根值、方差、中值频率和样本熵特征，并将提取的肌电信号特征 和某一肌电信号下的位姿信号一一对应起来，组成多个数据组，形成训练集。
[0021]进一步的，在上述一种基于强化学习算法的智能假肢中，所述核心处理 器还用于在对肌电信号进行特征提取之前，对采集的肌电信号进行低通滤波、 高通滤波和工频率波处理。
[0022]进一步的，在上述一种基于强化学习算法的智能假肢中，所述DQN模型 包括目标网络和预测网络；所述目标网络和所述预测网络的初始化参数相同；
[0023]所述预测网络用于在训练阶段采用优选经验回放方式从经验回放池中随 机抽取数组样本，根据本轮抽取的数组样本计算当前各个动作所对应的Q值， 并采用∈
‑
贪心算法选取当前数组样本下Q值最高的动作，在执行动作后更新 自身网络参数，在完成一定次数的更新后，将自身网络参数赋值给所述目标 网络；所述数组样本为某一肌电信号下所对应的完整腿部的各个运动参数；
[0024]所述经验回放池用于存储所述训练集以及每轮训练过程中产生的新的数 组，并在每轮训练过程中供所述预测网络抽取数组进行训练。
[0025]进一步的，所述云端工作站还用于每间隔一定时间对所述DQN模型进行 再次训练。
[0026]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基 于强化学习算法的智能假肢，具有以下有益效果：通过采集残疾者完整腿部 日常生活中运动的肌电信号和腿部位姿信号，建立肌电信号与腿部位姿的对 应关系，并作为训练集对DQN模型进行训练。由于所采用的数据集由佩戴者 完好腿部采集得到，经过训练的模型在某一肌电信号的作用下做出的腿部动 作更贴近人体本身。将训练好的模型加载到假肢核心处理器中，对残肢采集 的肌电信号进行识别，提高动作识别率。除此之外，每隔一段时间，佩戴者 只需要佩戴训练数据采集组件正常生活就可以实现数据集的获取，且随着佩 戴时间的增长，完整腿部的数据会进一步积累，此时，对模型进行再次训练， 以进一步提高精度。
附图说明...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习算法的智能假肢，其特征在于，包括：训练数据采集组件、云端工作站、核心处理器、第一肌电信号采集模块、执行机构和假肢本体；所述训练数据采集组件用于在安装所述假肢本体之前，采集完整腿部在进行不同动作时的肌电信号和位姿信号；所述核心处理器用于对完整腿部的肌电信号和位姿信号进行预处理后，作为训练集，并上传至所述云端工作站；所述云端工作站用于利用所述训练集对预先构建的DQN模型进行训练；所述第一肌电信号采集模块用于在安装所述假肢本体之后，采集残肢的肌电信号；所述核心处理器用于加载训练好的DQN模型，并将采集的残肢肌电信号输入训练好的DQN模型，输出与残肢肌电信号对应的位姿信号；所述执行机构用于根据DQN模型输出的位姿信号驱动所述假肢本体执行对应的动作。2.根据权利要求1所述的一种基于强化学习算法的智能假肢，其特征在于，所述训练数据采集组件包括：第二肌电信号采集模块和动作采集模块；所述第二肌电信号采集模块用于在安装所述假肢本体之前，采集完整腿部的肌电信号；所述动作采集模块用于在安装所述假肢本体之前，采集完整腿部的位姿信号；所述核心处理器根据完整腿部的位姿信号，实时构造腿部运动模型。3.根据权利要求2所述的一种基于强化学习算法的智能假肢，其特征在于，所述第一肌电信号采集模块、所述第二肌电信号采集模块和所述动作采集模块均连接有放大电路；所述放大电路用于将完整腿部的肌电信号和位姿信号以及残肢肌电信号放大至所需幅度值。4.根据权利要求3所述的一种基于强化学习算法的智能假肢，其特征在于，所述放大电路包括：仪用放大器U2、四运算放大器U1A、U1B、U1C和U1D、电阻R1、R2、R3、R4、R5、R6、R7、R8、R9、R10、R11、以及电容C1、C2和C3；其中，仪用放大器U2的型号为AD620AN；四运算放大器U1A、U1B、U1C和U1D的型号均为LM324AD；四运算放大器U1A的同相输入端与第一肌电信号采集模块或第二肌电信号采集模块或动作采集模块的输出端连接，反相输入端分别与电阻R1的一端和电阻R2的一端连接，电阻R2的另一端与四运算放大器U1A的输出端连接；四运算放大器U1B的同相输入端与第一肌电信号采集模块或第二肌电信号采集模块或动作采集模块的输出端连接，反向输入端分别与电阻R1的另一端和电阻R3的一端连接，电阻R3的另一端与四运算放大器U1B的输出端连接；电阻R4的一端和电阻R5的一端连接，四运算放大器U1C的反相输...

【专利技术属性】
技术研发人员：许猛，石岩，赵雪林，李健雄，项东全，
申请(专利权)人：中国人民解放军总医院第四医学中心，
类型：发明
国别省市：