一种基于迁移强化学习的大鼠机器人流畅控制方法技术

本发明专利技术公开了一种基于迁移强化学习的大鼠机器人流畅控制方法，通过采集一定的大鼠机器人控制数据来构建一个关于大鼠的环境模型，然后基于此模型和流畅性限制条件在仿真环境中训练得到一个能够实现流畅控制的强化学习控制算法，再迁移环境模型和控制算法到真实环境中让算法能够快速自适应，来实现自动控制大鼠完成复杂迷宫任务。本发明专利技术实现对大鼠未来姿态更加准确的预测，同时能够衡量大鼠行为的不确定性，通过仿真平台的搭建，让强化学习算法能够在仿真平台中进行训练，无需大量数据训练强化学习模型，能够帮助算法在真实环境中快速自适应，本发明专利技术提出了一种流畅性度量指标，并结合强化学习控制算法，能够有效的实现对大鼠流畅准确的控制。流畅准确的控制。流畅准确的控制。

【技术实现步骤摘要】
一种基于迁移强化学习的大鼠机器人流畅控制方法


[0001]本专利技术属于大鼠机器人
，具体涉及一种基于迁移强化学习的大鼠机器人流畅性控制方法。
技术背景
[0002]动物机器人是一种新型机器人，它是集人工智能和生物智能于一体的混合智能体，不仅保留了经过自然进化的智慧生物体优势，运动灵活协调，而且分别强于独立的动物体或机器。动物机器人应用范围极广，可用于军事侦察、灾难搜救、医疗诊断等场景。作为科学研究的前沿领域，其运动控制得到了诸多学者关注。
[0003]动物机器人是动物生理学、计算机科学、控制学等多学科交叉融合的产物，原理是利用脑机接口技术将电极安装至动物大脑，通过电极背包产生电信号刺激使得动物完成指定动作。相较于传统机器人，动物机器人直接以动物身体为本体，不需额外考虑利用合金或特殊材料制造，保留了动物自身经自然进化的良好机能，在复杂环境中不用通过专门的控制算法对环境进行检测和判断，可自主实现运动和避障功能。动物机器人续航能力得到大大提升，解决了目前机器人领域电能供给的长期困扰。
[0004]由于大鼠的控制是具有不确定性的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移强化学习的大鼠机器人流畅控制方法，其特征在于，通过以下方案实现：首先是基于Ensemble LSTM的环境模型构建、然后为仿真迷宫平台和仿真大鼠搭建、接着是RTRPO控制算法仿真环境训练、最后为ELSTM和RTRPO在线自适应，其中仿真迷宫平台是基于集成环境模型构建，在该环境模型中加入流畅性度量指标的限制，使用RTRPO算法来完成仿真训练任务；将ELSTM模型和RTRPO模型迁移到真实环境，通过与真实环境交互来修正ELSTM环境模型，然后通过ELSTM环境模型产生虚拟数据来帮助RTRPO模型快速完成在线自适应得到针对当前大鼠机器人的流畅控制。2.如权利要求1所述的一种基于迁移强化学习的大鼠机器人流畅控制方法，其特征在于，所述ELSTM环境模型的输入为真实大鼠的关键姿态点和当前的刺激指令信息，输出为受到刺激后真实大鼠下一时刻的关键姿态点，采用L2距离作为损失函数对ELSTM环境模型进行训练，所述关键姿态点是基于第三视角俯拍视频，通过基于差值的背景建模方法，对视频中真实大鼠机器人的关键点进行检测提取得到，设置8个二维关键点，包括头、尾巴根部、左前爪、左后爪、右前爪、右后爪、颈部中点以及脊柱中点。3.如权利要求1所述的一种基于迁移强化...

【专利技术属性】
技术研发人员：郑能干，王泓宇，李琦琦，李佳臻，
申请(专利权)人：浙江大学，
类型：发明
国别省市：