【技术实现步骤摘要】
一种基于视频流的机器人步态学习方法、系统及存储介质
[0001]本专利技术涉及机器人步态学习领域，具体涉及一种基于视频流的机器人步态学习方法、系统及存储介质。
技术介绍
[0002]在多足机器人的研究工作中，模仿人或生物的学习能力、进化能力和控制决策能力，赋予机器人智能，是机器人适应复杂环境、完成复杂作业任务、实施自身进化的必要条件，是当前和未来机器人研究领域的核心内容与重要方向。
[0003]当前图像识别领域的应用已经日趋成熟,流媒体本身由众多的数据帧组成,因此在图像识别技术成熟的基础之上应用到流媒体领域，无论从技术还是价值方面都有一定的积极价值，从应用的角度看,众多领域都存在显著需求。
[0004]现有技术中，公开号为CN112220650A的专利公开了一种外骨骼机器人对侧训练用在线步态生成控制系统，包括健侧预运动数据采集模块、传感器信号采集与处理模块、健侧患侧数据转换模块和患侧步态修正模块；通过健侧预运动数据采集模块采集的数据建立步态相位标本集，通过传感器信号采集与处理模块采集健侧运动数据,健侧患侧数据...
【技术保护点】
【技术特征摘要】
1.一种基于视频流的机器人步态学习方法，其特征在于，包括如下步骤：S1，分别采集在不同环境下运动的四足生物的运动视频流，提取所述视频流中在所述不同环境下的关键帧图像；S2，响应于提取所述关键帧图像，提取所述关键帧图像中的四足生物骨骼的关键像素点，其中，所述四足生物骨骼包括基节、股节和胫节，其中，所述关键像素点包括所述基节和所述股节连接的第一连接点、所述股节和所述胫节连接的第二连接点和连接于所述胫节的足点；S3，响应于提取所述关键像素点，利用神经网络对所述不同环境对应的不同步态信息进行深度学习，其中，所述步态信息包括足点坐标X1、第一节点坐标X2、第二节点做坐标X3、表示第一连接点之间的距离的节距R、表示足点在周期内移动的距离的步距M、抬腿迈步时的第一连接点的位置坐标X4和步态周期T，所述步态周期T为同一足部相邻两次触地的时间间隔；S4，识别视觉设备中当前帧图像的环境信息，基于所述深度学习的神经网络判断相应的步态信息，根据所述步态信息中的足点坐标建立离散化步态模型，在所述离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标。2.根据权利要求1所述的基于视频流的机器人步态学习方法，其特征在于，步骤S2具体为：对所述关键帧图像进行预处理，利用数学形态学方法提取预处理后的前景图像中的四足生物骨骼。3.根据权利要求2所述的基于视频流的机器人步态学习方法，其特征在于，所述关键帧图像预处理具体为：S11，求取所述关键帧图像的像素平均值作为背景图像的像素，根据所述背景图像的像素识别所述视频流的当前帧的背景图像；S12，响应于所述视频流的当前帧的背景图像，将所述视频流的当前帧与所述背景图像做灰度减运算处理获得前景图像，对所述灰度减运算处理的运算结果取绝对值；S13，响应于所述获得前景图像，利用中值滤波算法对所述前景图像进行滤波处理；S14，响应于所述前景图像的滤波处理，对所述前景图像进行二值化后膨胀腐蚀处理，对所述前景图像做归一化处理。4.根据权利要求1所述的基于视频流的机器人步态学习方法，其特征在于，根据所述S3中所述足点坐标和所述节点坐标的求取方法为：响应于提取所述关键帧图像的前景图像的四足生物骨骼，求取所述前景图像的质心坐标，以所述四足生物骨骼中的离所述质心坐标最接近的骨骼点作为坐标原点，建立空间直角坐标系，在所述空间直接坐标系中分别求取所述不同环境下的所述第一节点、所述第二节点和所述足点的坐标。5.根据权利要求1所述的基于视频流的机器人步态学习方法，其特征在于，对所述神经网络的训练如下：采集所述视频流中环境信息和步态信息，所述环境信息形成数据集Y，所述步态信息形成数据集W(X1,X2,X3,R,M,T)，将所述数据集Y与所述数据集W建立对应的映射关系，所述神经网络接收所述数据集Y和所述数据集W进行深度学习得到函数F，Y＝F(W)。6.根据权利要求1所述的基于视频流的机器人步态学习方法，其特征在于，所述S4中离散化步态模型的建立如下：在所述步距中插入N个等距的步距离散点，其中N大于等于2，所述N个步距离散点在所述机器人空间直角坐标系...
【专利技术属性】
技术研发人员：崔岩，刘强，郭晨露，
申请(专利权)人：珠海市四维时代网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。