一种多源视频数据机器人技能学习方法及系统技术方案

本发明专利技术提供了一种多源视频数据机器人技能学习方法及系统；通过示例视频搜集模块根据运动技能文本描述，自动搜集与该技能相关的示例视频并进行数据扩充，获取运动示例视频数据；构建虚拟机器人及虚拟摄像机并实例化，协同机器人控制策略与摄像机运镜策略并组合智能体，生成并录制机器人运动视频录制数据；通过运动技能视频打分模块，构建视频智能打分模型，生成对机器人运动视频录制数据的评分结果；通过智能体学习模块，设置神经网络打分模型的奖励反馈协同优化机器人控制策略和摄像机运镜策略，并更新到智能体中。

【技术实现步骤摘要】

本专利技术涉及机器学习智能迭代数据处理信息传输控制，更具体地说，本专利技术涉及一种多源视频数据机器人技能学习方法及系统。

技术介绍

1、虚拟机器人的技能学习旨在使其具备多种运动技能关键词（如行走、跑步、抓取物体等），这些运动技能关键词可用于生成符合人类运动模式且符合物理规律的机器人角色动画。由于机器人的运动过程往往需要多个关节的联合控制，且运动过程中与环境发生的碰撞交互通常是不可微分的，因此现有方法通常采用强化学习技术来学习机器人的控制策略。强化学习方法的训练信号来自机器人执行某个动作后得到的奖励反馈，并根据反馈逐步调整机器人的控制策略以获取更高的期望奖励。其中的模仿学习方法提供了一种简单有效的奖励计算方法，即基于机器人动作序列与示例动作序列（通常来自人类示例）之间的相似度计算奖励：相似度越高，奖励越大；反之相似度越低，则奖励越小；

2、机器人动作序列与示例动作序列的相似度有两种常用的计算方法：一种是基于追踪误差，即计算对应时刻下机器人各个关节与示例个体关节间l2距离的平均值；另一种是基于分布间距离，即度量机器人运动时产生的状态转移分布与示例个本文档来自技高网...

【技术保护点】

1.一种多源视频数据机器人技能学习方法，其特征在于，包括：

2.根据权利要求1所述的一种多源视频数据机器人技能学习方法，其特征在于，S100包括：

3.根据权利要求1所述的一种多源视频数据机器人技能学习方法，其特征在于，S200包括：

4.根据权利要求1所述的一种多源视频数据机器人技能学习方法，其特征在于，S300包括：

5.根据权利要求1所述的一种多源视频数据机器人技能学习方法，其特征在于，S400包括：

6.一种多源视频数据机器人技能系统，其特征在于，包括：

7.根据权利要求6所述的一种多源视频数据机器人技能系统...

【技术特征摘要】

1.一种多源视频数据机器人技能学习方法，其特征在于，包括：

2.根据权利要求1所述的一种多源视频数据机器人技能学习方法，其特征在于，s100包括：

3.根据权利要求1所述的一种多源视频数据机器人技能学习方法，其特征在于，s200包括：

4.根据权利要求1所述的一种多源视频数据机器人技能学习方法，其特征在于，s300包括：

5.根据权利要求1所述的一种多源视频数据机器人技能学习方法，其特征在于，s400包括：

6.一种多源视频数...

【专利技术属性】
技术研发人员：张博源，张振亮，
申请(专利权)人：北京通用人工智能研究院，
类型：发明
国别省市：