【技术实现步骤摘要】
本专利技术涉及一种机器人仿真控制方法、仿真系统、装置和存储介质，属于人工智能。
技术介绍
1、机器人控制模型(例如，act(action chunking with transformer)算法)是一个端到端的深度学习模型，可以基于视觉信息、关节编码器和力矩传感器信息作为观测值进行机器人实时控制，即可以从影像映射到动作，让机器人从视觉输入中学习和模仿执行特定动作。目前端到端深度学习模型需要借助仿真环境(mujoco、gazebo等)进行机器人训练，然后在仿真环境中验证模型性能。但是仿真数据训练的模型很难直接应用于实际场景中，在实际场景仍需要进行数据采集及训练。
2、现有的对于仿真训练、现实部署(simulation to reality)的方法为progressivenetwork，其在模型结构上往往是并行三个模型(仿真模型、仿真到现实的过渡模型、现实模型)，将前一个模型当前特征图的输出作为下一个模型的输入。上述方法由于需要并行三个相同模型，对显存要求较高，在模型结构相对复杂的网络上可能无法适用。
【技术保护点】
1.一种机器人仿真控制方法，其特征在于，所述方法包括：
2.一种仿真系统，其特征在于，包括：
3.根据权利要求2所述的仿真系统，其特征在于，所述视觉仿真器生成的实景三维模型包括全景的实景三维模型和只保留被操作物体的非全景实景三维模型，所述控制器通过将全景的实景三维模型和只保留被操作物体的非全景实景三维模型渲染生成的图像数据进行混合训练。
4.根据权利要求2所述的仿真系统，其特征在于，所述控制器在训练时，仿真至所述仿真机器人与操作对象接触产生的接触信息会以声音或图像和/或力进行表达。
5.一种模型绑定方法，其用于将实景三维...
【技术特征摘要】
1.一种机器人仿真控制方法，其特征在于，所述方法包括：
2.一种仿真系统，其特征在于，包括：
3.根据权利要求2所述的仿真系统，其特征在于，所述视觉仿真器生成的实景三维模型包括全景的实景三维模型和只保留被操作物体的非全景实景三维模型，所述控制器通过将全景的实景三维模型和只保留被操作物体的非全景实景三维模型渲染生成的图像数据进行混合训练。
4.根据权利要求2所述的仿真系统，其特征在于，所述控制器在训练时，仿真至所述仿真机器人与操作对象接触产生的接触信息会以声音或图像和/或力进行表达。
5.一种模型绑定方法，其用于将实景三维模型和孪生数学模型进行绑定，其特征在于，包括以下步骤：
6.根据权利要求5所述的方法，...
【专利技术属性】
技术研发人员：安健，田指南，李峰，
申请(专利权)人：苏州博特勒机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。