基于视觉嵌入的自主任务性能制造技术

提出了用于控制机器人设备的方法。该方法包括捕获与机器人设备的当前视图对应的图像。该方法还包括识别包含与图像的第二组像素匹配的第一组像素的关键帧图像。该方法还包括由机器人设备执行与关键帧图像对应的任务。机器人设备执行与关键帧图像对应的任务。机器人设备执行与关键帧图像对应的任务。

【技术实现步骤摘要】
【国外来华专利技术】基于视觉嵌入的自主任务性能
[0001]相关申请的交叉引用
[0002]本申请要求于2019年9月13日提交的题为“AUTONOMOUS TASK PERFORMANCE BASED ON VISUAL EMBEDDINGS”的美国专利申请第16/570,618号的权益，该申请要求于2019年7月23日提交的题为“KEYFRAME MATCHER”的美国临时专利申请第62/877,792号、于2019年7月23日提交的题为“VISUAL TEACH AND REPEAT FOR MANIPULATION
‑
TEACHING VR”的美国临时专利申请第62/877,791号、以及于2019年7月23日提交的题为“VISUALIZATION”的美国临时专利申请第62/877,793号的权益，其公开内容通过引用整体并入。


[0003]本公开的特定方面通常涉及机器人设备，并且更具体地，涉及用于使用环境的存储记忆来与环境交互的系统和方法。

技术介绍

[0004]自主代理(例如，车辆、机器人、无人机等)和半自主代理使用机器本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于控制机器人设备的方法，包括：捕获与机器人设备的当前视图对应的图像；识别包含与图像的第二组像素匹配的第一组像素的关键帧图像；以及由机器人设备执行与关键帧图像对应的任务。2.如权利要求1所述的方法，还包括在训练机器人设备以执行任务的同时捕获关键帧图像。3.如权利要求1所述的方法，还包括将像素描述符指派给第一组像素和第二组像素中的每个像素。4.如权利要求3所述的方法，其中，像素描述符包括与像素级信息和深度信息对应的一组值。5.如权利要求1所述的方法，还包括：确定关键帧图像和图像之间的距离、姿态或组合之一的差异；以及基于确定的差异调整任务。6.如权利要求1所述的方法，其中，任务包括与对象交互、在环境中导航、或其组合中的至少一种。7.如权利要求1所述的方法，其中，由用户选择对应于第一组像素的区域。8.一种机器人设备，包括：存储器；以及至少一个处理器，所述至少一个处理器被配置为：捕获与机器人设备的当前视图对应的图像；识别包含与图像的第二组像素匹配的第一组像素的关键帧图像；以及执行与关键帧图像对应的任务。9.如权利要求8所述的机器人设备，其中，所述至少一个处理器还被配置为在训练机器人设备以执行任务的同时捕获关键帧图像。10.如权利要求8所述的机器人设备，其中，所述至少一个处理器还被配置为将像素描述符指派给第一组像素和第二组像素中的每个像素。11.如权利要求10所述的机器人设备，其中，像素描述符包括与像素级信息和深度信息对应的一组值。12.如权利...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：丰田研究所股份有限公司，
类型：发明
国别省市：