机器人转译技能训练方法、装置及电子设备和存储介质制造方法及图纸

本申请公开了一种机器人转译技能训练方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息至少包括主体物体、受体物体和所述主体物体的动作类型，所述动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；利用维特比算法基于每个所述动作信息的概率建立操作指令树；根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。本申请提供的机器人转译技能训练方法，可以使得机器人学习到更复杂的操作。

Training methods, devices, electronic equipment and storage media of robot translation skills

【技术实现步骤摘要】
机器人转译技能训练方法、装置及电子设备和存储介质
本申请涉及机器人
，更具体地说，涉及一种机器人转译技能训练方法、装置及一种电子设备和一种计算机可读存储介质。
技术介绍
传统的工业机器人依靠人工进行预先编程，进而设定机器人的操作指令。虽然预编程使得这些机器人动作比较精准，但是如果工作场景或操作发生了变化，就需要重新进行编程来适应新的变化，这样不仅增加了人力物力等成本，而且大大局限了机器人的实用性。假若机器人能够拥有自主学习的能力，那么面对场景的变化，甚至操作动作的变化，都能良好地适应并执行最优的操作指令，这样就能降低成本，提高效率。为了使得机器人更具有自主学习能力，在相关技术中，将视频输入到神经网络之中识别出操作指令三元组：(主体、动作、受体)，利用该操作指令三元组即可直观地得到操作指令。但是，相关技术中的操作指令三元组仅能表达简单的操作，假如操作比较复杂，比如：涉及到左右手的抓取手势，左右手各自抓取的物体，以及两只手或单手执行的操作，从神经网络中得到这些信息后，机器人无法自主进行物体和动作的理解和组合，那么即使神经网络能够识别出本文档来自技高网...

【技术保护点】
1.一种机器人转译技能训练方法，其特征在于，包括：/n获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息至少包括主体物体、受体物体和所述主体物体的动作类型，所述动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；/n利用维特比算法基于每个所述动作信息的概率建立操作指令树；/n根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。/n

【技术特征摘要】
1.一种机器人转译技能训练方法，其特征在于，包括：
获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息至少包括主体物体、受体物体和所述主体物体的动作类型，所述动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；
利用维特比算法基于每个所述动作信息的概率建立操作指令树；
根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。


2.根据权利要求1所述机器人转译技能训练方法，其特征在于，所述获取目标视频段，包括：
获取原始视频，将所述原始视频以动作类型作为划分标准划分为多个所述目标视频段。


3.根据权利要求2所述机器人转译技能训练方法，其特征在于，将所述原始视频以动作类型作为划分标准划分为多个所述目标视频段，包括：
利用卷积神经网络提取所述原始视频的特征序列作为第一特征序列；
将所述第一特征序列输入空洞卷积神经网络中，以便识别所述原始视频中每帧图像对应的主体物体的动作类型，并基于识别结果将所述原始视频划分为多个所述目标视频段。


4.根据权利要求3所述机器人转译技能训练方法，其特征在于，所述确定所述目标视频段中的动作信息和每个所述动作信息的概率，包括：
基于所述识别结果确定所述目标视频段中动作类型的概率；
提取所述目标视频段中的手部位置的特征序列作为第二特征序列；
将所述第二特征序列输入分类器中，得到所述目标视频段中除所述动作类型之外的动作信息和除所述动作类型之外的动作信息的概率。


5.根据权利要求4所述机器人转译技能训练方法，其特征在于，所述提取所述目标视频段中的手部位置的特征序列作为第二特征序列，包括：
将所述目标视频段输入MaskR-CNN中，以便确定所述目标视频段中的手部位置，并提取所述手部位置的特征序列作为第二特征序列。


6.根据权利要求1所述机器人转译技能训练方法，其特征在于，所述利...

【专利技术属性】
技术研发人员：刘文印，黄可思，陈俊洪，朱展模，梁达勇，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44