机器人转译技能训练方法、装置及电子设备和存储介质制造方法及图纸

本申请公开了一种机器人转译技能训练方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取目标视频段，并确定目标视频段中的动作信息和每个动作信息的概率；其中，动作信息至少包括主体物体、受体物体和主体物体的动作类型，动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；为目标视频段中的每帧图像创建视觉语义图，并利用相邻帧图像的视觉语义图确定受体物体的状态和状态的概率；利用维特比算法基于每个动作信息的概率和状态的概率建立操作指令树，并根据操作指令树确定目标视频段对应的操作指令，以便机器人执行操作指令。本申请提供的机器人转译技能训练方法，可以使得机器人学习到更复杂的操作。

【技术实现步骤摘要】
机器人转译技能训练方法、装置及电子设备和存储介质
本申请涉及机器人
，更具体地说，涉及一种机器人转译技能训练方法、装置及一种电子设备和一种计算机可读存储介质。
技术介绍
传统的工业机器人依靠人工进行预先编程，进而设定机器人的操作指令。虽然预编程使得这些机器人动作比较精准，但是如果工作场景或操作发生了变化，就需要重新进行编程来适应新的变化，这样不仅增加了人力物力等成本，而且大大局限了机器人的实用性。假若机器人能够拥有自主学习的能力，那么面对场景的变化，甚至操作动作的变化，都能良好地适应并执行最优的操作指令，这样就能降低成本，提高效率。为了使得机器人更具有自主学习能力，在相关技术中，将视频输入到神经网络之中识别出操作指令三元组：(主体、动作、受体)，利用该操作指令三元组即可直观地得到操作指令。但是，机器人从视频中学习到的信息比较有限，因此无法做到复杂的、包含多种元素的操作。在视频学习中，往往只识别出了主体物体、受体物体以及它们之间的动作关系，没有识别出物体的状态、抓取物体的手势、双手分别执行的操作。因此，如何使得机器人可以学习更复杂的操作是本领域技术人员需要解决的技术问题。
技术实现思路
本申请的目的在于提供一种机器人转译技能训练方法、装置及一种电子设备和一种计算机可读存储介质，使得机器人可以学习更复杂的操作。为实现上述目的，本申请提供了一种机器人转译技能训练方法，包括：获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息至少包括主体物体、受体物体和所述主体物体的动作类型，所述动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；为所述目标视频段中的每帧图像创建视觉语义图，并利用相邻帧图像的视觉语义图确定所述受体物体的状态和所述状态的概率；其中，所述状态包括分开、聚集、变形和转移中的任一项或任几项的组合；利用维特比算法基于每个所述动作信息的概率和所述状态的概率建立操作指令树，并根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。其中，为所述目标视频段中的每帧图像创建视觉语义图，包括：利用图像分割技术确定所述目标视频段中每帧图像的受体物体区域，并基于每帧图像中的所有所述受体物体区域为每帧图像创建视觉语义图；其中，所述视觉语义图包括描述所述受体物体区域的定位点集合、描述相同帧图像中不同受体物体区域之间的空间关系的边集合和描述所述受体物体区域的属性信息，所述属性信息包括位置信息和外观信息，所述外观信息包括形状信息和颜色信息。其中，所述利用图像分割技术确定所述目标视频段中每帧图像的受体物体区域，包括：利用最大流最小割算法确定所述目标视频段中每帧图像的受体物体的定位点，并根据所有所述定位点确定所述受体物体区域。其中，所述利用相邻帧图像的视觉语义图确定所述受体物体的状态和所述状态的概率，包括：利用相邻帧图像的视觉语义图对所述目标视频段中的受体物体区域进行检测；若检测到所述受体物体区域的数量增加，则判定所述受体物体的状态为分开，并确定分开的概率；若检测到多个所述受体物体区域速度差小于第一预设值且距离欧几里得距离差小于第二预设值，则判定所述受体物体的状态为聚集，并确定聚集的概率；若检测到所述受体物体区域的外观信息发生变化，则判定所述受体物体的状态为变形，并确定变形的概率；若检测到所述受体物体区域的位置信息发生变化，则判定所述受体物体的状态为转移，并确定转移的概率。其中，所述获取目标视频段，包括：获取原始视频，将所述原始视频以动作类型作为划分标准划分为多个所述目标视频段。其中，所述利用维特比算法基于每个所述动作信息的概率建立操作指令树之后，还包括：以所述受体物体为索引将所述操作指令树存储至数据库中；所述方法还包括：当接收到目标操作指令时，确定所述目标操作指令中每个元素的概率，判断是否存在所述概率小于预设阈值的元素；若是，则确定所述目标操作指令中的目标受体物体，在所述目标受体物体对应的操作指令树中匹配得到目标操作指令树，并利用目标操作指令树更新所述目标操作指令。其中，所述利用维特比算法基于每个所述动作信息的概率和所述状态的概率建立操作指令树，包括：根据所述受体物体的概率和所述状态的概率计算受体物体信息的概率，并根据所述动作信息的概率计算每个手部短语和每个动作短语的概率；其中，所述手部短语和所述动作短语为对所述动作信息、所述受体物体信息按照预设组合规则进行组合得到的短语；基于每个所述动作信息的概率、每个所述手部短语的概率、每个所述动作短语的概率、所述受体物体信息的概率、所述状态的概率、左手和右手的概率建立所述目标视频段对应的语法规则表；根据所述语法规则表利用所述维特比算法建立所述操作指令树。为实现上述目的，本申请提供了一种机器人转译技能训练装置，包括：确定模块，用于获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息包括主体物体、受体物体、左手的抓取类型、右手的抓取类型和所述主体物体的动作类型；建立模块，用于利用维特比算法基于每个所述动作信息的概率建立操作指令树；训练模块，用于根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。为实现上述目的，本申请提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述机器人转译技能训练方法的步骤。为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述机器人转译技能训练方法的步骤。通过以上方案可知，本申请提供的一种机器人转译技能训练方法，包括：获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息至少包括主体物体、受体物体和所述主体物体的动作类型，所述动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；为所述目标视频段中的每帧图像创建视觉语义图，并利用相邻帧图像的视觉语义图确定所述受体物体的状态和所述状态的概率；其中，所述状态包括分开、聚集、变形和转移中的任一项或任几项的组合；利用维特比算法基于每个所述动作信息的概率和所述状态的概率建立操作指令树，并根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。本申请提供的机器人转译技能训练方法，从视频段中提取包括主体物体、受体物体、左右手的抓取类型和主体物体的动作类型在内的动作信息和每个动作信息的概率，另外基于相邻帧的视觉语义图提取受体物体的状态，基于动作信息和状态的概率建立操作指令树，进而得到该视频段对应的操作指令信息以训练机器人。由于操作指令信息中包括左右手的抓取手势、左右手各自抓取的物体、两只手或单手执行的操作以及受体物体的状态等更为复杂的信息本文档来自技高网...

【技术保护点】
1.一种机器人转译技能训练方法，其特征在于，包括：/n获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息至少包括主体物体、受体物体和所述主体物体的动作类型，所述动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；/n为所述目标视频段中的每帧图像创建视觉语义图，并利用相邻帧图像的视觉语义图确定所述受体物体的状态和所述状态的概率；其中，所述状态包括分开、聚集、变形和转移中的任一项或任几项的组合；/n利用维特比算法基于每个所述动作信息的概率和所述状态的概率建立操作指令树，并根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。/n

【技术特征摘要】
1.一种机器人转译技能训练方法，其特征在于，包括：
获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息至少包括主体物体、受体物体和所述主体物体的动作类型，所述动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；
为所述目标视频段中的每帧图像创建视觉语义图，并利用相邻帧图像的视觉语义图确定所述受体物体的状态和所述状态的概率；其中，所述状态包括分开、聚集、变形和转移中的任一项或任几项的组合；
利用维特比算法基于每个所述动作信息的概率和所述状态的概率建立操作指令树，并根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。


2.根据权利要求1所述机器人转译技能训练方法，其特征在于，为所述目标视频段中的每帧图像创建视觉语义图，包括：
利用图像分割技术确定所述目标视频段中每帧图像的受体物体区域，并基于每帧图像中的所有所述受体物体区域为每帧图像创建视觉语义图；其中，所述视觉语义图包括描述所述受体物体区域的定位点集合、描述相同帧图像中不同受体物体区域之间的空间关系的边集合和描述所述受体物体区域的属性信息，所述属性信息包括位置信息和外观信息，所述外观信息包括形状信息和颜色信息。


3.根据权利要求2所述机器人转译技能训练方法，其特征在于，所述利用图像分割技术确定所述目标视频段中每帧图像的受体物体区域，包括：
利用最大流最小割算法确定所述目标视频段中每帧图像的受体物体的定位点，并根据所有所述定位点确定所述受体物体区域。


4.根据权利要求2所述机器人转译技能训练方法，其特征在于，所述利用相邻帧图像的视觉语义图确定所述受体物体的状态和所述状态的概率，包括：
利用相邻帧图像的视觉语义图对所述目标视频段中的受体物体区域进行检测；
若检测到所述受体物体区域的数量增加，则判定所述受体物体的状态为分开，并确定分开的概率；
若检测到多个所述受体物体速度差小于第一预设值且距离欧几里得距离差小于第二预设值，则判定所述受体物体的状态为聚集，并确定聚集的概率；
若检测到所述受体物体区域的外观信息发生变化，则判定所述受体物体的状态为变形，并确定变形的概率；
若检测到所述受体物体区域的位置信息发生变化，则判定所述受体物体的状态为转移，并确定转移的概率。


5.根据权利要求1所述机器人转译技能训练方法，其特征在于，所述获取目标视频段，包括：
获取原始视频，将所述原始视频以动作类型作为划分标准划分为多个所述目标视频段。<...

【专利技术属性】
技术研发人员：黄可思，刘文印，陈俊洪，朱展模，梁达勇，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44