【技术实现步骤摘要】
一种自学习机器人的控制方法、装置和电子设备
本专利技术涉及机器人控制
，尤其涉及一种自学习机器人的控制方法、装置和电子设备。
技术介绍
机器人是集机械、电子、控制、计算机、传感器、人工智能等多种学科和先进技术于一体的现代自动化装备。我国通常按照应用环境将机器人分为两类：用于制造业的工业机器人和用于非制造业并服务于人类的特种机器人。在工业生产中存在许多重复、单调、频繁等长时间作业，或者危险、恶劣环境下的作业，例如在焊接、冲压、热处理、涂装、压力铸造、机械加工等工序，及完成对人体有害的物料的搬运和工艺操作。为了提高安全性与效率，工业机器人开始代替人完成这些作业。工业机器人是最先产业化的机器人技术，已经成为一个国家或者地区自动化水平的标志。传统的机器人控制通常是通过预先编程设定的指令所实现的，针对特定的技能或工作，由相应的技术人员对机器人进行特定程序的编写。但随着高端制造中生产多样化的发展，机器人可能需要在变化的工作场景中进行工作，当工作场景变化时，机器人需要根据环境进行重新编程，人工与时间成本较高；同时重新编程的过...
【技术保护点】
1.一种自学习机器人的控制方法，其特征在于，包括：/n获取协作视频流；所述协作视频流中包括多个协作个体；/n从所述协作视频流中提取与每个所述协作个体分别对应的操纵区域图像序列；/n按照动作类别将所述操纵区域图像序列划分为多个序列片段；/n依据每个所述序列片段，确定所述协作个体的操纵元；所述操纵元设有对应的操纵权重；/n将所述动作类别、所述操纵元和所述操纵权重输入到预置维特比解析器，生成操纵指令语法树；/n通过所述自学习机器人解析所述操纵指令语法树，执行与所述协作视频流对应的动作。/n
【技术特征摘要】
1.一种自学习机器人的控制方法，其特征在于，包括：
获取协作视频流；所述协作视频流中包括多个协作个体；
从所述协作视频流中提取与每个所述协作个体分别对应的操纵区域图像序列；
按照动作类别将所述操纵区域图像序列划分为多个序列片段；
依据每个所述序列片段，确定所述协作个体的操纵元；所述操纵元设有对应的操纵权重；
将所述动作类别、所述操纵元和所述操纵权重输入到预置维特比解析器，生成操纵指令语法树；
通过所述自学习机器人解析所述操纵指令语法树，执行与所述协作视频流对应的动作。
2.根据权利要求1所述的方法，其特征在于，所述从所述协作视频流中提取与每个所述协作个体分别对应的操纵区域图像序列的步骤，包括：
将所述协作视频流的每帧图像输入预置第一目标检测模型，得到与每个所述协作个体分别对应的候选边界框；
计算所述协作视频流的当前帧图像的候选边界框与前一帧图像的候选边界框的重叠率；
若所述重叠率大于预设阈值，则保留所述前一帧图像的候选边界框；
若所述重叠率小于或等于预设阈值，则保留所述当前帧图像的候选边界框；
提取所述候选边界框中的图像作为所述协作个体的操纵区域图像序列。
3.根据权利要求1所述的方法，其特征在于，所述按照动作类别将所述操纵区域图像序列划分为多个序列片段的步骤，包括：
通过预置光流算法对所述操纵区域图像序列进行计算，得到光流图像序列；
采用所述操纵区域图像序列和所述光流图像序列分别训练预置动作特征提取器模型，得到两个目标动作特征提取模型；
将所述操纵区域图像序列的每帧图像输入所述目标动作特征提取模型，得到与所述操纵区域图像序列的每帧图像分别对应的第一向量；
将所述光流图像序列的每帧图像输入所述目标动作特征提取模型，得到与所述光流图像序列的的每帧图像分别对应的第二向量；
采用所述第一向量和所述第二向量，生成动作特征矩阵；
将所述动作特征矩阵输入到预置时间卷积网络，确定所述操纵区域图像序列的每帧图像的动作类别；
将所述操纵区域图像序列的每帧图像，按照所述动作类别划分为多个序列片段。
4.根据权利要求3所述的方法，其特征在于，所述操纵元包括被操纵物体和操纵动作，所述依据每个所述序列片段，确定所述协作个体的操纵元的步骤，包括：
使用预置第二目标检测模型从每个所述序列片段中确定所述协作个体的被操纵物体；
采用预置人体姿态检测算法和预置ST-GCN模型，从每个所述序列片段中确定所述协作个体的操纵动作。
5.根据权利要求4所述的方法，其特征在于，所述被操纵物体具有被操纵物体位置信息和被操纵物体类型信息，所述使用预置第二目标检测模型从每个所述序列片段中确定所述协作个体的被操纵物体的步骤，包括：
将每个所述序列片段输入预置第二目标检测模型，得到所述被操纵...
【专利技术属性】
技术研发人员：刘文印，朱展模，陈俊洪，梁达勇，莫秀云，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。