【技术实现步骤摘要】
一种机器人复现人体演示动作的方法和装置
本申请涉及机器人
，尤其涉及一种机器人复现人体演示动作的方法和装置。
技术介绍
机器人是自动执行工作的机器装置，它既可以接收人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动，可协助或取代人类工作，为人们的生活带来许多便利。基于人体关节姿势的方法是一种使机器人根据人体动作进行人体动作复现演示的方法，使用传感器来捕获人体关节的状态，从而使机器人模仿人体的关节姿势，这种方法需要操作人员佩戴收集人体关节信息的硬件设备，根据机器人收集的关节信息模仿人体运动，操作较为限制。
技术实现思路
本申请提供了一种机器人复现人体演示动作的方法和装置，用于解决现有的使用传感器来捕获人体关节的状态，需要操作人员佩戴收集人体关节信息的硬件设备的技术问题。有鉴于此，本申请第一方面提供了一种机器人复现人体演示动作的方法，包括：从待机器人复现演示视频中获取连续帧的多张图像；对所述多张图像进行人体动作检测，输出人体动作类别；对每张图像进行图像抓取检测，得到左手和右手的手部抓取类型和手部边界框；生成所述手部边界框的操作物体感兴趣区...
【技术保护点】
1.一种机器人复现人体演示动作的方法，其特征在于，包括：从待机器人复现演示视频中获取连续帧的多张图像；对所述多张图像进行人体动作检测，输出人体动作类别；对每张图像进行图像抓取检测，得到左手和右手的手部抓取类型和手部边界框；生成所述手部边界框的操作物体感兴趣区域，提取所述操作物体感兴趣区域中候选物体区域的物体特征，所述物体特征包括物体类别概率、候选物体区域边界框的宽和高、候选物体区域在原始图像中的位置；根据所述物体特征识别出所述候选物体区域的操作主体和操作受体；输出所有图像中出现次数最多的左手手部抓取类型、右手手部抓取类型、所述操作主体和所述操作受体；生成包括所述左手手部抓取...
【技术特征摘要】
1.一种机器人复现人体演示动作的方法，其特征在于，包括：从待机器人复现演示视频中获取连续帧的多张图像；对所述多张图像进行人体动作检测，输出人体动作类别；对每张图像进行图像抓取检测，得到左手和右手的手部抓取类型和手部边界框；生成所述手部边界框的操作物体感兴趣区域，提取所述操作物体感兴趣区域中候选物体区域的物体特征，所述物体特征包括物体类别概率、候选物体区域边界框的宽和高、候选物体区域在原始图像中的位置；根据所述物体特征识别出所述候选物体区域的操作主体和操作受体；输出所有图像中出现次数最多的左手手部抓取类型、右手手部抓取类型、所述操作主体和所述操作受体；生成包括所述左手手部抓取类型、所述右手手部抓取类型、所述操作主体、所述操作受体和所述人体动作类别的机器人操作指令；将所述机器人操作指令发送给机器人，使得机器人根据所述机器人操作指令复现待机器人复现演示视频中的人体演示动作。2.根据权利要求1所述的机器人复现人体演示动作的方法，其特征在于，所述生成所述手部边界框的操作物体感兴趣区域，提取所述操作物体感兴趣区域中候选物体区域的物体特征，包括：根据所述手部边界框和预置的生成感兴趣区规则，生成操作物体感兴趣区域；对所述操作物体感兴趣区域提取候选物体区域的物体特征。3.根据权利要求1所述的机器人复现人体演示动作的方法，其特征在于，所述根据所述物体特征识别出所述候选物体区域的操作主体和操作受体，具体包括：对所述物体特征进行聚类分析，得到操作主体聚类中心和操作受体聚类中心；将所述操作主体聚类中心和所述操作受体聚类中心输入物体分类器，识别出所述候选区域的操作主体和操作受体。4.根据权利要求3所述的机器人复现人体演示动作的方法，其特征在于，所述聚类分析为K均值聚类分析，且K的取值为2。5.根据权利要求1所述的机器人复现人体演示动作的方法，其特征在于，所述对所述多张图像进行人体动作检测，输出人体动作类别，包括：对所述多张图像提取彩色图像序列和光流图像序列；将所述彩色图像序列和所述光流图像序列分别输入到预置三维卷积神经网络中提取人体动作特征；将提取到的所有所述人体动作特征合并成一个一维动作特征向量；根据预置分类算法对所述一维动作特征向量进行动作分类，输出人体动作类别。6.根据权利要求5所述的机器人复现人体演示动作的方法，其特征在于，所述预置分类算法包括：支持向量机分类算法或随机森林分类算法。7.根据权利要求2所述的机器人复现人体演示动作的方法，其特征在于，所述对所述操作物体感兴趣区域提取候选物体区域的物体特征，之前还包括：根据预先训练好的Mas...
【专利技术属性】
技术研发人员：刘文印，朱展模，陈俊洪，梁达勇，莫秀云，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。