机械臂手眼协作绘画方法、装置、绘画机器人及介质制造方法及图纸

本申请提供一种机械臂手眼协作绘画方法及装置、一种绘画机器人以及一种计算机可读介质。方法包括：获取机械臂进行绘画的区域图像；对区域图像进行边缘检测，确定实际绘画的目标矩形区域；提取目标矩形区域内的实际绘制轨迹；目标矩形区域与预设绘制图像轨迹存在坐标映射关系；根据坐标映射关系，将实际绘制轨迹与预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制；重复执行上述步骤，直至无残余轨迹后停止绘画。通过本方案，使得绘画机器人以随机笔触大小的笔进行绘画演示时，可以根据视觉反馈，判断图像剩余未画完部分，并进行智能补全。

Method, device, robot and medium of robot hand eye cooperation painting

【技术实现步骤摘要】
机械臂手眼协作绘画方法、装置、绘画机器人及介质
本申请涉及机器人控制
，具体涉及一种机械臂手眼协作绘画方法及装置、一种绘画机器人以及一种计算机可读介质。
技术介绍
随着科技的发展，机器人的功能越来越强大，机器人的应用也越来越广泛。在照相技术十分发达的今天，仍然有不少人热衷于绘画，绘画机器人能将照片绘制成图像，因此，也受到越来越多人的欢迎。目前，多数绘画机器人以固定笔触大小的笔进行绘画，若使用非固定笔触的笔，会由于下笔粗细不可控，容易产生多余笔画，或是遗漏笔画的现象，并且绘画机器人无法主动确定绘制区域，若绘制过程中目标绘制区域移动，由于缺乏相应反馈，无法及时进行调整，导致绘制图像失败。
技术实现思路
本申请的目的是提供一种机械臂手眼协作绘画方法及装置、一种绘画机器人以及一种计算机可读介质。本申请第一方面提供一种机械臂手眼协作绘画方法，包括：步骤S1、获取机械臂进行绘画的区域图像；步骤S2、对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域；步骤S3、提取所述目标矩形区域内的实际绘制轨迹；所述目标矩形区域与预设绘制图像轨迹存在坐标映射关系；步骤S4、根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；步骤S5、若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制；重复执行步骤S3至S5，直至无残余轨迹后停止绘画。在本申请的一些实施方式中，所述方法还包括：按照预设周期，记录所述目标矩形区域的多个顶点坐标；计算当前周期与上一周期中记录的相对应顶点坐标之间的误差，并计算多个顶点坐标误差的平均值；若所述平均值不大于预设误差阈值，则确定所述目标矩形区域未移动；若所述平均值大于所述预设误差阈值，则确定所述目标矩形区域移动，此时停止机械臂绘画。在本申请的一些实施方式中，所述确定所述目标矩形区域移动，此时停止机械臂绘画之后，还包括：重新计算所述目标矩形区域与预设绘制图像轨迹之间的坐标映射关系，以根据新的坐标映射关系继续进行所述步骤S4。在本申请的一些实施方式中，所述步骤S2之前，还包括：对所述区域图像进行预处理。本申请第二方面提供一种机械臂手眼协作绘画装置，包括：获取模块，用于获取机械臂进行绘画的区域图像；确定模块，用于对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域；提取模块，用于提取所述目标矩形区域内的实际绘制轨迹；所述目标矩形区域与预设绘制图像轨迹存在坐标映射关系；对比模块，用于根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制，直至无残余轨迹后停止绘画。在本申请的一些实施方式中，所述装置还包括：区域移动判断模块，用于：按照预设周期，记录所述目标矩形区域的多个顶点坐标；计算当前周期与上一周期中记录的相对应顶点坐标之间的误差，并计算多个顶点坐标误差的平均值；若所述平均值不大于预设误差阈值，则确定所述目标矩形区域未移动；若所述平均值大于所述预设误差阈值，则确定所述目标矩形区域移动，此时停止机械臂绘画。在本申请的一些实施方式中，所述区域移动判断模块，还用于：确定所述目标矩形区域移动，此时停止机械臂绘画之后，重新计算所述目标矩形区域与预设绘制图像轨迹之间的坐标映射关系。在本申请的一些实施方式中，所述装置还包括：预处理模块，用于在所述确定模块对所述区域图像进行边缘检测之前，对所述区域图像进行预处理。本申请第三方面提供一种绘画机器人，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现本申请第一方面所述的方法。本申请第四方面提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本申请第一方面所述的方法。相较于现有技术，本申请提供的机械臂手眼协作绘画方法、装置、绘画机器人及介质，通过实时对比实际绘制轨迹与预设绘制图像轨迹，判断是否存在未绘制的残余轨迹，直至完成预设绘制图像轨迹，使得绘画机器人以随机笔触大小的笔进行绘画演示时，可以根据视觉反馈，判断图像剩余未画完部分，并进行智能补全。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本申请的一些实施方式所提供的一种机械臂手眼协作绘画方法的流程图；图2示出了本申请的一些实施方式所提供的另一种机械臂手眼协作绘画方法的流程图；图3示出了本申请的一些实施方式所提供的一种机械臂手眼协作绘画装置的示意图；图4示出了本申请的一些实施方式所提供的另一种机械臂手眼协作绘画装置的示意图；图5示出了本申请的一些实施方式所提供的一种绘画机器人的示意图；图6示出了本申请的一些实施方式所提供的一种计算机可读介质的示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请实施例提供一种机械臂手眼协作绘画方法及装置、一种绘画机器人以及计算机可读介质，下面结合附图进行说明。请参考图1，其示出了本申请的一些实施方式所提供的一种机械臂手眼协作绘画方法的流程图，如图所示，所述机械臂手眼协作绘画方法，可以包括以下步骤：步骤S101：获取机械臂进行绘画的区域图像；本实施例中，该区域图像可以是通过摄像头获取的实时图像，该摄像头可以是绘画机器人上安装的摄像头，当然也可以是在其它位置安装的摄像头，摄像头对准机械臂进行绘画的区域进行拍摄，获得所述区域图像。实际应用中，机械臂进行绘画的区域可能处于不同的实际环境中，例如高光环境、模糊环境等。因此，在本申请的一些实施方式中，上述方法还可以包括步骤：对所述区域图像进行预处理。具体本文档来自技高网...

【技术保护点】
1.一种机械臂手眼协作绘画方法，其特征在于，包括：/n步骤S1、获取机械臂进行绘画的区域图像；/n步骤S2、对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域；/n步骤S3、提取所述目标矩形区域内的实际绘制轨迹；所述目标矩形区域与预设绘制图像轨迹存在坐标映射关系；/n步骤S4、根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；/n步骤S5、若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制；重复执行步骤S3至S5，直至无残余轨迹后停止绘画。/n

【技术特征摘要】
1.一种机械臂手眼协作绘画方法，其特征在于，包括：
步骤S1、获取机械臂进行绘画的区域图像；
步骤S2、对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域；
步骤S3、提取所述目标矩形区域内的实际绘制轨迹；所述目标矩形区域与预设绘制图像轨迹存在坐标映射关系；
步骤S4、根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；
步骤S5、若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制；重复执行步骤S3至S5，直至无残余轨迹后停止绘画。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
按照预设周期，记录所述目标矩形区域的多个顶点坐标；
计算当前周期与上一周期中记录的相对应顶点坐标之间的误差，并计算多个顶点坐标误差的平均值；
若所述平均值不大于预设误差阈值，则确定所述目标矩形区域未移动；
若所述平均值大于所述预设误差阈值，则确定所述目标矩形区域移动，此时停止机械臂绘画。


3.根据权利要求2所述的方法，其特征在于，所述确定所述目标矩形区域移动，此时停止机械臂绘画之后，还包括：
重新计算所述目标矩形区域与预设绘制图像轨迹之间的坐标映射关系，以根据新的坐标映射关系继续进行所述步骤S4。


4.根据权利要求1至3任一项所述的方法，其特征在于，所述步骤S2之前，还包括：
对所述区域图像进行预处理。


5.一种机械臂手眼协作绘画装置，其特征在于，包括：
获取模块，用于获取机械臂进行绘画的区域图像；
确定模块，用于对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域...

【专利技术属性】
技术研发人员：俞泽远，高飞，李鹏，朱静洁，王韬，
申请(专利权)人：浙江省北大信息技术高等研究院，杭州未名信科科技有限公司，
类型：发明
国别省市：浙江;33