本申请公开了一种图像数据处理方法、装置、电子设备和存储介质。图像数据处理方法包括：接收包含待处理物品的图像数据；从图像数据中识别待处理物品，并生成所述待处理物品的掩膜；对生成的待处理物品的掩膜进行形态学处理；对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息。本发明专利技术提出了对掩膜进行校正并求取二维抓取点信息的方法，使得在无法获取准确物品掩膜的情况下，能够对不准确的掩膜进行校正，以尽可能获得准确的掩膜并进一步获得准确的抓取点信息，有效避免了掩膜不准确导致的抓取点不准确，进而导致抓不准或抓取时掉落的问题。进而导致抓不准或抓取时掉落的问题。进而导致抓不准或抓取时掉落的问题。
【技术实现步骤摘要】
图像数据处理方法、装置、电子设备和存储介质
[0001]本申请涉及机械手臂或夹具的自动控制、程序控制B25J领域。
技术介绍
[0002]近年来电商、快递等行业快速崛起，为物流行业创造了良好的发展机遇。随着人工智能、机器视觉等技术的成熟，在仓储、搬运、分拣这些物流最基础的部分，自动化设备越来越多，工业机器人代替人工已是大势所趋。而夹具作为工业机器人的重要组成部分，越来越多的被应用于物流行业、分拣、3C行业及食品上料中。
[0003]目前，机械手臂或夹具的自动控制，需要基于待抓取物品的点云数据。通常的做法是先使用3D相机采集点云数据，再根据点云数据确定机械手臂运动的轨迹点，或者抓取点等信息，之后基于轨迹点或抓取点等信息控制机械手臂执行在适当的位置以适当的轨迹执行抓取操作。机械手臂在立体空间进行操作，其运动轨迹是在长，宽，高三个方向上的立体轨迹，因而轨迹点或者抓取点也应当具有X轴，Y轴和Z轴三个维度的信息，3D相机采集的点云数据即包括三个维度的信息。然而，在一些工业场景中，很难获得清晰的抓取对象的点云信息，例如在化妆品行业中，使用玻璃，特别是黑色玻璃瓶子，盛放液体。这种玻璃瓶子，自身光信号弱，并且反光材质容易被周围物体的多次反射干扰，而且，玻璃透明，会有很多漫反射和多次反射的数据，很难采集到合适的点云数据。具体地，在这种工业场景下，可能无法获取待抓取物品的点云，也可能采集到的待抓取物品的点云有缺失，或者其它点云不佳的情况，这导致机器人要么识别不出要抓取的物品，要么基于错误的点云计算出错误的抓取点，并使用错误的抓取点执行抓取，导致抓取不到，甚至瓶子掉落。目前现有技术中还没有针对这种点云缺失的工业场景下，基于机器人视觉自动控制机器人执行抓取的方案。
技术实现思路
[0004]鉴于上述问题，提出了本专利技术以便克服上述问题或者至少部分地解决上述问题。具体地，首先，本专利技术能够在无法获得待抓取物品的点云的情况下，借助彩色图片等其他图像数据，获取待抓取物品的抓取点信息，使得机器人或者夹具能够直接依赖该抓取点信息而无需借助物品的点云即可实现对待抓取物品的抓取，有效解决了点云缺失环境下的物品抓取问题；其次，本专利技术提出了对掩膜进行校正并求取二维抓取点信息的方法，使得在无法获取准确物品掩膜的情况下，能够对不准确的掩膜进行校正，以尽可能获得准确的掩膜并进一步获得准确的抓取点信息，有效避免了掩膜不准确导致的抓取点不准确，进而导致抓不准或抓取时掉落的问题；第三，本专利技术提出了一种由机器人自动将输入的二维抓取点信息转换为三维抓取点信息的方法，该方法能够根据待抓取物品的环境特征，自动获取能够将二维抓取点转换为三维抓取点的参考信息，并基于参考信息获取抓取点信息供机器人抓取，该方案使得在抓取点信息缺失的情形下，仍能够基于现有信息补充获得完整的抓取点信息，并且减少了人工干预。
[0005]本申请权利要求和说明书所披露的所有方案均具有上述一个或多个创新之处，相
应地，能够解决上述一个或多个技术问题。具体地，本申请提供一种图像数据处理方法、装置、电子设备和存储介质。
[0006]本申请的实施方式的图像数据处理方法，包括：
[0007]接收包含待处理物品的图像数据；
[0008]从图像数据中识别待处理物品，并生成所述待处理物品的掩膜；
[0009]对生成的待处理物品的掩膜进行形态学处理；
[0010]对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息。
[0011]在某些实施方式中，所述形态学处理包括形态学的膨胀处理。
[0012]在某些实施方式中，所述对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息，包括：
[0013]获取经膨胀处理后的掩膜的外接矩形；
[0014]基于所述掩膜的外接矩形，生成该外接矩形的内接圆；
[0015]基于所述内接圆获取待处理物品的矫正掩膜和/或抓取点关联信息。
[0016]在某些实施方式中，所述获取经膨胀处理后的掩膜的外接矩形，包括：基于经膨胀处理后的掩膜，生成外接矩形的4个角点，之后基于所述角点生成外接矩形。
[0017]在某些实施方式中，所述对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息，包括：
[0018]使用圆检测算法对经膨胀处理后的掩膜进行处理；
[0019]基于圆检测算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
[0020]在某些实施方式中，所述圆检测算法包括：圆霍夫变换算法、随机霍夫变换算法和/或随机圆检测算法。
[0021]在某些实施方式中，所述对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息，包括：
[0022]基于预先保存的待处理物品的模板，使用模板匹配算法对经膨胀处理后的掩膜进行处理；
[0023]基于模板匹配算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
[0024]在某些实施方式中，所述匹配算法包括基于形状的匹配算法。
[0025]在某些实施方式中，所述从图像数据中识别待处理物品，并生成所述待处理物品的掩膜，包括：基于深度学习对所述图像数据进行处理以识别待处理物品，并生成所述待处理物品的掩膜。
[0026]本申请的实施方式的图像数据处理装置，包括：
[0027]图像数据接收模块，用于接收包含待处理物品的图像数据；
[0028]掩膜生成模块，用于从图像数据中识别待处理物品，并生成所述待处理物品的掩膜；
[0029]掩膜处理模块，用于对生成的待处理物品的掩膜进行形态学处理；
[0030]处理模块，用于对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息。
[0031]在某些实施方式中，所述形态学处理包括形态学的膨胀处理。
[0032]在某些实施方式中，所述处理模块具体用于：
[0033]获取经膨胀处理后的掩膜的外接矩形；
[0034]基于所述掩膜的外接矩形，生成该外接矩形的内接圆；
[0035]基于所述内接圆获取待处理物品的矫正掩膜和/或抓取点关联信息。
[0036]在某些实施方式中，所述获取经膨胀处理后的掩膜的外接矩形，包括：基于经膨胀处理后的掩膜，生成外接矩形的4个角点，之后基于所述角点生成外接矩形。
[0037]在某些实施方式中，所述处理模块具体用于：
[0038]使用圆检测算法对经膨胀处理后的掩膜进行处理；
[0039]基于圆检测算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
[0040]在某些实施方式中，所述圆检测算法包括：圆霍夫变换算法、随机霍夫变换算法和/或随机圆检测算法。
[0041]在某些实施方式中，所述处理模块具体用于：
[0042]基于预先保存的待处理物品的模板，使用模板匹配算法对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像数据处理方法，其特征在于，包括：接收包含待处理物品的图像数据；从图像数据中识别待处理物品，并生成所述待处理物品的掩膜；对生成的待处理物品的掩膜进行形态学处理；对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息。2.根据权利要求1所述的图像数据处理方法，其特征在于，所述形态学处理包括形态学的膨胀处理。3.根据权利要求2所述的图像数据处理方法，其特征在于：所述对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息，包括：获取经膨胀处理后的掩膜的外接矩形；基于所述掩膜的外接矩形，生成该外接矩形的内接圆；基于所述内接圆获取待处理物品的矫正掩膜和/或抓取点关联信息。4.根据权利要求3所述的图像数据处理方法，其特征在于：所述获取经膨胀处理后的掩膜的外接矩形，包括：基于经膨胀处理后的掩膜，生成外接矩形的4个角点，之后基于所述角点生成外接矩形。5.根据权利要求2所述的图像数据处理方法，其特征在于：所述对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息，包括：使用圆检测算法对经膨胀处理后的掩膜进行处理；基于圆检测算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。6.根据权利要求5所述的图像数据处理方法，其特征在于：所述圆检测算法包括：圆霍夫变换算法、随机霍夫变换算法和/或随机圆检测算法。7.根据权利要求2所述的图像数据处理方法，其特征在于：所述对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息，包括：基于预先保存的待处理物品的模板，使用模板匹配算法对经膨胀处理后的掩膜进行处理；基于模板匹配算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。8.根据权利要求7所述的图像数据处理方法，其特征在于：所述匹配算法包括基于形状的匹配算法。9.根据权利要求1
‑
8中任一项所述的图像数据处理方法，其特征在于：所述从图像数据中识别待处理物品，并生成所述待处理物品的掩膜，包括：基于深度学习对所述图像数据进行处理以识别待处理物品，并生成所述待处理物品的掩膜。10.一种图像数据处理装置，其特征在于，包括：图像数据接收模块，用于接收包含待处理物品的图像数据；掩膜生成模块，用于从图像...
【专利技术属性】
技术研发人员：李辉，司林林，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。