本申请公开了一种基于图像处理的抓取控制方法及装置，涉及智能机器人领域，应用于礼品抓取机，首先获取包含玩家人像的第一待处理图像和包含礼品箱内所有礼品的第二待处理图像，分析得到玩家人像元素和第二待处理图像的每个元素的近似类别结果，在第二待处理图像中挑选出与玩家人像元素的近似类别结果匹配的备选元素，最后控制机械抓手抓取备选元素对应的礼品反馈给玩家。本方法包含了礼品抓取机的一种新玩法，不再单纯追求抓取目标娃娃的精准性，而是在礼品箱中抓取与玩家形象抽象近似的礼品反馈给玩家，可以很好地启发玩家的想象力，丰富礼品抓取机的娱乐方式。丰富礼品抓取机的娱乐方式。丰富礼品抓取机的娱乐方式。
【技术实现步骤摘要】
一种基于图像处理的抓取控制方法及装置
[0001]本申请涉及智能机器人领域，特别涉及一种基于图像处理的抓取控制方法及装置。
技术介绍
[0002]娃娃机等选物贩卖机，原理是将商品陈列在一个透明的箱内，其上有一个可控制抓取物品的机器手臂，使用者要凭自己的技术操控手臂，以取得自己想要的物品。大多放置毛绒玩具之类的布偶填充玩具，因而受儿童及青少年欢迎。
[0003]专利技术人研究发现，玩家在进行娃娃机游戏时追求的只是抓取目标娃娃的精准性，玩法单一，控制过程较为简单，缺少能够启发用户的想象力的其他玩法。
技术实现思路
[0004]本申请的目的在于提供一种基于图像处理的抓取控制方法及装置，其能够改善上述问题。
[0005]本申请的实施例是这样实现的：第一方面，本申请提供一种基于图像处理的抓取控制方法，应用于礼品抓取机，所述礼品抓取机包括礼品箱体、机械抓手、平面驱动组件和伸长驱动组件，所述机械抓手通过所述伸长驱动组件与所述平面驱动组件连接，所述机械抓手在所述平面驱动组件和/或所述伸长驱动组件的驱动下在所述礼品箱体内运动，以抓取所述礼品箱体内的礼品，所述抓取控制方法包括：S1、获取第一待处理图像；S2、控制平面驱动组件驱动机械抓手移动至礼品箱体顶部的中心位置后，获取设置于所述机械抓手中央位置的中央摄像头所拍摄到的第二待处理图像；S3、分析出所述第一待处理图像和所述第二待处理图像中的每个元素的近似类别结果；S4、将所述第一待处理图像中面积占比最大的元素的近似类别结果作为第一近似结果，将所述第二待处理图像中每个元素的近似类别结果作为第二近似结果；S5、在所述第二近似结果与所述第一近似结果匹配的情况下，将所述第二近似结果对应的元素确认为备选元素；S6、控制所述机械抓手抓取所述备选元素对应的礼品放置于礼品出口处。
[0006]其中：S1、S2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤S2再执行步骤S1，本申请不做限制。
[0007]可以理解，本申请公开了一种基于图像处理的抓取控制方法，应用于礼品抓取机，首先获取包含玩家人像的第一待处理图像和包含礼品箱内所有礼品的第二待处理图像，分析得到玩家人像元素和第二待处理图像的每个元素的近似类别结果，在第二待处理图像中挑选出与玩家人像元素的近似类别结果匹配的备选元素，最后控制机械抓手抓取备选元素
对应的礼品。本方法包含了礼品抓取机的一种新玩法，不再单纯追求抓取目标娃娃的精准性，而是在礼品箱中抓取与玩家形象抽象近似的礼品反馈给玩家，可以很好地启发玩家的想象力，丰富礼品抓取机的娱乐方式。
[0008]在本申请可选的实施例中，步骤S3包括：S31、通过图像元素识别模型对所述第一待处理图像和所述第二待处理图像中的每个元素进行识别，得到每个元素的类别概率表，所述类别概率表包括元素属于各个备选类别的概率；S32、在所述类别概率表中去除目标备选类别后，选取所述类别概率表中概率最大的所述备选类别作为对应元素的近似类别结果。
[0009]在本申请可选的实施例中，所述目标备选类别包括以下至少一项：所述目标备选类别为所述类别概率表中当前概率最大的备选类别；所述第一待处理图像对应的所述目标备选类别为人物类别；所述第二待处理图像对应的所述目标备选类别为玩偶类别。
[0010]可以理解，图像元素识别模型为人工神经网络模型，包括输入层、复合隐藏层、预测层和输出层，用于输出预测框可信度得分大于预设得分值的预测框所对应的类别概率表。类别概率表中，概率最大的备选类别即为图像元素识别模型的识别结果。但是本方法放弃当前概率最大的目标备选类别，而是选择概率次大的备选类别作为输出结果，即为元素的近似类别结果，能够起到很好地抽象近似效果。
[0011]在本申请可选的实施例中，步骤S31之前还包括：通过目标图像集对所述图像元素识别模型进行训练，所述目标图像集包括经过至少两级分类的样本图像。在此情况下，所述类别概率表中的所述备选类别为所述至少两级分类的末级分类类别。
[0012]可以理解，类似目标检测数据集PASCAL VOC的目标图像集，将各种图像元素进行多级分类，比如：一级分类包括动物、家具、交通工具等，动物的二级分类又包括猫、狗、老鼠等。
[0013]在本申请可选的实施例中，步骤S5包括以下至少一项：在所述第二近似结果与所述第一近似结果相同的情况下，将所述第二近似结果对应的元素确认为备选元素；在所述第二近似结果与所述第一近似结果的上一级类别相同的情况下，将所述第二近似结果对应的元素确认为备选元素。
[0014]可以理解，判断第二近似结果与第一近似结果匹配分为两种情况，其一，第二近似结果与第一近似结果完全一致；其二，第二近似结果和第一近似结果所属大类一致。
[0015]在本申请可选的实施例中，所述通过目标图像集对所述图像元素识别模型进行训练，包括：根据以下损失函数，通过目标图像集对所述图像元素识别模型进行训练：;其中：
其中：和为对应损失因素所对应的权值，一般为预设常数；表示若图像元素识别模型的输入图片第个网格对应的第个预测框负责预测图像元素则赋值为1，否则赋值为0；代表输入图片的网格总数，表示每个网格对应的预测框总数；表示第个网格对应的图像元素的真实框坐标，表示第个网格对应的预测框坐标，表示第个网格对应的图像元素的真实框的宽度和高度，表示第个网格对应的预测框的宽度和高度；表示第个网格对应的真实框的可信度得分，表示第个网格对应的预测框的可信度得分；表示若图像元素识别模型的输入图片第个网格对应的第个预测框不负责预测图像元素则赋值为1，否则赋值为0；表示若图像元素识别模型的输入图片第个网格对应的预测框包含图像元素则赋值为1，否则赋值为0；表示将输入图片第个网格对应的真实框元素预测为类别的概率，表示将输入图片第个网格对应的预测框元素预测为类别的概率，代表类别的总集。
[0016]在本申请可选的实施例中，所述基于图像处理的抓取控制方法还包括：S7、在所述备选元素的数量大于1的情况下，选择所述第二待处理图像中距离所述第二待处理图像中心点最近的所述备选元素作为目标元素；S8、所述控制机械抓手抓取所述备选元素对应的礼品放置于礼品出口处，包括：控制机械抓手抓取所述目标元素对应的礼品放置于礼品出口处。
[0017]可以理解，本方法可以通过图像处理的方式在礼品箱中确认与玩家形象抽象近似的礼品，但是中央摄像头所拍摄到的当前礼品箱中与玩家形象抽象近似的礼品可能不止一个，那么此时可以将与第二待处理图像中心点最近的礼品确认为目标礼品，将其抓取并放置于礼品出口处。由于拍摄第二待处理图像时，机械抓手位于礼品箱体顶部的中心位置，因
此与第二待处理图像中心点最近的礼品，也就是与机械抓手最近的礼品，以便于机械抓手完成抓取操作。
[0018]在本申请可选的实施例中，所述基于图像处理的抓取控制方法还包括：S9、在所有所述第二近似结果都不与所述第一近似结果匹配的情况下，控制所述机械抓手在所述礼品箱体内进行搅动。
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像处理的抓取控制方法，其特征在于，包括：获取第一待处理图像；控制平面驱动组件驱动机械抓手移动至礼品箱体顶部的中心位置后，获取设置于所述机械抓手中央位置的中央摄像头所拍摄到的第二待处理图像；分析出所述第一待处理图像和所述第二待处理图像中的每个元素的近似类别结果；将所述第一待处理图像中面积占比最大的元素的近似类别结果作为第一近似结果，将所述第二待处理图像中每个元素的近似类别结果作为第二近似结果；在所述第二近似结果与所述第一近似结果匹配的情况下，将所述第二近似结果对应的元素确认为备选元素；控制所述机械抓手抓取所述备选元素对应的礼品放置于礼品出口处。2.根据权利要求1所述的基于图像处理的抓取控制方法，其特征在于，所述分析出所述第一待处理图像和所述第二待处理图像中的每个元素的近似类别结果，包括：通过图像元素识别模型对所述第一待处理图像和所述第二待处理图像中的每个元素进行识别，得到每个元素的类别概率表，所述类别概率表包括元素属于各个备选类别的概率；在所述类别概率表中去除目标备选类别后，选取所述类别概率表中概率最大的所述备选类别作为对应元素的近似类别结果。3.根据权利要求2所述的基于图像处理的抓取控制方法，其特征在于，所述目标备选类别包括以下至少一项：所述目标备选类别为所述类别概率表中当前概率最大的备选类别；所述第一待处理图像对应的所述目标备选类别为人物类别；所述第二待处理图像对应的所述目标备选类别为玩偶类别。4.根据权利要求2所述的基于图像处理的抓取控制方法，其特征在于，在所述通过图像元素识别模型对所述第一待处理图像和所述第二待处理图像中的每个元素进行近似识别之前，所述方法还包括：通过目标图像集对所述图像元素识别模型进行训练，所述目标图像集包括经过至少两级分类的样本图像；所述类别概率表中的所述备选类别为所述至少两级分类的末级分类类别。5.根据权利要求4所述的基于图像处理的抓取控制方法，其特征在于，所述在所述第二近似结果与所述第一近似结果匹配的情况下，将所述第二近似结果对应的元素确认为备选元素，包括以下至少一项：在所述第二近似结果与所述第一近似结果相同的情况下，将所述第二近似结果对应的元素确认为备选元素；在所述第二近似结果与所述第一近似结果的上一级类别相同的情况下，将所述第二近似结果对应的元素确认为备选元素。6.根据权利要求4所述的基于图像处理的抓取控制方法，其特征在于，所述通过目标图像集对所述图像元素识别模型进行训练，包括：根据以下损失函数，通过目标图像集对所述...
【专利技术属性】
技术研发人员：陈国栋，姚军亭，贾风光，李志锋，丁斌，古缘，
申请(专利权)人：山东中清智能科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。