一种基于视觉的机器人智能理鞋系统设计与实现方法技术方案

本发明专利技术公开了一种基于视觉的机器人智能理鞋系统设计与实现方法，包括步骤：获取目标图像；所述目标图像中的目标包括鞋子和鞋架；根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像；根据所有所述鞋子的图像，确定配对的鞋子；根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。本申请通过确定目标图像中配对的鞋子，并根据目标图像确定鞋子的位姿和鞋架的位姿，将配对的鞋子放入鞋架，解决了鞋子乱摆放的问题。解决了鞋子乱摆放的问题。解决了鞋子乱摆放的问题。

【技术实现步骤摘要】
一种基于视觉的机器人智能理鞋系统设计与实现方法


[0001]本专利技术涉及理鞋
，尤其涉及的是一种基于视觉的机器人智能理鞋系统设计与实现方法。

技术介绍

[0002]随着当下人民生活水平的日益提升，人们对家居环境的品质要求也随之水涨船高。家居环境所能给人们带来的便捷与舒适成为生活中必不可少的要素，但是有些问题却仍然没有得到解决，其中之一就是鞋子脏、乱的问题。现有技术中，普通鞋柜里的鞋子常常随意摆放，甚至随意堆放至门口，脏乱问题明显。
[0003]因此，现有技术还有待于改进和发展。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于视觉的机器人智能理鞋系统设计与实现方法，旨在解决现有技术中鞋子乱摆放的问题。
[0005]本专利技术解决技术问题所采用的技术方案如下：
[0006]一种基于视觉的机器人智能理鞋系统设计与实现方法，其中，包括步骤：
[0007]获取目标图像；所述目标图像中的目标包括鞋子和鞋架；
[0008]根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像；
[0009]根据所有所述鞋子的图像，确定配对的鞋子；
[0010]根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。
[0011]所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像，包括：<br/>[0012]将所述目标图像输入训练好的识别网络，通过所述训练好的识别网络得到所述目标图像中所述目标的类别和所述目标的掩码；其中，所述目标的类别包括鞋子和鞋架，所述目标的掩码包括：鞋子的掩码和鞋架的掩码；
[0013]针对每只鞋子，根据所述目标图像以及该鞋子的掩码，确定该鞋子的位姿；
[0014]根据目标图像以及所述鞋架的掩码，确定所述鞋架的位姿；
[0015]针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像。
[0016]所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述目标图像为深度图像；所述鞋子的掩码包括本体掩码和开口掩码；所述鞋子的位姿包括鞋子的位置信息和鞋子的方向信息；所述针对每只鞋子，根据所述目标图像以及该鞋子的边框，确定该鞋子的位姿，包括：
[0017]根据所述本体掩码，确定所述本体掩码对应的本体边框和本体中心点；其中，所述本体边框为鞋子的最小外接矩形框；
[0018]针对每只鞋子，根据所述目标图像和该鞋子的本体中心点，确定该鞋子的位置信息；
[0019]根据所述开口掩码，确定所述开口掩码对应的开口中心点；
[0020]针对每个本体边框，根据该本体边框和所有开口中心点，确定该本体边框对应的开口中心点；
[0021]针对每只鞋子，根据该鞋子的本体边框的中心点和该鞋子的本体边框对应的开口中心点，确定该鞋子的方向信息。
[0022]所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像，包括：
[0023]针对每只鞋子，根据该鞋子的本体掩码对应的本体边框以及该鞋子的本体边框对应的开口中心点，对所述目标图像进行旋转，得到该鞋子的旋转图像；其中，该鞋子的旋转图像中该鞋子竖直向上；
[0024]对该鞋子的旋转图像进行裁剪，得到该鞋子的图像。
[0025]所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述根据所有所述鞋子的图像，确定配对的鞋子，包括：
[0026]针对每个鞋子的图像，将该鞋子的图像输入训练好的特征提取网络，通过所述训练好的特征提取网络得到该鞋子的特征向量；
[0027]对任意两个鞋子的特征向量进行匹配，以确定配对的鞋子。
[0028]所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述对任意两个鞋子的特征向量进行匹配，以确定配对的鞋子，包括：
[0029]根据任意两个鞋子的特征向量，确定两个鞋子的余弦相似度；
[0030]当两个鞋子的余弦相似度满足预设要求时，将两个鞋子作为配对的鞋子。
[0031]所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架，包括：
[0032]根据所述鞋架的位姿，确定所述鞋架的目标位姿；其中，所述目标位姿为所述鞋架上放入所述配对的鞋子的位姿；
[0033]针对所述配对的鞋子每只鞋子，根据该鞋子的位姿，抓取该鞋子，并根据所述目标位姿，将该鞋子放入所述鞋架。
[0034]一种基于视觉的机器人智能理鞋系统，包括：依次连接的摄像头、识别系统以及机器人；其中，所述机器人上设置有抓取鞋子的机械手；
[0035]所述摄像头，用于获取目标图像，并发送至所述识别系统；所述目标图像中的目标包括鞋子和鞋架；
[0036]所述识别系统，用于接收所述目标图像，并根据所述目标图像，确定所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像，且根据所有所述鞋子的图像，确定配对的鞋子；
[0037]所述机器人，用于根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。
[0038]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
[0039]一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
[0040]有益效果：本申请通过确定目标图像中配对的鞋子，并根据目标图像确定鞋子的位姿和鞋架的位姿，将配对的鞋子放入鞋架，解决了鞋子乱摆放的问题。
附图说明
[0041]图1是本专利技术中理鞋方法的流程图。
[0042]图2是本专利技术中Mask R
‑
CNN识别网络的结构图。
[0043]图3是本专利技术中鞋子标注效果图。
[0044]图4是本专利技术中鞋架标注效果图。
[0045]图5是本专利技术中数据增广示意图。
[0046]图6是本专利技术中目标的识别结果示意图。
[0047]图7是本专利技术中最小外接矩形框的第一示意图。
[0048]图8是本专利技术中最小外接矩形框的第二示意图。
[0049]图9是本专利技术中裁剪得到鞋子的图像的示意图。
[0050]图10是本专利技术中鞋子裁剪的示意图。
[0051]图11是本专利技术中不同朝向的鞋子的示意图。
[0052]图12是本专利技术中鞋子匹配的流程图。
[0053]图13是本专利技术中机器人理鞋过程示意图。
具体实施方式
[0054]为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，包括步骤：获取目标图像；所述目标图像中的目标包括鞋子和鞋架；根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像；根据所有所述鞋子的图像，确定配对的鞋子；根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。2.根据权利要求1所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像，包括：将所述目标图像输入训练好的识别网络，通过所述训练好的识别网络得到所述目标图像中所述目标的类别和所述目标的掩码；其中，所述目标的类别包括鞋子和鞋架，所述目标的掩码包括：鞋子的掩码和鞋架的掩码；针对每只鞋子，根据所述目标图像以及该鞋子的掩码，确定该鞋子的位姿；根据目标图像以及所述鞋架的掩码，确定所述鞋架的位姿；针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像。3.根据权利要求2所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述目标图像为深度图像；所述鞋子的掩码包括本体掩码和开口掩码；所述鞋子的位姿包括鞋子的位置信息和鞋子的方向信息；所述针对每只鞋子，根据所述目标图像以及该鞋子的边框，确定该鞋子的位姿，包括：根据所述本体掩码，确定所述本体掩码对应的本体边框和本体中心点；其中，所述本体边框为鞋子的最小外接矩形框；针对每只鞋子，根据所述目标图像和该鞋子的本体中心点，确定该鞋子的位置信息；根据所述开口掩码，确定所述开口掩码对应的开口中心点；针对每个本体边框，根据该本体边框和所有开口中心点，确定该本体边框对应的开口中心点；针对每只鞋子，根据该鞋子的本体边框的中心点和该鞋子的本体边框对应的开口中心点，确定该鞋子的方向信息。4.根据权利要求3所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像，包括：针对每只鞋子，根据该鞋子的本体掩码对应的本体边框以及该鞋子的本体边框对应的开口中心点，对所述目标图像进行旋转，...

【专利技术属性】
技术研发人员：张坛，张政，
申请(专利权)人：深圳技术大学，
类型：发明
国别省市：