基于机器学习的料框自动堆叠方法、装置及移动机器人制造方法及图纸

本发明专利技术公开了一种基于机器学习的料框自动堆叠方法、装置及移动机器人，应用于设置有摄像头的叉式移动机器人，所述方法包括：通过建立关键点检测模型识别摄像头所拍摄到的图像数据中下层料框立柱的Z轴坐标位置，并判断下层料框立柱的Z轴的坐标位置是否超限，若不超限，则将上层料框移至其碗槽与下层料框的对应立柱接近重叠，并检测此时上层料框远端的碗槽的X轴和Z轴的坐标位置与下层料框远端的立柱和上层料框远端的碗槽之间的X轴差值和Z轴差值是否超限，若超限则调整叉式移动机器人货叉的位置，若不超限，则控制货叉将上层料框叠至下层料框上。本发明专利技术通过叉式移动机器人实现对料框的自动化堆叠，提高了堆叠效率。提高了堆叠效率。提高了堆叠效率。

【技术实现步骤摘要】
基于机器学习的料框自动堆叠方法、装置及移动机器人


[0001]本专利技术涉及仓储管理
，更具体地说，涉及一种基于机器学习的料框自动堆叠方法、装置及移动机器人。

技术介绍

[0002]现有技术中通常通过人工操控叉车将多层料框堆叠，以此提高仓库的利用率；但是通过人工堆叠料框的效率较低，且劳动强度较大，因此难以满足自动化的需求；另一方面，在堆叠高层料框的过程中，需要工人熟练掌握叉车的操作技能并精准操作，才能保证在堆叠的过程中不会造成对料框的挤压与碰撞。

技术实现思路

[0003]本专利技术的目的是提供一种基于机器学习的料框自动堆叠方法、装置及相关组件，旨在解决现有技术中料框堆叠效率低、且难以满足自动化需求的问题。
[0004]第一方面，本专利技术实施例提供了一种基于机器学习的料框自动堆叠方法，应用于叉式移动机器人，所述叉式移动机器人上设置有摄像头，所述方法包括：
[0005]获取所述摄像头拍摄的样本图像数据，并对所述样本图像数据进行数据增强、数据预处理以及数据标注得到数据集，并将所述数据集划分为训练集数据和测试集数据，通过所述训练集数据训练深度神经网络算法模型，得到关键点检测模型，并将所述关键点检测模型部署至所述叉式移动机器人；其中，所述数据标注包括对上层料框多个碗槽的X轴和Z轴的坐标位置和下层料框多个立柱的X轴和Z轴的坐标位置进行标注；
[0006]当进行堆叠作业时，所述叉式移动机器人控制货叉将所述上层料框移动至所述下层料框的上方，通过将所述摄像头拍摄的实时图像数据输入所述关键点检测模型，预测得到所述上层料框多个碗槽的X轴和Z轴的坐标位置和所述下层料框多个立柱的X轴和Z轴的坐标位置；
[0007]根据所述下层料框至少一侧立柱的Z轴的坐标位置判断所述下层料框至少一侧远端的立柱和同侧近端的立柱之间的Z轴差值是否超限，获得第一判断结果；若所述第一判断结果为超限，则异常报警；
[0008]若所述第一判断结果为不超限，则所述叉式移动机器人将所述上层料框移动至其碗槽与所述下层料框的对应立柱接近重叠，并根据所述下层料框远端的立柱的X轴和Z轴的坐标位置以及所述上层料框远端的碗槽的X轴和Z轴的坐标位置判断所述下层料框远端的立柱和上层料框远端的碗槽之间的X轴差值和Z轴差值是否超限，获得第二判断结果；若所述第二判断结果为超限则调整所述货叉的位置；
[0009]若所述第二判断结果为不超限，则控制所述货叉将所述上层料框叠至所述下层料框上。
[0010]第二方面，本专利技术实施例提供了一种基于机器学习的料框自动堆叠装置，包括：
[0011]获取单元，用于获取所述摄像头拍摄的样本图像数据，并对所述样本图像数据进
行数据增强、数据预处理以及数据标注得到数据集，并将所述数据集划分为训练集数据和测试集数据，通过所述训练集数据训练深度神经网络算法模型，得到关键点检测模型，并将所述关键点检测模型部署至所述叉式移动机器人；其中，所述数据标注包括对上层料框多个碗槽的X轴和Z轴的坐标位置和下层料框多个立柱的X轴和Z轴的坐标位置进行标注；
[0012]预测单元，用于当进行堆叠作业时，所述叉式移动机器人控制货叉将所述上层料框移动至所述下层料框的上方，通过将所述摄像头拍摄的实时图像数据输入所述关键点检测模型，预测得到所述上层料框多个碗槽的X轴和Z轴的坐标位置和所述下层料框多个立柱的X轴和Z轴的坐标位置；
[0013]异常判断单元，用于根据所述下层料框至少一侧立柱的Z轴的坐标位置判断所述下层料框至少一侧远端的立柱和同侧近端的立柱之间的Z轴差值是否超限，获得第一判断结果；若所述第一判断结果为超限，则异常报警；
[0014]调整单元，用于若所述第一判断结果为不超限，则所述叉式移动机器人将所述上层料框移动至其碗槽与所述下层料框的对应立柱接近重叠，并根据所述下层料框远端的立柱的X轴和Z轴的坐标位置以及所述上层料框远端的碗槽的X轴和Z轴的坐标位置判断所述下层料框远端的立柱和上层料框远端的碗槽之间的X轴差值和Z轴差值是否超限，获得第二判断结果；若所述第二判断结果为超限则调整所述货叉的位置；
[0015]堆叠单元，用于若所述第二判断结果为不超限，则控制所述货叉将所述上层料框叠至所述下层料框上。
[0016]第三方面，本专利技术实施例提供了一种叉式移动机器人，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于机器学习的料框自动堆叠方法。
[0017]本专利技术与现有技术相比的有益效果是：本专利技术基于机器学习技术，通过叉式移动机器人控制货叉堆叠若干个料框，实现自动化堆叠，减少人工参与，进一步提高了料框的堆叠效率。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0019]图1为本专利技术实施例提供的一种基于机器学习的料框自动堆叠方法的流程示意图；
[0020]图2为本专利技术实施例提供的一种基于机器学习的料框自动堆叠方法的子单元的流程示意图；
[0021]图3为本专利技术实施例提供的一种基于机器学习的料框自动堆叠方法的又一子单元的流程示意图；
[0022]图4为本专利技术实施例提供的一种基于机器学习的料框自动堆叠方法的又一子单元的流程示意图；
[0023]图5为本专利技术实施例提供的一种基于机器学习的料框自动堆叠方法的又一子单元
的流程示意图；
[0024]图6为本专利技术实施例提供的一种基于机器学习的料框自动堆叠方法的又一子单元的流程示意图；
[0025]图7为本专利技术实施例提供的一种基于机器学习的料框自动堆叠装置的结构示意图；
[0026]图8为本专利技术实施例提供的一种基于机器学习的料框自动堆叠装置的子单元的结构示意图；
[0027]图9为本专利技术实施例提供的一种基于机器学习的料框自动堆叠装置的又一子单元的结构示意图；
[0028]图10为本专利技术实施例提供的一种基于机器学习的料框自动堆叠装置的又一子单元的结构示意图；
[0029]图11为本专利技术实施例提供的一种基于机器学习的料框自动堆叠装置的又一子单元的结构示意图；
[0030]图12为本专利技术实施例提供的一种基于机器学习的料框自动堆叠装置的又一子单元的结构示意图；
[0031]图13为本专利技术实施例提供的一种基于机器学习的料框自动堆叠装置的料框的结构示意图；
[0032]图14为本专利技术实施例提供的一种基于机器学习的料框自动堆叠装置进行堆叠作业的结构示意图。
[0033]图中标识：
[0034]立柱；2、碗槽；3、钢架；4、叉式移动机器人；5、上层料框；6、下层料框；A、B、C、D分别为料框的四个立柱。
[0035]本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的料框自动堆叠方法，应用于叉式移动机器人，其特征在于，所述叉式移动机器人上设置有摄像头，所述方法包括：获取所述摄像头拍摄的样本图像数据，并对所述样本图像数据进行数据增强、数据预处理以及数据标注得到数据集，并将所述数据集划分为训练集数据和测试集数据，通过所述训练集数据训练深度神经网络算法模型，得到关键点检测模型，并将所述关键点检测模型部署至所述叉式移动机器人；其中，所述数据标注包括对上层料框多个碗槽的X轴和Z轴的坐标位置和下层料框多个立柱的X轴和Z轴的坐标位置进行标注；当进行堆叠作业时，所述叉式移动机器人控制货叉将所述上层料框移动至所述下层料框的上方，通过将所述摄像头拍摄的实时图像数据输入所述关键点检测模型，预测得到所述上层料框多个碗槽的X轴和Z轴的坐标位置和所述下层料框多个立柱的X轴和Z轴的坐标位置；根据所述下层料框至少一侧立柱的Z轴的坐标位置判断所述下层料框至少一侧远端的立柱和同侧近端的立柱之间的Z轴差值是否超限，获得第一判断结果；若所述第一判断结果为超限，则异常报警；若所述第一判断结果为不超限，则所述叉式移动机器人将所述上层料框移动至其碗槽与所述下层料框的对应立柱接近重叠，并根据所述下层料框远端的立柱的X轴和Z轴的坐标位置以及所述上层料框远端的碗槽的X轴和Z轴的坐标位置判断所述下层料框远端的立柱和上层料框远端的碗槽之间的X轴差值和Z轴差值是否超限，获得第二判断结果；若所述第二判断结果为超限则调整所述货叉的位置；若所述第二判断结果为不超限，则控制所述货叉将所述上层料框叠至所述下层料框上。2.根据权利要求1所述的基于机器学习的料框自动堆叠方法，其特征在于，所述根据所述下层料框至少一侧立柱的Z轴的坐标位置判断所述下层料框至少一侧远端的立柱和同侧近端的立柱之间的Z轴差值是否超限，获得第一判断结果，包括：根据所述下层料框至少一侧立柱的Z轴的坐标位置，计算所述下层料框至少一侧远端的立柱和同侧近端的立柱之间的Z轴差值，得到至少一侧立柱的Z轴差值；将至少一侧立柱的Z轴差值与标准下层料框的对应侧立柱的标准Z轴差值进行比较，得到比较差值；若所述比较差值超过第一阈值，则将超限作为第一判断结果；若所述比较差值未超过第一阈值，则将不超限作为第一判断结果。3.根据权利要求1所述的基于机器学习的料框自动堆叠方法，其特征在于，所述根据所述下层料框远端的立柱的X轴和Z轴的坐标位置以及所述上层料框远端的碗槽的X轴和Z轴的坐标位置判断所述下层料框远端的立柱和上层料框远端的碗槽之间的X轴差值和Z轴差值是否超限，获得第二判断结果，包括：根据所述下层料框远端的立柱的X轴的坐标位置以及所述上层料框远端的碗槽的X轴的坐标位置，计算得到所述下层料框至少一侧远端的立柱和所述上层料框同侧远端的碗槽之间的X轴差值，得到至少一侧远端的X轴差值；根据所述下层料框远端的立柱的Z轴的坐标位置以及所述上层料框远端的碗槽的Z轴的坐标位置，计算得到所述下层料框至少一侧远端的立柱和所述上层料框同侧远端的碗槽
之间的Z轴差值，得到至少一侧远端的Z轴差值；判断所述X轴差值是否超过第二阈值，以及所述Z轴差值是否超过第三阈值；若所述X轴差值超过第二阈值，和/或所述Z轴差值超过第三阈值，则将超限作为第二判断结果；若所述X轴差值未超过第二阈值，且所述Z轴差值未超过第三阈值，则将不超限作为第二判断结果。4.根据权利要求3所述的基于机器学习的料框自动堆叠方法，其特征在于，所述若所述第二判断结果为超限则调整所述货叉的位置，包括：若所述第二判断...

【专利技术属性】
技术研发人员：邹杨波，邵健锋，缪欣呈，樊律，
申请(专利权)人：深圳市今天国际智能机器人有限公司，
类型：发明
国别省市：