一种基于深度学习的物体姿态识别抓取的搬运机器人方法技术

本发明专利技术提供了一种基于深度学习的物体姿态识别抓取的搬运机器人方法，包括：构建深度学习模型，并基于预设图像训练集对所述深度学习模型进行训练；获取待抓取目标物的目标图像，并基于训练后的深度学习模型对所述目标图像进行处理，得到所述目标物的位置及姿态信息；基于所述目标物的位置及姿态信息对搬运机器的抓取路径以及抓取方式进行规划，并基于规划结果对目标物进行抓取及搬运。通过提前对不同的工作任务进行训练，提高了搬运机器人对物体的识别效率，同时在搬运过程中能够快速规划搬运路径以及抓取方式，在保证安全搬运物体的前提下，提高了对物品的搬运效率，节省了大量的人力物力。的人力物力。的人力物力。

【技术实现步骤摘要】
一种基于深度学习的物体姿态识别抓取的搬运机器人方法


[0001]本专利技术涉及智能机器人抓取
，特别涉及一种基于深度学习的物体姿态识别抓取的搬运机器人方法。

技术介绍

[0002]目前，形形色色的机器人开始走进工厂进行辅助生产，它们代替人类完成危险或反复的工作任务，显而易见的是，智能机器人并不会感到疲倦，只会遵循着已经训练好的神经网络或规则进行运作，优秀的智能机器人获得了工业的青睐，并大量运用于生产之中；
[0003]但是，目前大多数机器人只能实现较简单的工作任务，且在不能根据任务的不同及时切换相应的工作模式，导致工作效率低下，同时需要以员工与机器相结合才能顺利完成任务，浪费了大量的人力资源；
[0004]因此，本专利技术提供了一种基于深度学习的物体姿态识别抓取的搬运机器人方法，用于提前对不同的工作任务进行训练，提高了搬运机器人对物体的识别效率，同时在搬运过程中能够快速规划搬运路径以及抓取方式，在保证安全搬运物体的前提下，提高了对物品的搬运效率，节省了大量的人力物力。

技术实现思路

[0005]本专利技术提供一种基于深度学习的物体姿态识别抓取的搬运机器人方法，用以通过提前对不同的工作任务进行训练，提高了搬运机器人对物体的识别效率，同时在搬运过程中能够快速规划搬运路径以及抓取方式，在保证安全搬运物体的前提下，提高了对物品的搬运效率，节省了大量的人力物力。
[0006]本专利技术提供了一种基于深度学习的物体姿态识别抓取的搬运机器人方法，包括：
[0007]步骤1：构建深度学习模型，并基于预设图像训练集对所述深度学习模型进行训练；
[0008]步骤2：获取待抓取目标物的目标图像，并基于训练后的深度学习模型对所述目标图像进行处理，得到所述目标物的位置及姿态信息；
[0009]步骤3：基于所述目标物的位置及姿态信息对搬运机器的抓取路径以及抓取方式进行规划，并基于规划结果对目标物进行抓取及搬运。
[0010]优选的，一种基于深度学习的物体姿态识别抓取的搬运机器人方法，步骤1中，构建深度学习模型，并基于预设图像训练数据集对所述深度学习模型进行训练，包括：
[0011]构建深度学习模型，同时，获取预设图像训练集，并对所述预设图像训练集中每一预设图像的待检测目标在所述预设图像中进行位置标注，得到所述待检测目标在预设图像中的坐标信息；
[0012]基于所述坐标信息提取所述待检测目标在所述预设图像中的姿态特征，同时，获取管理终端对所述深度学习模型的预设条件，其中，所述预设条件为要求所述深度学习模型对所述预设图像训练集进行姿态识别时，识别结果需要满足的条件；
[0013]基于所述姿态特征以及所述预设条件对所述深度学习模型进行训练。
[0014]优选的，一种基于深度学习的物体姿态识别抓取的搬运机器人方法，基于所述姿态特征以及所述预设条件对所述深度学习模型进行训练，包括：
[0015]获取训练后的深度学习模型，同时，获取历史物体姿态图像，其中，所述历史物体姿态图像为多张，且每一张能够明显表明物体当前所处姿态；
[0016]将所述历史物体姿态图像输入训练后的深度学习模型，得到所述训练后的深度学习模型对所述历史物体姿态图像识别的准确率；
[0017]将所述准确率与预设准确率进行比较；
[0018]若所述准确率大于或等于所述预设准确率，判定对深度学习模型的训练合格；
[0019]否则，判定对深度学习模型的训练不合格，并重新对所述深度学习模型进行训练，直至所述准确率大于或等于所述预设准确率。
[0020]优选的，一种基于深度学习的物体姿态识别抓取的搬运机器人方法，步骤1中，构建深度学习模型，并基于预设图像训练数据集对所述深度学习模型进行训练，还包括：
[0021]获取训练后的深度学习模型，并实时获取所述训练后的深度学习模型的运行数据，其中，所述运行数据包括对待分析图像的识别结果；
[0022]基于所述识别结果判断所述训练后的深度学习模型在对待分析图像进行识别时，是否存在对新的物体姿态识别失败现象；
[0023]若存在，将所述新的物体姿态对应的待分析图像存储至数据更新库，并基于所述数据更新库对所述深度学习模型进行数据更新；
[0024]否则，确定所述深度学习模型识别工作正常。
[0025]优选的，一种基于深度学习的物体姿态识别抓取的搬运机器人方法，步骤2中，获取待抓取目标物的目标图像，并基于训练后的深度学习模型对所述目标图像进行处理，得到所述目标物的位置及姿态信息，包括：
[0026]基于预设摄像头获取所述目标物的目标图像，并将所述目标图像分为参考集与待修正集，其中，所述目标图像至少为两张；
[0027]基于参考集中的参考图像与待修正集中的待修正图像的交叉熵的峰值坐标获取还原位移量，并基于所述还原位移量对所述待修正图像进行位移，得到位移修正图像；
[0028]基于所述位移修正图像与所述待修正图像的重叠部分及参考图像中与重叠部分对应的部分以外的其他部分形成目标修正图像，并确定所述目标修正图像中每个像素灰度值的平均值；
[0029]基于预设方法通过所述每个像素灰度值的平均值得到所述目标修正图像中每个像素灰度值对应的色彩值，并将每个像素灰度值对应的色彩值与对应的预设色彩值进行比较；
[0030]若所述色彩值与所述预设色彩值不一致，基于所述预设色彩值确定当前像素灰度值对应的色彩修正值，并基于所述色彩修正值对当前像素灰度值对应的色彩值进行修正，得到目标待识别图像；
[0031]基于所述深度学习模型，提取所述目标待识别图像中的目标参考物，并将所述目标物及所述目标参考物所处场地网格化；
[0032]基于网格化的场地确定所述目标参考物的第一坐标信息，同时确定所述目标物在
所述网格化的场地中的第二坐标信息；
[0033]基于所述第一坐标信息以及所述第二坐标信息确定所述目标参考物与所述目标物之间的方向及距离，并根据预设方法计算得到所述目标物的位置信息；
[0034]同时，基于所述深度学习模型，提取所述目标待识别图像中目标物，并将所述目标待识别图像中的目标物与背景进行分割，得到目标物主体图像以及背景图像；
[0035]将所述目标物主体图像进行去噪处理，并将去噪处理后的目标物主体图像输入所述深度学习模型进行分析，得到所述目标物的姿态信息，其中，所述姿态信息包括目标物的朝向以及摆放角度。
[0036]优选的，一种基于深度学习的物体姿态识别抓取的搬运机器人方法，得到所述目标物的姿态信息，还包括：
[0037]获取所述目标物的位置信息及姿态信息，同时确定搬运机器人对待识别数据的预设格式要求；
[0038]基于所述预设格式要求将所述目标物的位置信息及姿态信息进行格式转换，并将转换后的目标物的位置信息及姿态信息分别放置于对应的数据传输队列；
[0039]基于目标物的位置信息及姿态信息在数据传输队列中的排列顺序，依次将所述目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的物体姿态识别抓取的搬运机器人方法，其特征在于，包括：步骤1：构建深度学习模型，并基于预设图像训练集对所述深度学习模型进行训练；步骤2：获取待抓取目标物的目标图像，并基于训练后的深度学习模型对所述目标图像进行处理，得到所述目标物的位置及姿态信息；步骤3：基于所述目标物的位置及姿态信息对搬运机器的抓取路径以及抓取方式进行规划，并基于规划结果对目标物进行抓取及搬运。2.根据权利要求1所述的一种基于深度学习的物体姿态识别抓取的搬运机器人方法，其特征在于，步骤1中，构建深度学习模型，并基于预设图像训练数据集对所述深度学习模型进行训练，包括：构建深度学习模型，同时，获取预设图像训练集，并对所述预设图像训练集中每一预设图像的待检测目标在所述预设图像中进行位置标注，得到所述待检测目标在预设图像中的坐标信息；基于所述坐标信息提取所述待检测目标在所述预设图像中的姿态特征，同时，获取管理终端对所述深度学习模型的预设条件，其中，所述预设条件为要求所述深度学习模型对所述预设图像训练集进行姿态识别时，识别结果需要满足的条件；基于所述姿态特征以及所述预设条件对所述深度学习模型进行训练。3.根据权利要求2所述的一种基于深度学习的物体姿态识别抓取的搬运机器人方法，其特征在于，基于所述姿态特征以及所述预设条件对所述深度学习模型进行训练，包括：获取训练后的深度学习模型，同时，获取历史物体姿态图像，其中，所述历史物体姿态图像为多张，且每一张能够明显表明物体当前所处姿态；将所述历史物体姿态图像输入训练后的深度学习模型，得到所述训练后的深度学习模型对所述历史物体姿态图像识别的准确率；将所述准确率与预设准确率进行比较；若所述准确率大于或等于所述预设准确率，判定对深度学习模型的训练合格；否则，判定对深度学习模型的训练不合格，并重新对所述深度学习模型进行训练，直至所述准确率大于或等于所述预设准确率。4.根据权利要求1所述的一种基于深度学习的物体姿态识别抓取的搬运机器人方法，其特征在于，步骤1中，构建深度学习模型，并基于预设图像训练数据集对所述深度学习模型进行训练，还包括：获取训练后的深度学习模型，并实时获取所述训练后的深度学习模型的运行数据，其中，所述运行数据包括对待分析图像的识别结果；基于所述识别结果判断所述训练后的深度学习模型在对待分析图像进行识别时，是否存在对新的物体姿态识别失败现象；若存在，将所述新的物体姿态对应的待分析图像存储至数据更新库，并基于所述数据更新库对所述深度学习模型进行数据更新；否则，确定所述深度学习模型识别工作正常。5.根据权利要求1所述的一种基于深度学习的物体姿态识别抓取的搬运机器人方法，其特征在于，步骤2中，获取待抓取目标物的目标图像，并基于训练后的深度学习模型对所述目标图像进行处理，得到所述目标物的位置及姿态信息，包括：
基于预设摄像头获取所述目标物的目标图像，并将所述目标图像分为参考集与待修正集，其中，所述目标图像至少为两张；基于参考集中的参考图像与待修正集中的待修正图像的交叉熵的峰值坐标获取还原位移量，并基于所述还原位移量对所述待修正图像进行位移，得到位移修正图像；基于所述位移修正图像与所述待修正图像的重叠部分及参考图像中与重叠部分对应的部分以外的其他部分形成目标修正图像，并确定所述目标修正图像中每个像素灰度值的平均值；基于预设方法通过所述每个像素灰度值的平均值得到所述目标修正图像中每个像素灰度值对应的色彩值，并将每个像素灰度值对应的色彩值与对应的预设色彩值进行比较；若所述色彩值与所述预设色彩值不一致，基于所述预设色彩值确定当前像素灰度值对应的色彩修正值，并基于所述色彩修正值对当前像素灰度值对应的色彩值进行修正，得到目标待识别图像；基于所述深度学习模型，提取所述目标待识别图像中的目标参考物，并将所述目标物及所述目标参考物所处场地网格化；基于网格化的场地确定所述目标参考物的第一坐标信息，同时确定所述目标物在所述网格化的场地中的第二坐标信息；基于所述第一坐标信息以及所述第二坐标信息确定所述目标参考物与所述目标物之间的方向及距离，并根据预设方法计算得到所述目标物的位置信息；同时，基于所述深度学习模型，提取所述目标待识别图像中目标物，并将所述目标待识别图像中的目标物与...

【专利技术属性】
技术研发人员：王三祥，王欣，王锋，刘洪顺，张成国，张朝年，
申请(专利权)人：江苏昱博自动化设备有限公司，
类型：发明
国别省市：