一种搬运机械臂的控制方法、系统及相关装置制造方法及图纸

本申请公开了一种搬运机械臂的控制方法，所述控制方法包括：当接收到物体搬运命令后，利用多目景深摄像头拍摄环境图像，并根据所述环境图像判断是否存在待搬运物体；若是，则对所述环境图像进行三维还原操作，确定所述待搬运物体的图像深度信息；根据所述图像深度信息生成运动轨迹，并根据所述运动轨迹控制所述搬运机械臂将所述待搬运物体搬运至与所述物体搬运命令对应的位置。本方法能够利用搬运机械臂确定待搬运物体的具体位置并实现搬运操作。本申请还公开了一种搬运机械臂的控制系统、一种计算机可读存储介质及一种搬运机械臂，具有以上有益效果。

Control method, system and related device for conveying manipulator

The present application discloses a control method for a handling manipulator. The control method includes: when receiving the object handling command, taking environmental images with a multi-view depth camera, and judging whether there is an object to be moved according to the environmental images; if so, performing a three-dimensional restoring operation on the environmental images to determine whether there is an object to be moved. The image depth information of the object to be transported is generated, and the moving trajectory is generated according to the image depth information, and according to the moving trajectory, the transporting manipulator is controlled to carry the object to the position corresponding to the object transporting command. This method can make use of the moving manipulator to determine the specific location of the object to be moved and carry out the operation. The application also discloses a control system of a handling manipulator, a computer readable storage medium and a handling manipulator, which have the above beneficial effects.

【技术实现步骤摘要】
一种搬运机械臂的控制方法、系统及相关装置
本专利技术涉及机械臂
，特别涉及一种搬运机械臂的控制方法、系统、一种计算机可读存储介质及一种搬运机械臂。
技术介绍
近年来机械臂已经广泛应用于工业生产，各种工业机械臂种类繁多，功能多样。机械臂通常有多个自由度，用以抓取或移动物体(工具或工件)。所以对工业机械臂可以理解为：拟人手臂、手腕和手功能的机械电子装置，它可把任一物件或工具按空间位姿(位置和姿态)的时变要求进行移动，从而完成某一工业生产的作业要求。如夹持焊钳或焊枪，对汽车或摩托车车体进行了点焊或弧焊，搬运压铸或冲压成型的零件或构件；进行激光切割，喷涂；装配机械零部件等等。现有技术中的搬运机械臂主要应用于机械装配领域，在机械装配过程中搬运机械臂都是执行机械化的程序，所要搬运的物体的位置和搬运的目的地都是固定的，因此工作过程中的所有移动路径、搬运操作都是预先规划好的，仅仅需要使用红外激光进行校准即可。但是，现有技术中的搬运机械臂并不是针对人们的日常生活开发的，日常生活中也存在对搬运机械臂的需要，例如为老人或残障人士端水杯、从桌面上拿起钢笔等。而在日常生活中使用搬运机械臂的情境中，待搬运物体的位置是随机的，因此无法使用现有技术中移动路径、搬运操作都是固定的搬运机械臂来实现上述应用情景的操作。因此，如何利用搬运机械臂确定待搬运物体的具体位置并实现搬运操作是本领域技术人员目前需要解决的技术问题。
技术实现思路
本申请的目的是提供一种搬运机械臂的控制方法、系统、一种计算机可读存储介质及一种搬运机械臂，能够利用搬运机械臂确定待搬运物体的具体位置并实现搬运操作。为解决上述技术问题，本申请提供一种搬运机械臂的控制方法，该控制方法包括：当接收到物体搬运命令后，利用多目景深摄像头拍摄环境图像，并根据所述环境图像判断是否存在待搬运物体；若是，则对所述环境图像进行三维还原操作，确定所述待搬运物体的图像深度信息；根据所述图像深度信息生成运动轨迹，并根据所述运动轨迹控制所述搬运机械臂将所述待搬运物体搬运至与所述物体搬运命令对应的位置。可选的，当接收到物体搬运命令后，利用多目景深摄像头拍摄环境图像，并根据所述环境图像判断是否存在待搬运物体包括：当接收到物体搬运命令后，利用多目景深摄像头拍摄环境图像；提取所有所述环境图像中的特征点，并通过canny算子提取所有所述环境图像中的图像轮廓；根据所述特征点落在所述图像轮廓中的密集程度得到待识别物体图像；判断所述待识别物体图像中所述特征点的数量和峰值噪比是否符合预设标准；其中，所述预设标准包括标准待搬运物体图像的标准特征点的数量和标准峰值噪比；若符合，则所述环境图像存在所述待搬运物体。可选的，对所述环境图像进行三维还原操作，确定所述待搬运物体的图像深度信息包括：获取所述多目景深摄像头的内参数；其中，所述多目景深摄像头为采用张友正标定法标定的摄像头；比对所有所述环境图像的特征点的相似度，得到所述相似度大于预设值的M组相似特征点，并在所有拍摄到所述待搬运物体的环境图像中确定待还原图像；根据所述待还原图像上的相似特征点的二维坐标和所述内参数计算所述待还原图像上的相似特征点的三维坐标；根据所述待还原图像上的相似特征点的三维坐标执行深度插值操作确定所述待搬运物体的图像深度信息。可选的，所述特征点具体为surf特征点。可选的，还包括：接收用户输入的语音信息，根据所述语音信息生成所述物体搬运命令。本申请还提供了一种搬运机械臂的控制系统，该系统包括：图像拍摄模块，用于当接收到物体搬运命令后，利用多目景深摄像头拍摄环境图像，并根据所述环境图像判断是否存在待搬运物体；三维还原模块，用于当所述环境图像判断存在所述待搬运物体时，对所述环境图像进行三维还原操作，确定所述待搬运物体的图像深度信息；搬运模块，用于根据所述图像深度信息生成运动轨迹，并根据所述运动轨迹控制所述搬运机械臂将所述待搬运物体搬运至与所述物体搬运命令对应的位置。可选的，所述图像拍摄模块包括：拍摄单元，用于当接收到物体搬运命令后，拍摄预设数量张不同拍摄角度的环境图像；特征提取单元，用于提取所有所述环境图像中的特征点，并通过canny算子提取所有所述环境图像中的图像轮廓；图像确定单元，用于根据所述特征点落在所述图像轮廓中的密集程度得到待识别物体图像；判断单元判断所述待识别物体图像中所述特征点的数量和峰值噪比是否符合预设标准；其中，所述预设标准包括标准待搬运物体图像的标准特征点的数量和标准峰值噪比；若符合，则所述环境图像存在所述待搬运物体。可选的，所述三维还原模块包括：内参数获取单元，用于获取所述多目景深摄像头的内参数；其中，所述多目景深摄像头为采用张友正标定法标定的摄像头；相似特征点确定单元，用于比对所有所述环境图像的特征点的相似度，得到所述相似度大于预设值的M组相似特征点，并在所有拍摄到所述待搬运物体的环境图像中确定待还原图像；坐标计算单元，用于根据所述待还原图像上的相似特征点的二维坐标和所述内参数计算所述待还原图像上的相似特征点的三维坐标；深度信息确定单元，用于根据所述待还原图像上的相似特征点的三维坐标执行深度插值操作确定所述待搬运物体的图像深度信息。本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述搬运机械臂的控制方法执行的步骤。本申请还提供了一种搬运机械臂，包括：用于拍摄待搬运物体图像的多目景深摄像头；与所述多目景深摄像头连接，用于根据拍摄待搬运物体图像生成图像深度信息，并根据所述图像深度信息生成控制指令的微型计算机；与所述微型计算机通过控制电路连接，用于根据所述控制指令搬运所述待搬运物体的机械臂组件。本专利技术提供了一种搬运机械臂的控制方法，包括当接收到物体搬运命令后，利用多目景深摄像头拍摄环境图像，并根据所述环境图像判断是否存在待搬运物体；若是，则对所述环境图像进行三维还原操作，确定所述待搬运物体的图像深度信息；根据所述图像深度信息生成运动轨迹，并根据所述运动轨迹控制所述搬运机械臂将所述待搬运物体搬运至与所述物体搬运命令对应的位置。现有技术中的搬运机械臂搬运的对象所处的空间位置是固定的，只需执行固定的操作，但是当待搬运物体所处的空间位置不是固定时现有技术中的搬运机械臂无法正常执行搬运操作。基于此，本专利技术通过多目景深摄像头拍摄环境图像，根据环境图像进行三维还原操作进而确定待搬运物体的空间位置，根据待搬运物体的实际空间位置生成相应的控制指令以便完成搬运操作。本方案能够利用搬运机械臂确定待搬运物体的具体位置并实现搬运操作。本申请同时还提供了一种搬运机械臂的控制系统、一种计算机可读存储介质和一种搬运机械臂，具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例所提供的一种搬运机械臂的控制方法的流程图；图2为本申请实施例所提供的另一种搬运机械臂的控制方法的流程图；图3为本申请实施例所提供的一种搬运机械臂的控制系统的结构示意图；图4为本申请实施例所提供的一种桌面级搬运机械臂的机械臂组件的结构示意本文档来自技高网...

【技术保护点】
1.一种搬运机械臂的控制方法，其特征在于，包括：当接收到物体搬运命令后，利用多目景深摄像头拍摄环境图像，并根据所述环境图像判断是否存在待搬运物体；若是，则对所述环境图像进行三维还原操作，确定所述待搬运物体的图像深度信息；根据所述图像深度信息生成运动轨迹，并根据所述运动轨迹控制所述搬运机械臂将所述待搬运物体搬运至与所述物体搬运命令对应的位置。

【技术特征摘要】
1.一种搬运机械臂的控制方法，其特征在于，包括：当接收到物体搬运命令后，利用多目景深摄像头拍摄环境图像，并根据所述环境图像判断是否存在待搬运物体；若是，则对所述环境图像进行三维还原操作，确定所述待搬运物体的图像深度信息；根据所述图像深度信息生成运动轨迹，并根据所述运动轨迹控制所述搬运机械臂将所述待搬运物体搬运至与所述物体搬运命令对应的位置。2.根据权利要求1所述控制方法，其特征在于，当接收到物体搬运命令后，利用多目景深摄像头拍摄环境图像，并根据所述环境图像判断是否存在待搬运物体包括：当接收到所述物体搬运命令后，利用所述多目景深摄像头拍摄所述环境图像；提取所有所述环境图像中的特征点，并通过canny算子提取所有所述环境图像中的图像轮廓；根据所述特征点落在所述图像轮廓中的密集程度得到待识别物体图像；判断所述待识别物体图像中所述特征点的数量和峰值噪比是否符合预设标准；其中，所述预设标准包括标准待搬运物体图像的标准特征点的数量和标准峰值噪比；若符合，则存在所述待搬运物体。3.根据权利要求1所述控制方法，其特征在于，对所述环境图像进行三维还原操作，确定所述待搬运物体的图像深度信息包括：获取所述多目景深摄像头的内参数；其中，所述多目景深摄像头为采用张友正标定法标定的摄像头；比对所有所述环境图像的特征点的相似度，得到所述相似度大于预设值的M组相似特征点，并在所有拍摄到所述待搬运物体的环境图像中确定待还原图像；根据所述待还原图像上的相似特征点的二维坐标和所述内参数计算所述待还原图像上的相似特征点的三维坐标；根据所述待还原图像上的相似特征点的三维坐标执行深度插值操作确定所述待搬运物体的图像深度信息。4.根据权利要求2或3任一项所述控制方法，其特征在于，所述特征点具体为surf特征点。5.根据权利要求1所述控制方法，其特征在于，还包括：接收用户输入的语音信息，根据所述语音信息生成所述物体搬运命令。6.一种搬运机械臂的控制系统，其特征在于，包括：图像拍摄模块，用于当接收到物体搬运命令后，利用多目景深摄像头拍摄环境图像，并根据所述环境图像判断是否存在待搬运物体；三维还...

【专利技术属性】
技术研发人员：谭天诺，刘建群，黄威威，任亮亮，蔡建林，郑允泽，赵壬博，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44