基于视觉技术的流水线包裹分拣装置和电子设备制造方法及图纸

本发明专利技术提供了一种基于视觉技术的流水线包裹分拣装置和电子设备，涉及包裹分拣的技术领域，包括：相机驱动模块用于根据指令数据，控制相机组合拍摄图像；ROI框圈定模块用于从相机组合拍摄的图像中圈出包含目标包裹的ROI框；定位识别模块用于从ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息；坐标转换模块用于根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息；通讯模块用于将目标包裹的类型和在机器人基坐标系下的目标包裹的位置信息传输到工业机器人中。可以提高包裹分拣的效率与正确率。

Pipeline Package Sorting Device and Electronic Equipment Based on Visual Technology

【技术实现步骤摘要】
基于视觉技术的流水线包裹分拣装置和电子设备
本专利技术涉及包裹分拣
，尤其是涉及一种基于视觉技术的流水线包裹分拣装置和电子设备。
技术介绍
当前物流行业已经实现并大量运用了一系列流水线的包裹分拣方案，例如交叉带分拣线、滑块分拣线等等，总体自动化水平已取得了很大进步。但是，现有技术仍然存在大量需要人工重复的劳动进行适配，例如物料卸车、供包上料，格口装笼、物料出笼环节等，在这些场景下，人工效率还处于比较低的水准，同时因为人长期劳作中的主观性影响，一定程度上降低了后续工作的准确性，导致误检等情况发生，需要更多的人力返工，极大降低了效率。
技术实现思路
有鉴于此，本专利技术的目的在于提供基于视觉技术的流水线包裹分拣装置和电子设备，以减少在包裹分拣过程中由于人工原因而导致的效率降低和误检等情况的技术问题。第一方面，本专利技术实施例提供了一种基于视觉技术的流水线包裹分拣装置，包括：相机驱动模块用于获取控制指令，根据控制指令，调用相机组合对应的接口的指令数据，根据所述指令数据，控制所述相机组合拍摄图像；ROI框圈定模块用于从所述相机组合拍摄的图像中圈出包含目标包裹的ROI框；定位识别模块用于从所述ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息；坐标转换模块用于根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息；通讯模块用于将目标包裹的类型和在用户坐标系下的目标包裹的位置信息传输到工业机器人中，以使所述工业机器人能够对目标包裹进行分拣。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述ROI框圈定模块包括：ROI坐标系确定子模块和ROI框圈定子模块；所述ROI坐标系确定子模块用于确定出ROI坐标系的x和y轴及其xOy平面，并以相机坐标系z轴反方向为ROI坐标系z轴；所述ROI框圈定子模块用于在建立ROI坐标系后，以其xOy平面上的确定区域为底面，ROI坐标系z正方向选取一段范围，圈出包含目标包裹的ROI框。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述ROI坐标系确定子模块用于从相机组合拍摄图像中获取点云数据，从所述点云数据中寻找最大的平面作为ROI坐标系的xOy平面，取相机坐标系z轴反方向为ROI坐标系z轴。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述ROI坐标系确定子模块用于通过识别标记，确定出ROI坐标系的x和y轴及其xOy平面，并以相机坐标系z轴反方向为ROI坐标系z轴。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述定位识别模块用于：对图像帧的点云数据进行聚类筛选，并去除位于所述点云数据边缘的结果，识别出目标包裹的类型确定为软包；所述图像帧为所述相机结合拍摄的视频中；在聚类筛选处理的基础上，对点云数据进行平面分割，去除位于点云数据边缘的结果，识别出目标包裹的类型确定为箱子；在对点云进行平面分割处理的基础上，基于2D图像的灰度图进行平面MSER聚类；去除位于图片边缘的结果；结合高度信息，对点云数据进行高度抑制处理，识别出目标包裹的类型确定为文件。结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述定位识别模块还用于：确定视频中的图像帧对应的识别出目标包裹的类型最多的为目标包裹的类型。结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述装置还包括：坐标系标定模块包括：第一转换关系确定子模块、第二转换关系确定子模块和第三转换关系确定子模块；第一坐标系标定子模块用于获取标定板的物理参数、相机内参、相机畸变参数，确定标定板坐标系和相机坐标系的转换关系；第二坐标系标定子模块用于获取至少两个包含标定板的图像，识别至少两个包含标定板的图像，确定标定板坐标系原点的位置为用户坐标系的x轴，得到用户坐标系和相机坐标系的转换关系；所述至少两个包含标定板的图像是在标定板放置在运行中的传送带上，在不同时刻拍摄的；第三坐标系标定子模块用于获取至少三个在尖端碰触标定板坐标原点的第一机器人关节角信息，根据第一机器人关节角信息得到机器人基坐标系和机器人末端珐琅盘中心点坐标系的转换关系，根据机器人基坐标系和机器人末端珐琅盘中心点坐标系转换关系，确定标定板坐标原点在机器人基坐标系下的坐标为传送带坐标系原点，获取第二机器人关节角信息，所述第二机器人关节角信息为获取第一机器人关节角信息中将传送带运动预设距离，使得尖端触碰标定板坐标原点得到的，根据第二机器人关节角信息得到标定板坐标原点在机器人基坐标系下的坐标为传送带坐标系坐标点，将传送带坐标系原点和传送带坐标系坐标点的连线作为传送带坐标系x轴，获取尖端触碰标定板上的坐标点的第三机器人关节角信息，得到在机器人基坐标系下的坐标，根据传送带坐标系原点、传送带坐标系坐标点和在机器人基坐标系下的坐标所在的确定的平面的法线作为传送带坐标系z轴，建立传送带坐标系，确定机器人基坐标系和传送带坐标系的转换关系。结合第一方面，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，所述相机驱动模块还用于：获取控制指令；根据控制指令，调用相机组合对应的接口的指令数据。第二方面，本专利技术实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例任一项所述的装置。第三方面，本专利技术实施例还提供一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例中任一项所述的装置。本专利技术实施例带来了以下有益效果：首先通过指令数据，控制相机组合拍摄图像，从相机组合拍摄的图像中圈出包含目标包裹的ROI框，从ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息，然后根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息，将目标包裹的类型和在用户坐标系下的目标包裹的位置信息传输到工业机器人中，使工业机器人能够对目标包裹进行分拣，本专利技术能够减少在包裹分拣过程中由于人工原因而导致的效率降低和误检等情况的技术问题，同时由于在该装置中能够提前将位置坐标系进行转换，使得机器人在接收到位置时，直接进行操作，提高机器人的工作效率。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的基于视觉技术的流水线包裹分拣装置的结构图；图2为基于视觉技术的流水线包裹分拣装置的相机驱动模块的工作原理图；图3为基于视觉技术的流水线包裹分拣装置的ROI本文档来自技高网...

【技术保护点】
1.一种基于视觉技术的流水线包裹分拣装置，其特征在于，包括：相机驱动模块，用于根据指令数据，控制所述相机组合拍摄图像；ROI框圈定模块，用于从所述相机组合拍摄的图像中圈出包含目标包裹的ROI框；定位识别模块，用于从所述ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息；坐标转换模块，用于根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息；通讯模块，用于将目标包裹的类型和在用户坐标系下的目标包裹的位置信息传输到工业机器人中，以使所述工业机器人能够对目标包裹进行分拣。

【技术特征摘要】
1.一种基于视觉技术的流水线包裹分拣装置，其特征在于，包括：相机驱动模块，用于根据指令数据，控制所述相机组合拍摄图像；ROI框圈定模块，用于从所述相机组合拍摄的图像中圈出包含目标包裹的ROI框；定位识别模块，用于从所述ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息；坐标转换模块，用于根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息；通讯模块，用于将目标包裹的类型和在用户坐标系下的目标包裹的位置信息传输到工业机器人中，以使所述工业机器人能够对目标包裹进行分拣。2.根据权利要求1所述的基于视觉技术的流水线包裹分拣装置，其特征在于，所述ROI框圈定模块包括：ROI坐标系确定子模块和ROI框圈定子模块；所述ROI坐标系确定子模块，用于确定出ROI坐标系的x和y轴及其xOy平面，并以相机坐标系z轴反方向为ROI坐标系z轴；所述ROI框圈定子模块，用于在建立ROI坐标系后，以其xOy平面上的确定区域为底面，ROI坐标系z正方向选取一段范围，圈出包含目标包裹的ROI框。3.根据权利要求2所述的基于视觉技术的流水线包裹分拣装置，其特征在于，所述ROI坐标系确定子模块，用于从相机组合拍摄图像中获取点云数据，从所述点云数据中寻找最大的平面作为ROI坐标系的xOy平面，取相机坐标系z轴反方向为ROI坐标系z轴。4.根据权利要求2所述的基于视觉技术的流水线包裹分拣装置，其特征在于，所述ROI坐标系确定子模块，用于通过识别标记，确定出ROI坐标系的x和y轴及其xOy平面，并以相机坐标系z轴反方向为ROI坐标系z轴。5.根据权利要求3或4所述的基于视觉技术的流水线包裹分拣装置，其特征在于，所述定位识别模块用于：对图像帧的点云数据进行聚类筛选，并去除位于所述点云数据边缘的结果，识别出目标包裹的类型确定为软包；所述图像帧为所述相机结合拍摄的视频中；在聚类筛选处理的基础上，对点云数据进行平面分割，去除位于点云数据边缘的结果，识别出目标包裹的类型确定为箱子；在对点云进行平面分割处理的基础上，基于2D图像的灰度图进行平面MSER聚类；去除位于图片边缘的结果；结合高度信息，对点云数据进行高度抑制处理，识别出目标包裹的类型确定为文件。6.根据权利要求5所述的基于视觉技术的流水线包裹分拣装置...

【专利技术属性】
技术研发人员：崔坤，朱可心，黄耀，
申请(专利权)人：北京阿丘机器人科技有限公司，
类型：发明
国别省市：北京,11