混合型3D视觉定位方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种混合型3D视觉定位方法、装置、计算机设备及存储介质。所述方法包括：若接收到待测3D图像，对所述待测3D图像进行实例分割，以获取所述待测3D图像的实例；通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿；将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位。通过将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位，从而能够极大地提高定位精度，满足实际生产中的高精度定位要求，提高产品的良率。

Hybrid 3D vision positioning method, device, computer equipment and storage medium

【技术实现步骤摘要】
混合型3D视觉定位方法、装置、计算机设备及存储介质
本专利技术涉及视觉定位
，尤其涉及一种混合型3D视觉定位方法、装置、计算机设备及存储介质。
技术介绍
机器视觉是当前工业领域一项重要的革新技术。提高工业生产的无人化和自动化是一项非常有价值的任务，尤其是对于不适合人工作业的危险或者对健康有害的工业制造业场景中(比如焊接)。在常规有人作业中，人会通过基本感知特别是视觉方面的感知来根据实际作业特点和工件差异进行作业的灵活调整。对于缺乏视觉指引的机器臂或者自动化设备，无法有效应对实际作业中各种复杂的状况，会导致大量的不良品产生。因此，在大批量重复性程度高的生产过程中，用机器视觉来引导机器设备可以大大提高生产的效率、准确度和自动化程度，降低不良产品率。机器视觉在工业应用中，基于机器臂的抓取一个重要方向，主要包括上下料，分拣，装配等。机械臂要成功抓取，需要同时识别出目标的三维空间位置及姿态共计6维姿态信息。传统的2D识别方法难以获取目标的空间及姿态信息，因此无法有效指引机器臂进行作业，这时候采用3d设备进行引导作业变的尤为关键。常见的成熟3D成像技术有双目，结构光DLP，TOF，线扫激光等。这些视觉技术会对目标区域进行3维重构生成相应的点云图或者深度图。如何利用这些空间数据，从中找到目标物体并提取关键位姿信息是实现正确作业引导的关键。目前，基于3D相机拍摄到的点云信息或RGBD图进行物体6D姿态识别已有很多成功方法，例如机器学习法、模版匹配法、点对特征法、3D局部特征法以及端到端深度学习方法等。以上方法的预测结果总会有2-5像素级别的偏差，对应到实际现场可能误差会有0.5-1mm，这对于焊接等要求精准的场景来说会带来降低良品率的风险。
技术实现思路
本专利技术实施例提供了一种混合型3D视觉定位方法、装置、计算机设备及存储介质，旨在解决现有3D视觉定位误差大的问题。第一方面，本专利技术实施例提供了一种混合型3D视觉定位方法，其包括：若接收到待测3D图像，对所述待测3D图像进行实例分割，以获取所述待测3D图像的实例；通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿；将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位。第二方面，本专利技术实施例还提供了一种混合型3D视觉定位装置，其包括用于执行上述方法的单元。第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。本专利技术实施例的技术方案，通过将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位，从而能够极大地提高定位精度，满足实际生产中的高精度定位要求，提高产品的良率。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种混合型3D视觉定位方法的流程示意图；图2为本专利技术实施例提供的家具层架生产的实景图；图3为本专利技术提供的混合型3D视觉定位方法在杆头定位中生成的3D点云图上进行定位的效果图；图4为本专利技术提供的混合型3D视觉定位方法在杆头定位中生成的3D点云图上进行定位的另一效果图；图5为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。请参阅图1，图1是本专利技术实施例提供的混合型3D视觉定位方法的流程示意图。如图所示，该方法包括以下步骤S1-S3。S1，若接收到待测3D图像，对所述待测3D图像进行实例分割，以获取所述待测3D图像的实例。具体实施中，若接收到待测3D图像，对所述待测3D图像进行实例分割，以获取所述待测3D图像的实例。每一实例对应3D图像中的一物体。实例分割是计算机视觉的也重要研究方向，其不仅需要对物体进行像素级别的分类，还要在此基础上将同一类别不同个体分出来，即做到每个实例的分割。通过实例分割，可以获得图片中的每个物体包含的像素，从而实现像素水平的将每个物体从图片中分离开，有助于降低背景的干扰，提高算法的准确性。在一实施例中，步骤S1，包括：通过预设的端到端深度学习实例分割算法对所述待测3D图像进行实例分割。具体实施中，本实施例中，端到端深度学习实例分割算法为YOLACT(YouOnlyLookAtCoefficienTs)算法。采用YOLACT算法对所述待测3D图像进行实例分割。YOLACT是目前最快的实例分割深度学习算法，其将实例分割分为两个并行任务：针对每个图像首先生成一些列原型掩膜；然后针对每个实例预测原型掩膜系数。最后其通过基本的矩阵乘法配合sigmoid函数来处理两分支的输出，从而合成每个实例最终的分割结果。YOLACT算法在速度和精度上，达到了较好的平衡，是一个比较理想的实例分割算法。需要说明的是，本领域技术人员也可以采用其它端到端深度学习实例分割算法，本专利技术不作具体限定。在使用YOLACT算法进行实例分割之前，需要对所述YOLACT算法进行训练。训练YOLACT算法需要手工对图像进行标注，标注采用开源标注工具labelme进行标注，利用标注好的数本文档来自技高网...

【技术保护点】
1.一种混合型3D视觉定位方法，其特征在于，包括：/n若接收到待测3D图像，对所述待测3D图像进行实例分割，以获取所述待测3D图像的实例；/n通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿；/n将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位。/n

【技术特征摘要】
1.一种混合型3D视觉定位方法，其特征在于，包括：
若接收到待测3D图像，对所述待测3D图像进行实例分割，以获取所述待测3D图像的实例；
通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿；
将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位。


2.根据权利要求1所述的混合型3D视觉定位方法，其特征在于，所述端到端深度学习空间目标检测网络为DenseFusion网络，所述通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿，包括：
通过预设的全卷积神经网络提取所述实例的彩色图信息；
通过预设的点云数据深度学习模型提取所述实例的深度图信息；
根据所述实例的彩色图信息以及深度图信息预测所述实例的待调整6D位姿；
通过预设的全连接网络，对所述实例的待调整6D位姿进行微调以得到所述实例的6D位姿。


3.根据权利要求2所述的混合型3D视觉定位方法，其特征在于，所述对所述待测3D图像进行实例分割，包括：
通过预设的端到端深度学习实例分割算法对所述待测3D图像进行实例分割。


4.根据权利要求2所述的混合型3D视觉定位方法，其特征在于，所述通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿之前，所述方法还包括：
对所述DenseFusion网络进行训练。


5.根据权利要求1所述的混合型3D视觉定位方法，其特征在于，所述将所述实例...

【专利技术属性】
技术研发人员：褚英昊，吴延庆，韩飞，王永乐，秦诗玮，王树燚，段立武，李政峰，赵紫州，
申请(专利权)人：深圳市微埃智能科技有限公司，
类型：发明
国别省市：广东;44