一种轮廓提取方法、装置、设备、程序产品及存储介质制造方法及图纸

本发明专利技术公开了一种轮廓提取方法、装置、设备、程序产品及存储介质，该方法包括：采集待识别的目标物体的二维图像和三维点云图像；基于所述三维点云图像，对所述二维图像进行特征提取，得到所述目标物体在所述二维图像中的第一轮廓图像，其中，所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点；对所述二维图像进行边缘检测，提取所述二维图像的第二轮廓图像；利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤，得到所述目标物体的目标轮廓图像。本发明专利技术通过结合二维图像和三维点云图像，能够避免二维图像自身纹理和三维点云边缘像素点精度不高的问题，提高对物体轮廓图像的提取准确度。提取准确度。提取准确度。

【技术实现步骤摘要】
一种轮廓提取方法、装置、设备、程序产品及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种轮廓提取方法、装置、设备、程序产品及存储介质。

技术介绍

[0002]随着机器视觉的发展，工业上采用3D视觉配合工业机器人代替人工进行分拣作业的应用越来越广泛，其中，3D视觉主要采用结构光和双目视觉两种技术获得场景物体的点云图像，通过点云分割及配准的方式获得物体的类别和6D姿态。但现有技术中的点云配准较为耗时，当生产线上包含多种型号的物体时，将采集的点云图像与每个物体的点云模板逐一匹配非常耗时。基于此，提出了一种改进方案，即先通过物体的二维轮廓进行一次快速的模板匹配，再根据匹配到的模板通过点云配准进行6D姿态的计算。但是，该方案对物体二维轮廓的提取精度要求较高，若提取的二维轮廓不准确，将直接导致二维图像的匹配不成功，从而影响作业效率。而现有技术中，物体的二维图像由于受自身纹理的影响，在进行轮廓提取时，任何纹理都可能作为物体的轮廓被提取，从而提取出大量虚假轮廓。结合三维点云图像进行二维轮廓提取的方式，为了得到完整的连通区域，常常会对物体的二维图像进行腐蚀膨胀处理，从而破坏了物体二维图像中的轮廓信息。因此，现有技术中，对物体二维图像轮廓提取的准确度不高。

技术实现思路

[0003]本专利技术的主要目的在于提供一种物体轮廓提取方法、装置、设备、程序产品及存储介质，旨在解决现有技术中，由于物体本身纹理的影响，或者在图像处理过程中容易对物体二维轮廓信息造成破坏，导致对物体二维轮廓图像的提取准确度不高的技术问题。
[0004]此外，为实现上述目的，本专利技术还提供一种轮廓提取方法，所述轮廓提取方法包括以下步骤：采集待识别的目标物体的二维图像和三维点云图像；基于所述三维点云图像，对所述二维图像进行特征提取，得到所述目标物体在所述二维图像中的第一轮廓图像，其中，所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点；对所述二维图像进行边缘检测，提取所述二维图像的第二轮廓图像；利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤，得到所述目标物体的目标轮廓图像。
[0005]可选地，所述基于所述三维点云图像，对所述二维图像进行特征提取，得到所述二维图像的第一轮廓图像的步骤，包括：建立所述三维点云图像中的像素点和所述二维图像中的像素点之间的映射关系；基于所述三维点云图像和所述映射关系，计算所述二维图像中各个像素点的三维法向量的单位向量，得到所述二维图像的第一特征图像；
根据所述第一特征图像确定所述目标物体在所述二维图像中的各个连通面，以及所述连通面的编号信息，生成所述二维图像的第二特征图像；基于所述第一特征图像对所述第二特征图像进行点云区域生长，得到所述目标物体在所述第二特征图像中的各个连通面；遍历所述第二特征图像中各所述连通面的像素点，确定各所述连通面之间的边缘像素点，并根据所述边缘像素点得到所述目标物体在所述二维图像中的第一轮廓图像。
[0006]可选地，所述基于所述三维点云图像和所述映射关系，计算所述二维图像中各个像素点的三维法向量的单位向量，得到所述二维图像的第一特征图像的步骤，包括：创建一个与所述二维图像分辨率相同的初始特征图像，从所述二维图像中不重复地选取一个第一像素点，并根据所述映射关系确定所述三维点云图像中与所述第一像素点对应的第二像素点；以所述第二像素点为中心，从所述三维点云图像中选取所述第二像素点的邻域像素点，并利用所述第二像素点及其邻域像素点拟合三维平面；计算所述三维平面的法向量的单位向量，并从所述初始特征图像中确定与所述第一像素点位置相同的第三像素点，将所述单位向量赋值给所述第三像素点，返回并执行所述从所述二维图像中不重复地选取一个第一像素点的步骤，直到所述第一像素点为所述二维图像中的最后一个像素点时，得到所述二维图像的第一特征图像。
[0007]可选地，所述基于所述第一特征图像对所述第二特征图像进行点云区域生长，得到所述目标物体在所述第二特征图像中的各个连通面的步骤，包括：遍历所述第二特征图像中的各个像素点，根据所述第二特征图像中各个像素点的像素值确定种子点；选取所述种子点的邻域为待生长区域，并从所述三维图像中确定与所述种子点对应的第四像素点，以及所述待生长区域在所述三维点云图像中对应的目标生长区域；计算所述目标生长区域中的各个像素点的深度值与所述第四像素点的深度值差值，确定与所述第四像素点的深度值差值小于预设的深度差阈值的第五像素点；基于所述第一特征图像，对所述第四像素点与所述第五像素点的单位向量进行计算，确定所述第四像素点和所述第五像素点的法向量之间的角度差值；若所述角度差值小于预设的角度差阈值，则将所述种子点的像素值设置为所述待生长区域中与所述第五像素点对应的像素点的像素值，得到所述目标物体在所述第二特征图像中的各个连通面。
[0008]可选地，所述遍历所述第二特征图像中各所述连通面的像素点，确定各所述连通面之间的边缘像素点的步骤，包括：从所述第二特征图像中各所述连通面的像素点中，不重复地选取一个目标像素点，并确定所述目标像素点的像素值，以及与所述目标像素点相邻的预设数量的像素点的像素值；若与所述目标像素点相邻的预设数量的像素点中，存在至少一个像素点的像素值与所述目标像素点的像素值不一致，则将所述目标像素点判定为所述连通面的边缘像素点，返回并执行所述从所述第二特征图像中各所述连通面的像素点中，不重复地选取一个目标像素点的步骤，直到所述目标像素点为所述第二特征图像中各所述连通面的最后一个
像素点为止。
[0009]可选地，所述第二轮廓图像为二值化图像，所述第二轮廓图像中的边缘像素点的像素值为第一特征值，除所述边缘像素点之外的其他像素点的像素值为第二特征值，所述利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤的步骤，包括：从所述第二轮廓图像中的边缘像素点中不重复地选取一个目标边缘像素点，其中，所述目标边缘像素点的像素值为第一特征值；从所述第二轮廓图像中确定与所述目标边缘像素点对应的参考像素点，并按照预设尺寸确定所述参考像素点的目标邻域；遍历所述目标邻域内的各个像素点，确定所述目标邻域内是否存在像素值与所述目标边缘像素点的像素值不一致的像素点；若不存在，将所述目标边缘像素点的像素值设置为第二特征值，对所述目标边缘像素点进行剔除，返回并执行所述从所述第二轮廓图像中的边缘像素点中不重复地选取一个目标边缘像素点的步骤，直到所述目标边缘像素点为所述第二轮廓图像中的最后一个边缘像素点为止。
[0010]此外，为实现上述目的，本专利技术还提供一种存储器上并可在所述处理器上运行的轮廓提取程序，所述装置，所述存储器上并可在所述处理器上运行的轮廓提取程序，所述装置包括：图像采集模块，用于采集待识别的目标物体的二维图像和三维点云图像；特征提取模块，用于基于所述三维点云图像，对所述二维图像进行特征提取，得到所述目标物体在所述二维图像中的第一轮廓图像，其中，所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轮廓提取方法，其特征在于，所述轮廓提取方法包括以下步骤：采集待识别的目标物体的二维图像和三维点云图像；基于所述三维点云图像，对所述二维图像进行特征提取，得到所述目标物体在所述二维图像中的第一轮廓图像，其中，所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点；对所述二维图像进行边缘检测，提取所述二维图像的第二轮廓图像；利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤，得到所述目标物体的目标轮廓图像。2.如权利要求1所述的轮廓提取方法，其特征在于，所述基于所述三维点云图像，对所述二维图像进行特征提取，得到所述二维图像的第一轮廓图像的步骤，包括：建立所述三维点云图像中的像素点和所述二维图像中的像素点之间的映射关系；基于所述三维点云图像和所述映射关系，计算所述二维图像中各个像素点的三维法向量的单位向量，得到所述二维图像的第一特征图像；根据所述第一特征图像确定所述目标物体在所述二维图像中的各个连通面，以及所述连通面的编号信息，生成所述二维图像的第二特征图像；基于所述第一特征图像对所述第二特征图像进行点云区域生长，得到所述目标物体在所述第二特征图像中的各个连通面；遍历所述第二特征图像中各所述连通面的像素点，确定各所述连通面之间的边缘像素点，并根据所述边缘像素点得到所述目标物体在所述二维图像中的第一轮廓图像。3.如权利要求2所述的轮廓提取方法，其特征在于，所述基于所述三维点云图像和所述映射关系，计算所述二维图像中各个像素点的三维法向量的单位向量，得到所述二维图像的第一特征图像的步骤，包括：创建一个与所述二维图像分辨率相同的初始特征图像，从所述二维图像中不重复地选取一个第一像素点，并根据所述映射关系确定所述三维点云图像中与所述第一像素点对应的第二像素点；以所述第二像素点为中心，从所述三维点云图像中选取所述第二像素点的邻域像素点，并利用所述第二像素点及其邻域像素点拟合三维平面；计算所述三维平面的法向量的单位向量，并从所述初始特征图像中确定与所述第一像素点位置相同的第三像素点，将所述单位向量赋值给所述第三像素点，返回并执行所述从所述二维图像中不重复地选取一个第一像素点的步骤，直到所述第一像素点为所述二维图像中的最后一个像素点时，得到所述二维图像的第一特征图像。4.如权利要求2所述的轮廓提取方法，其特征在于，所述基于所述第一特征图像对所述第二特征图像进行点云区域生长，得到所述目标物体在所述第二特征图像中的各个连通面的步骤，包括：遍历所述第二特征图像中的各个像素点，根据所述第二特征图像中各个像素点的像素值确定种子点；选取所述种子点的邻域为待生长区域，并从所述三维图像中确定与所述种子点对应的第四像素点，以及所述待生长区域在所述三维点云图像中对应的目标生长区域；计算所述目标生长区域中的各个像素点的深度值与所述第四像素点的深度值差值，确
定与所述第四像素点的深度值差值小于预设的深度差阈值的第五像素点；基于所述第一特征图像，对所述第四像素点与所述第五像素点的单位向量进行计算，确定所述第四像素点和所述第五像素点的法向量之间的角度差值；若所述角度差值小于预设的角...

【专利技术属性】
技术研发人员：朱琦，胡亘谦，杨光，杨超，
申请(专利权)人：深圳市信润富联数字科技有限公司，
类型：发明
国别省市：