类镜面缺陷投影方法技术

本申请属于视觉检测的技术领域，公开了一种类镜面缺陷投影方法

【技术实现步骤摘要】
类镜面缺陷投影方法、装置、电子设备及存储介质


[0001]本申请涉及视觉检测的
，具体而言，涉及一种类镜面缺陷投影方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]现有对车漆面的检测主要人工通过眼睛看来寻找
。
由于缺陷的尺寸类型繁多，并且部分尺寸较小
。
人工长时间作业容易由于疲劳而导致漏检
。
从检查到的缺陷信息传递到维修一般通过人工用笔将缺陷标注在蝴蝶图上
。
使用车身的镜面
/
类镜面反射率以及折射光路的变换，判断车身上由于几何形变（凹陷
、
突起
、
刮蹭）或是材料变化（杂质）导致的漆面缺陷
。
配合机器人，可以实现对全车身的覆盖
。
但是，通过相机拍摄到的缺陷只存在于相机的二维平面，而且现存专利方法不具备完整系统地将二维图像空间的缺陷转换到三维车身空间，再投影到蝴蝶图上的方法
。
[0003]因此，为了解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的技术问题，亟需一种类镜面缺陷投影方法
、
装置
、
电子设备及存储介质
。

技术实现思路

[0004]本申请的目的在于提供一种类镜面缺陷投影方法
、
装置
、
电子设备及存储介质，运用手眼标定法和
PnP
算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的问题，能够完整地将类镜面物体的缺陷投影到蝴蝶图上，提高了类镜面缺陷的投影效率
。
[0005]第一方面，本申请提供了一种类镜面缺陷投影方法，用于对类镜面缺陷进行投影，包括步骤：获取类镜面物体的缺陷的二维像素坐标；运用
PnP
算法，利用相机以及设置的参考平面和平面标志物，将所述二维像素坐标转换为相机三维坐标；通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系；根据所述相机坐标系与类镜面物体坐标系的转换关系，将所述相机三维坐标转换为空间三维坐标；基于所述类镜面物体各部位在蝴蝶图上对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到缺陷二维蝴蝶图
。
[0006]本申请提供的类镜面缺陷投影方法可以实现对类镜面缺陷进行投影，运用手眼标定法和
PnP
算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的问题，能够完整地将类镜面
物体的缺陷投影到蝴蝶图上，提高了类镜面缺陷的投影效率
。
[0007]可选地，运用
PnP
算法，利用相机以及设置的参考平面和平面标志物，将所述二维像素坐标转换为相机三维坐标，包括：设置所述相机的内参，以及设置所述参考平面和所述平面标志物；运用所述
PnP
算法，基于所述参考平面和所述平面标志物，确定像素坐标系与相机坐标系的转换函数；根据所述内参
、
所述参考平面
、
所述平面标志物和所述转换函数，将所述二维像素坐标转换为所述相机三维坐标
。
[0008]本申请提供的类镜面缺陷投影方法可以实现对类镜面缺陷进行投影，通过手眼标定法和
PnP
算法，结合相机的内参
、
参考平面和平面标志物，将缺陷的二维像素坐标转换为相机三维坐标，能够快速将缺陷的二维空间坐标转换到相机的三维空间坐标，有利于提高类镜面缺陷的投影效率
。
[0009]可选地，运用所述
PnP
算法，基于所述参考平面和所述平面标志物，确定像素坐标系与相机坐标系的转换函数，包括：运用所述
PnP
算法，根据所述参考平面，计算得到所述平面标志物在所述相机坐标系的位置坐标；基于所述位置坐标，确定所述像素坐标系与所述相机坐标系的转换函数
。
[0010]可选地，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，包括：运用所述手眼标定法，通过所述相机坐标系原点与法兰盘坐标系原点的旋转和平移，确定所述相机坐标系与所述法兰盘坐标系的空间转换关系，记为第一转换关系；根据所述第一转换关系，通过所述法兰盘坐标系原点与机器人坐标系原点的旋转和平移，确定所述法兰盘坐标系与机器人坐标系的转换关系，记为第二转换关系；根据所述第二转换关系，通过所述机器人坐标系原点与所述类镜面物体坐标系原点的旋转和平移，确定所述机器人坐标系与所述类镜面物体坐标系的转换关系，记为第三转换关系；汇总所述第一转换关系
、
所述第二转换关系和所述第三转换关系，得到所述相机坐标系与所述类镜面物体坐标系的转换关系
。
[0011]本申请提供的类镜面缺陷投影方法可以实现对类镜面缺陷进行投影，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，通过该转换关系，能够将类镜面物体的缺陷从相机的三维空间坐标转换为类镜面物体自身的三维空间坐标，有利于提高类镜面缺陷的投影效率可选地，基于所述类镜面物体各部位在蝴蝶图上对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到缺陷二维蝴蝶图，包括：根据所述类镜面物体各部位的平面位置，确定所述蝴蝶图关于所述类镜面物体各部位对应的投影平面；基于垂直于所述类镜面物体各部位且与所述类镜面物体各部位的边缘相切的相切平面，计算得到所述类镜面物体各部位的轴对齐矩形边界框；以所述轴对齐矩形边界框的极大点或极小点为依据，结合所述对应的投影平面，
将所述空间三维坐标投影到所述蝴蝶图上，得到所述缺陷二维蝴蝶图
。
[0012]可选地，根据所述类镜面物体各部位的平面位置，确定所述蝴蝶图关于所述类镜面物体各部位对应的投影平面，包括：通过搜索算法，确定所述空间三维坐标中各缺陷对应的所述类镜面物体的部位；根据所述类镜面物体各缺陷所在部位的平面位置，确定所述蝴蝶图关于所述类镜面物体各部位对应的投影平面
。
[0013]可选地，以所述轴对齐矩形边界框的极大点或极小点为依据，结合所述对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到所述缺陷二维蝴蝶图，包括：以所述轴对齐矩形边界框的极大点或极小点为依据，计算得到所述空间三维坐标对应在所述蝴蝶图上的蝴蝶二维坐标
;
基于所述蝴蝶二维坐标和所述对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到初步缺陷二维蝴蝶图；根据所述类镜面物体的缺陷的实际大小，调整所述初步缺陷二维蝴蝶图，得到所述缺陷二维蝴蝶图
。
[0014]第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种类镜面缺陷投影方法，用于对类镜面缺陷进行投影，其特征在于，包括步骤：获取类镜面物体的缺陷的二维像素坐标；运用
PnP
算法，利用相机以及设置的参考平面和平面标志物，将所述二维像素坐标转换为相机三维坐标；通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系；根据所述相机坐标系与类镜面物体坐标系的转换关系，将所述相机三维坐标转换为空间三维坐标；基于所述类镜面物体各部位在蝴蝶图上对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到缺陷二维蝴蝶图
。2.
根据权利要求1所述的类镜面缺陷投影方法，其特征在于，运用
PnP
算法，利用相机以及设置的参考平面和平面标志物，将所述二维像素坐标转换为相机三维坐标，包括：设置所述相机的内参，以及设置所述参考平面和所述平面标志物；运用所述
PnP
算法，基于所述参考平面和所述平面标志物，确定像素坐标系与相机坐标系的转换函数；根据所述内参
、
所述参考平面
、
所述平面标志物和所述转换函数，将所述二维像素坐标转换为所述相机三维坐标
。3.
根据权利要求2所述的类镜面缺陷投影方法，其特征在于，运用所述
PnP
算法，基于所述参考平面和所述平面标志物，确定像素坐标系与相机坐标系的转换函数，包括：运用所述
PnP
算法，根据所述参考平面，计算得到所述平面标志物在所述相机坐标系的位置坐标；基于所述位置坐标，确定所述像素坐标系与所述相机坐标系的转换函数
。4.
根据权利要求1所述的类镜面缺陷投影方法，其特征在于，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，包括：运用所述手眼标定法，通过所述相机坐标系原点与法兰盘坐标系原点的旋转和平移，确定所述相机坐标系与所述法兰盘坐标系的空间转换关系，记为第一转换关系；根据所述第一转换关系，通过所述法兰盘坐标系原点与机器人坐标系原点的旋转和平移，确定所述法兰盘坐标系与机器人坐标系的转换关系，记为第二转换关系；根据所述第二转换关系，通过所述机器人坐标系原点与所述类镜面物体坐标系原点的旋转和平移，确定所述机器人坐标系与所述类镜面物体坐标系的转换关系，记为第三转换关系；汇总所述第一转换关系
、
所述第二转换关系和所述第三转换关系，得到所述相机坐标系与所述类镜面物体坐标系的转换关系
。5.
根据权利要求1所述的类镜面缺陷投影方法，其特征在于，基于所述类镜面物体各部位在蝴蝶图上对应的投影平面，将所述空间三...

【专利技术属性】
技术研发人员：魏晟，易京亚，宋梦洒，江德智，谢雄敦，温志庆，
申请(专利权)人：季华实验室，
类型：发明
国别省市：