基于正交视觉系统的光学元件装配过程位姿检测方法及装配方法技术方案

基于正交视觉系统的光学元件装配过程位姿检测方法及装配方法，属于工业装配视觉检测领域，本发明专利技术为解决现有光学元件装配中光学元件边缘与装配框容易发生碰撞，导致装配失误的问题。本发明专利技术方法包括：S1、构建视觉检测系统步骤；所述视觉检测系统包括一台全局相机和两台侧视角相机，S2、视觉检测系统中三台相机的联合标定步骤；其中，以全局相机的相机坐标系作为统一的全局坐标系；S3、光学元件位姿解算步骤；三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿。光学元件的位姿。光学元件的位姿。

【技术实现步骤摘要】
基于正交视觉系统的光学元件装配过程位姿检测方法及装配方法


[0001]本专利技术涉及工业装配视觉检测领域，具体为在工业自动化光学元件装配中对光学元件六自由度位姿解算的方法。

技术介绍

[0002]在光学元件自动化装配过程中，利用机械手加持光学元件，并放置到机械框内，实现光学元件自动化装配。装配过程中，对光学元件、机械手、装配框之间的相对位置姿态检测的精度要求较高。现有直接视觉检测方法对透明光学元件的定位可靠性不佳，精度有限，加之光学元件、装配框都存在不可忽略的制造公差，因此在FOA装配平台(final optics assembl，终端光学系统)光学元件装配中光学元件边缘与装配框容易发生碰撞，导致装配失误。

技术实现思路

[0003]针对现有光学元件装配中光学元件边缘与装配框容易发生碰撞，导致装配失误的问题，本专利技术提供一种基于正交视觉检测系统的光学元件装配视觉检测方法及装配方法，在正交的位置部署视觉对光学元件检测边缘位置，结合联合标定数据，解算出光学元件部分几何尺寸、空间位置、姿态，实现光学元件可靠和精确定位，指导机械手进行位姿调整。
[0004]本专利技术所述基于正交视觉系统的光学元件装配过程位姿检测方法，该方法包括以下步骤：
[0005]S1、构建视觉检测系统步骤；
[0006]所述视觉检测系统包括一台全局相机和两台侧视角相机，其中两台侧视角相机前方使用条形光源对光学元件掠射照明；
[0007]S2、视觉检测系统中三台相机的联合标定步骤；
[0008]其中，以全局相机的相机坐标系作为统一的全局坐标系；标定出三台相机内参、外参，建立各相机的像素坐标系到统一的全局坐标系的空间映射关系；
[0009]S3、光学元件位姿解算步骤；
[0010]三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿。
[0011]优选地，待检测的光学元件水平方向置于FOA装配平台上，全局相机设置于FOA装配平台上方，检测时位于光学元件侧方的两台相机为1号侧视角相机和2号侧视角相机，
[0012]三台相机的姿态相互正交，三台相机的光轴相交于光学元件上表面的一点，建立如下坐标系：
[0013]全局相机的全局坐标系为O
G
‑
X
G
Y
G
Z
G
，全局相机的光轴方向与水平面垂直；
[0014]1号侧视角相机坐标系为O
C1
‑
X
C1
Y
C1
Z
C1
，2号侧视角相机坐标系为O
C2
‑
X
C2
Y
C2
Z
C2
，两个
相机的光轴方向与水平面平行；
[0015]全局相机坐标系O
G
的X轴正方向与2号侧视角相机坐标系O
C2
的Z
C2
轴正方向相同；
[0016]光学元件的模型坐标系O
M
为O
M
‑
X
M
Y
M
Z
M
，且原点定义在光学元件上表面左上角的顶点A上，Z
M
轴与光学元件上表面垂直，Z
M
轴正方向向上，X
M
轴正方向为光学元件上表面左上角的顶点指向光学元件上表面左下角的顶点方向。
[0017]优选地，步骤S2的联合标定过程为：
[0018]首先采用张正友标定方法分别标定三台相机的内参矩阵，建立各自二维像素坐标系到三维相机坐标系的映射关系；
[0019]再以全局相机的相机坐标系作为统一的全局坐标系，分别标定两台侧视角相机的相机坐标系到全局坐标系的坐标系变换，获取两台侧视角相机的外参矩阵；
[0020]所述外参矩阵包括：1号侧视角相机坐标系O
C1
到全局坐标系O
G
的转换关系T
C1
＝(R
C1
,t
C1
)，R
C1
为1号侧视角相机坐标系O
C1
到全局坐标系O
G
的旋转矩阵，t
C1
为1号侧视角相机坐标系O
C1
到全局坐标系O
G
的平移向量；
[0021]及2号侧视角相机坐标系O
C2
到全局坐标系O
G
的转换关系为T
C2
＝(R
C2
,t
C2
)，R
C2
为2号侧视角相机坐标系O
C2
到全局坐标系O
G
的旋转矩阵，t
C2
为2号侧视角相机坐标系O
C2
到全局坐标系O
G
的平移向量。
[0022]优选地，采用立体标定块并结合AprilTag算法标定两个侧视角相机的外参矩阵，所述立体标定块为长方体，四个侧面及顶面依次定义为立方体的表面0
‑
表面4，表面0
‑
表面4依次采用id为0
‑
4的36H11 AprilTag图案，立体标定块的坐标系O
B
原点定义在表面0上的AprilTag图案(id＝0)中心，X轴、Y轴平行于该表面，正方向分别为图案左上顶点到右上顶点方向、图案左上顶点到左下顶点方向，Z轴方向指向模型内侧；
[0023]采用AprilTag算法标定外参矩阵的过程为：
[0024]立体标定块表面4保持水平，从立体标定块的表面0
‑
3中任意选择一面，令被选择面AprilTag图案到1号侧视角相机光心沿光轴方向的距离为280mm，表面4的AprilTag图案到全局相机光心沿光轴方向的距离为1200mm，并保证上述两相机视场中完整出现对应的AprilTag图案；
[0025]当立体标定块与全局相机、1号侧视角相机满足上述要求时，使用外部触发方式控制两台相机在不大于15ms的时间差下捕捉图像，使用AprilTag算法计算视场内标定图形到各自相机的位置姿态；立体标定块上所有的图形的坐标系与标定块的坐标系O
B
的变换关系由CAD数据已知，推导出拍照时刻标定块相对于全局相机和1号侧视角相机的位姿，解算这两个位姿之间的变换T
C1
＝(R
C1
,t
C1
)，即为O
C1
到O
G
的转换关系，获取1号侧视角相机在O
G
下的外参矩阵；
[0026]2号侧视角相机在O
G
下的外参矩阵的获取方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，该方法包括以下步骤：S1、构建视觉检测系统步骤；所述视觉检测系统包括一台全局相机和两台侧视角相机，其中两台侧视角相机前方使用条形光源对光学元件掠射照明；S2、视觉检测系统中三台相机的联合标定步骤；其中，以全局相机的相机坐标系作为统一的全局坐标系；标定出三台相机内参、外参，建立各相机的像素坐标系到统一的全局坐标系的空间映射关系；S3、光学元件位姿解算步骤；三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿。2.根据权利要求1所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，待检测的光学元件水平方向置于FOA装配平台上，全局相机设置于FOA装配平台上方，检测时位于光学元件侧方的两台相机为1号侧视角相机和2号侧视角相机，三台相机的姿态相互正交，三台相机的光轴相交于光学元件上表面的一点，建立如下坐标系：全局相机的全局坐标系为O
G
‑
X
G
Y
G
Z
G
，全局相机的光轴方向与水平面垂直；1号侧视角相机坐标系为O
C1
‑
X
C1
Y
C1
Z
C1
，2号侧视角相机坐标系为O
C2
‑
X
C2
Y
C2
Z
C2
，两个相机的光轴方向与水平面平行；全局相机坐标系O
G
的X轴正方向与2号侧视角相机坐标系O
C2
的Z
C2
轴正方向相同；光学元件的模型坐标系O
M
为O
M
‑
X
M
Y
M
Z
M
，且原点定义在光学元件上表面左上角的顶点A上，Z
M
轴与光学元件上表面垂直，Z
M
轴正方向向上，X
M
轴正方向为光学元件上表面左上角的顶点指向光学元件上表面左下角的顶点方向。3.根据权利要求2所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，步骤S2的联合标定过程为：首先采用张正友标定方法分别标定三台相机的内参矩阵，建立各自二维像素坐标系到三维相机坐标系的映射关系；再以全局相机的相机坐标系作为统一的全局坐标系，分别标定两台侧视角相机的相机坐标系到全局坐标系的坐标系变换，获取两台侧视角相机的外参矩阵；所述外参矩阵包括：1号侧视角相机坐标系O
C1
到全局坐标系O
G
的转换关系T
C1
＝(R
C1
,t
C1
)，R
C1
为1号侧视角相机坐标系O
C1
到全局坐标系O
G
的旋转矩阵，t
C1
为1号侧视角相机坐标系O
C1
到全局坐标系O
G
的平移向量；及2号侧视角相机坐标系O
C2
到全局坐标系O
G
的转换关系为T
C2
＝(R
C2
,t
C2
)，R
C2
为2号侧视角相机坐标系O
C2
到全局坐标系O
G
的旋转矩阵，t
C2
为2号侧视角相机坐标系O
C2
到全局坐标系O
G
的平移向量。4.根据权利要求2或3所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，采用立体标定块并结合AprilTag算法标定两个侧视角相机的外参矩阵，所述立体标定块为长方体，四个侧面及顶面依次定义为立方体的表面0
‑
表面4，表面0
‑
表面4依次采
用id为0
‑
4的36H11 AprilTag图案，立体标定块的坐标系O
B
原点定义在表面0上的AprilTag图案(id＝0)中心，X轴、Y轴平行于该表面，正方向分别为图案左上顶点到右上顶点方向、图案左上顶点到左下顶点方向，Z轴方向指向模型内侧；采用AprilTag算法标定外参矩阵的过程为：立体标定块表面4保持水平，从立体标定块的表面0
‑
3中任意选择一面，令被选择面AprilTag图案到1号侧视角相机光心沿光轴方向的距离为280mm，表面4的AprilTag图案到全局相机光心沿光轴方向的距离为1200mm，并保证上述两相机视场中完整出现对应的AprilTag图案；当立体标定块与全局相机、1号侧视角相机满足上述要求时，使用外部触发方式控制两台相机在不大于15ms的时间差下捕捉图像，使用AprilTag算法计算视场内标定图形到各自相机的位置姿态；立体标定块上所有的图形的坐标系与标定块的坐标系O
B
的变换关系由CAD数据已知，推导出拍照时刻标定块相对于全局相机和1号侧视角相机的位姿，解算这两个位姿之间的变换T
C1
＝(R
C1
,t
C1
)，即为O
C1
到O
G
的转换关系，获取1号侧视角相机在O
G
下的外参矩阵；2号侧视角相机在O
G
下的外参矩阵的获取方式与上述过程相同。5.根据权利要求3所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，S3步骤中光学元件位姿解算过程为：S31、利用夹具将光学元件放于FOA装配平台预定位置，令三台相机同步采集光学元件的俯视图像I
M
和两个侧视图像I
SL
、I
SF
，将三幅图像进行预处理生成灰度图像；S32、采用LSD算法从三幅灰度图像中提取线段，对这些线段进行处理，获取三幅灰度图像在各自相机像素坐标系下的光学元件边缘；S33、获取光学元件边缘在三个相机坐标系下的解析式，具体的，根据步骤S32匹配结果，当俯视图像I
M
中的某一条边缘与侧视图像I
SL
或侧视图像I
SF
中的某一条边缘同时对应CAD模型中同一条边缘，则认为上述两张图像中的边缘对应光学元件的同一边缘；根据该原则获取三幅灰度图像在各自相机坐标系下的解析式；S34、根据相机内参矩阵、外参矩阵，及三个相机坐标系下解析式，获取光学元件边缘在全局坐标系下的...

【专利技术属性】
技术研发人员：陈冠华，刘国栋，陈凤东，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：