【技术实现步骤摘要】
本专利技术涉及目标检测和关键点检测，具体而言，涉及一种基于标靶关键点识别的相机外参标定方法及系统。
技术介绍
1、相机标定是三维世界到二维空间的建模过程,通过求出这个模型的参数，从而实现相机从三维到二维的成像。标定的参数分为相机内参和外参，相机内参是世界坐标系转换为像素坐标系的转换矩阵，是相机出厂时就确定的；而实际使用中，还要考虑相机的位姿，即旋转角度和平移量，需要通过标定板坐标系转换相机坐标系的过程求解外参矩阵。
2、现有标定流程通常是在固定相机位姿后，拍摄不同角度的标定板，利用传统图像算法识别标定板黑白方格角点的图像坐标，通过其在世界坐标系下的三维坐标，计算外参矩阵。在这个过程中，标定板角点坐标的识别结果会直接影响外参计算的准确性，而传统图像算法受环境影响较大，在车载摄像头标定的场景下泛化性能较差，由此造成车载相机外参标定的稳定性较差。
技术实现思路
1、本专利技术实施例提供了一种基于标靶关键点识别的相机外参标定方法及系统，以解决现有的车载相机外参标定过程中所采用的传统图像识别方法泛化性能较差的技术问题，从而提升车载相机外参标定的稳定性。
2、为解决上述技术问题，本专利技术实施例提供了如下技术方案：
3、一方面，本专利技术实施例提供了一种基于标靶关键点识别的相机外参标定方法，所述基于标靶关键点识别的相机外参标定方法包括：
4、利用待标定相机对不同角度及距离的棋盘格标定板进行拍摄，得到不同角度及距离的棋盘格标定板图像；其中，所述待标
5、利用预设目标检测模型识别所拍摄的棋盘格标定板图像中的标定板坐标；
6、根据识别出的标定板坐标，将所拍摄的棋盘格标定板图像中的背景去除，从所拍摄的棋盘格标定板图像中裁剪出标定板的图像；
7、利用预设关键点识别模型对裁剪出的标定板的图像中的黑白角点进行检测，识别出其中的黑白角点的坐标；
8、利用识别出的黑白角点的坐标，计算相机的外参矩阵，完成相机标定。
9、可选地，所述预设目标检测模型为yolov7模型。
10、可选地，所述利用预设目标检测模型识别所拍摄的棋盘格标定板图像中的标定板坐标,包括：
11、通过构建虚拟标定板，并嵌入到coco目标检测数据集中，构建用于标定板检测的训练数据集；其中，所述虚拟标定板通过随机生成标定板行列数量，并随机排布标定板黑白方格的位置，以提升标定板检测的多样性；
12、构建yolov7模型，作为目标检测模型；其中，所述目标检测模型采用通道部分卷积作为模型基础卷积操作，所述通道部分卷积通过通道分片操作，一半通道通过直连进行特征提取，另外一半通道进行3x3卷积进行特征提取，最后将两部分特征融合在一起，再经过1x1卷积进行信息交互；
13、在所述训练数据集上训练目标检测模型，使目标检测模型收敛；其中，在训练过程中，通过对训练数据集中的标靶数据进行数据增强，以提升模型泛化性能；所述目标检测模型采用task-aligned assigner采样策略；其中，所述task-aligned assigner采样策略针对所有样本预测的分类得分和坐标得分,通过将样本的分类得分和坐标得分进行加权组合，得到加权分数，在将所述加权分数进行排序后，再选择预设数量的正样本；
14、将所拍摄的棋盘格标定板图像输入训练至收敛的目标检测模型，利用训练至收敛的目标检测模型识别出所拍摄的棋盘格标定板图像中的标定板坐标。
15、可选地，所述预设关键点识别模型为centernet模型。
16、可选地，角点分为10类，每一类别分别输出一层heatmap；
17、所述centernet模型的骨干网络为mobilenetv3，特征层采用bifpn；centernet模型最后输出一个22通道的特征图，下采样倍率为4，前10个通道为各类别的heatmap，11和12通道为预测坐标的偏移量，最后10个通道为利用maxpooling实现的heatmap关键点的非极大值抑制掩码；
18、通过heatmap掩码得到heatmap中被激活的关键点位置，最后通过sigmoid激活11和12通道的坐标偏移量，得到最终角点的像素坐标：
19、p(x,y)＝(heat(x,y)+sigmoid(xoffset,yoffset))*stride
20、其中，p(x,y)表示角点的像素坐标，heat(x,y)表示激活关键点在heatmap的像素坐标；sigmoid(xoffset,yoffset)表示模型预测坐标的偏移量；stride表示heatmap相较于当前输入图像的原图的下采样倍率。
21、可选地，在所述预设关键点识别模型的训练过程中，利用矩阵编码模拟多种标靶的形式，构建虚拟标靶图片，并将生成的虚拟标靶贴在真实场景下。
22、另一方面，本专利技术还提供了一种基于标靶关键点识别的相机外参标定系统，所述基于标靶关键点识别的相机外参标定系统包括：
23、图像获取模块，用于利用待标定相机对不同角度及距离的棋盘格标定板进行拍摄，得到不同角度及距离的棋盘格标定板图像；其中，所述待标定相机的位姿固定；
24、标定板坐标识别模块，用于利用预设目标检测模型识别所述图像获取模块所拍摄的棋盘格标定板图像中的标定板坐标；
25、标定板图像裁剪模块，用于根据所述标定板坐标识别模块所识别出的标定板坐标，将所述图像获取模块所拍摄的棋盘格标定板图像中的背景去除，从所述图像获取模块所拍摄的棋盘格标定板图像中裁剪出标定板的图像；
26、角点坐标识别模块，用于利用预设关键点识别模型对所述标定板图像裁剪模块所裁剪出的标定板的图像中的黑白角点进行检测，识别出其中的黑白角点的坐标；
27、外参矩阵计算模块，用于利用所述角点坐标识别模块所识别出的黑白角点的坐标，计算相机的外参矩阵，完成相机标定。
28、可选地，所述预设目标检测模型为yolov7模型。
29、可选地，所述标定板坐标识别模块具体用于：
30、通过构建虚拟标定板，并嵌入到coco目标检测数据集中，构建用于标定板检测的训练数据集；其中，所述虚拟标定板通过随机生成标定板行列数量，并随机排布标定板黑白方格的位置，以提升标定板检测的多样性；
31、构建yolov7模型，作为目标检测模型；其中，所述目标检测模型采用通道部分卷积作为模型基础卷积操作，所述通道部分卷积通过通道分片操作，一半通道通过直连进行特征提取，另外一半通道进行3x3卷积进行特征提取，最后将两部分特征融合在一起，再经过1x1卷积进行信息交互；
32、在所述训练数据集上训练目标检测模型，使目标检测模型收敛；其中，在训练过程中，通过对训练数据集中的标靶数据进行数据增强，以提升模型泛化性能；所述目标检测模型采用task-aligned assigner采样策略；其中，所述task本文档来自技高网...
【技术保护点】
1.一种基于标靶关键点识别的相机外参标定方法，其特征在于，包括：
2.如权利要求1所述的基于标靶关键点识别的相机外参标定方法，其特征在于，所述预设目标检测模型为Yolov7模型。
3.如权利要求2所述的基于标靶关键点识别的相机外参标定方法，其特征在于，所述利用预设目标检测模型识别所拍摄的棋盘格标定板图像中的标定板坐标,包括：
4.如权利要求1所述的基于标靶关键点识别的相机外参标定方法，其特征在于，所述预设关键点识别模型为CenterNet模型。
5.如权利要求4所述的基于标靶关键点识别的相机外参标定方法，其特征在于，角点分为10类，每一类别分别输出一层HeatMap；
6.如权利要求5所述的基于标靶关键点识别的相机外参标定方法，其特征在于，在所述预设关键点识别模型的训练过程中，利用矩阵编码模拟多种标靶的形式，构建虚拟标靶图片，并将生成的虚拟标靶贴在真实场景下。
7.一种基于标靶关键点识别的相机外参标定系统，其特征在于，包括：
8.如权利要求7所述的基于标靶关键点识别的相机外参标定系统，其特征在于，
9.如权利要求8所述的基于标靶关键点识别的相机外参标定系统，其特征在于，所述标定板坐标识别模块具体用于：
10.如权利要求7所述的基于标靶关键点识别的相机外参标定系统，其特征在于，所述预设关键点识别模型为CenterNet模型；
...【技术特征摘要】
1.一种基于标靶关键点识别的相机外参标定方法，其特征在于，包括：
2.如权利要求1所述的基于标靶关键点识别的相机外参标定方法，其特征在于，所述预设目标检测模型为yolov7模型。
3.如权利要求2所述的基于标靶关键点识别的相机外参标定方法，其特征在于，所述利用预设目标检测模型识别所拍摄的棋盘格标定板图像中的标定板坐标,包括：
4.如权利要求1所述的基于标靶关键点识别的相机外参标定方法，其特征在于，所述预设关键点识别模型为centernet模型。
5.如权利要求4所述的基于标靶关键点识别的相机外参标定方法，其特征在于，角点分为10类，每一类别分别输出一层heatmap；
6.如权...
【专利技术属性】
技术研发人员：郑冬，刘孟白，
申请(专利权)人：清智汽车科技苏州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。