一种基于神经网络的棋盘格角点检测方法及其应用技术

本发明专利技术属于图像处理技术领域，并具体公开了一种基于神经网络的棋盘格角点检测方法及其应用。该方法包括：获取待测棋盘格的多角度图像，并对其进行预处理以获得灰度图像；基于神经网络对灰度图像进行角点检测，以此确定候选角点；剔除不符合棋盘格几何标准的候选角点，以此确定待检角点；根据获得的待检角点确定待测棋盘格角点的亚像素位置；对获得的待检角点进行区域筛选，确定各个待检角点的索引矩阵，进而得到多个互不交叉的棋盘格角点序列，以此完成待测棋盘格的角点检测。本发明专利技术对光照遮挡和噪声偏移等干扰具有较高的检测鲁棒性，同时对由镜头不均匀或广角相机拍摄造成的图像弯曲和畸变具有很高的定位稳定性，并且能同时对多个棋盘完成检测。

【技术实现步骤摘要】
一种基于神经网络的棋盘格角点检测方法及其应用
本专利技术属于图像处理
，更具体地，涉及一种基于神经网络的棋盘格角点检测方法及其应用。
技术介绍
摄像机标定在目标追踪、图像融合、三维重建、机器人导航领域有着广泛的应用。在这些领域中，摄像机通过获取目标场景的多张二维平面图像，完成对目标场景精确的三维建模。而三维建模的完成需要提前获知摄像机的物理(内部)参数和几何(外部)参数，一般通过摄像机标定来确定这些特定参数。摄像机标定通过对已知尺寸的标定模板上的特征点进行二维位置坐标的检测，然后将这些特征点的三维空间位置和拍摄图像上的二维位置坐标一一对应，获取世界坐标系和像素坐标系的位姿转换关系，进而计算出摄像机的物理与几何参数。常用的标定模板包括平面棋盘格模板，平面圆点模板和自制三维立体模板。因棋盘格模板具有易于制作、对比度高、特征明显和易于识别等特点，目前常被用于摄像机标定。平面棋盘格模板上的特征点是黑白方块相交的角点，因此，提高棋盘格角点检测的精度，就可以提高摄像机标定的精确度，进而提高上述领域中三维建模的精度。众多学者对棋盘格角点检测进行了广泛而深入的研究，并提出了很多卓有成效的算法。最早的是基于角点几何特征的自相关检测算法，这类通用角点检测算法的代表是Moravec、Harris和SUSAN。Moravec算法首先以待检测点为中心取特定大小的区域，并从八个等角度方向计算自相关值，然后将最小值作为角点的响应函数，从而确定是否为角点。但由于寻找的方向太少，这种方法不能很好地解决灰度不均匀以及角点位于图像边缘的情况。Harris和Setphens设计的Harris算法采用像素点灰度值的一阶导数来计算自相关性：首先对每个像素点计算以其为中心的2ⅹ2自相关矩阵：A＝ω*|(▽I)(▽I)T|，其中w为高斯平滑模板。同时考虑图像的奇异值分解，定义角点的判别式为：det(A)-k(trace(A))2，其中k为给定的常数，当判别式的值很大时，就认为此处为一个角点。Harris算法的鲁棒性和定位性较好，但是容易产生大量错点。Smith和Brady提出的SUSAN算法，通过使用一个可信赖的滤波器，对中心核周围进行采样，自动返回角点判定值，这种算法可以检测到对比度不明显，或者清晰度不够的角点，适用于低层次图像的处理，但是计算量较大，定位精度较差。除此之外，很多特定的棋盘格角点检测算法也相继被提出。Ha等人通过对以待测点为中心的圆形边界上的像素点灰度值构成的特征向量进行计算和打分，可以有效地识别出棋盘格的角点。角点在特征向量的四个不同位置(一般选取将圆边界四均分的点)的强度具有明显的差异，设定一个阈值，超过此阈值的待测点即可被认为是角点，这种方法虽然便捷，但会造成很多的假阳性点。Benett等人构建了一个更加复杂的模型ChESS，即采用等角16点而非4点进行判别。这种方法在保持运算速度基本不变的情况下，检测效果大大增强，但是该算法假定所有角点都是由两个线段正交形成，因而不适用于镜头畸变的情况(如广角相机)。目前也有一些算法尝试使用机器学习来检测角点。比如FAST和基于它改进的FAST-ER算法，统计待检测点圆边界上的等角16点的灰度值分布并组成一个特征向量，然后采用决策树分类器来判断当前待检测点是否为角点。这种算法在大量的数据训练后形成一个有效的检测结构，它的检测速度很快，但是在噪声很高时不稳定。MATE是首个尝试使用神经网络检测棋盘格角点的算法，该算法使用了两层不同的卷积层，针对角点与非角点设计了两种不同的评价函数，同时使用非极大值抑制剔除假阳性点，然后在特定的训练集训练网络。这种算法的迁移性较好，但是计算量较大，但是检测效果一般，未有效解决尺度不变性的问题。同时，上述的角点检测算法可以基本认为是对每一个候选角点计算出一个置信度分值，然后采用阈值等方法筛选出置信度较大的作为角点。但是这种分值只在角点检测中使用，并不用于后面的棋盘格生成阶段，因此利用率也较低。此外，上述的角点检测方案大多只适用于单棋盘格检测，对于一张图像中包含多个棋盘的检测效果往往不好。
技术实现思路
针对现有技术的上述缺点和/或改进需求，本专利技术提供了一种基于神经网络的棋盘格角点检测方法及其应用，该方法对光照遮挡和噪声偏移等干扰具有较高的检测鲁棒性，并且对由镜头不均匀或广角相机拍摄造成的图像弯曲和畸变具有很高的定位稳定性，能够同时对多个棋盘完成检测，因而尤其适用于复杂环境下平角相机以及广角相机的标定。为实现上述目的，按照本专利技术的一个方面，提出了一种基于神经网络的棋盘格角点检测方法，该方法包括如下步骤：S1获取待测棋盘格的多角度图像，并对其进行预处理，以此获得灰度图像；S2基于神经网络对所述灰度图像进行角点检测，从而确定候选角点并获得各个所述候选角点的响应值；S3基于步骤S2获得的响应值剔除不符合棋盘格几何标准的候选角点，进而确定待检角点；S4根据步骤S3获得的所述待检角点确定所述待测棋盘格角点的亚像素位置；S5对步骤S3获得的所述待检角点进行区域筛选，确定各个所述待检角点的索引矩阵，进而得到多个互不交叉的棋盘格角点序列，以此完成所述待测棋盘格的角点检测。作为进一步优选的，步骤S1中，所述待测棋盘格为单棋盘格或多棋盘格；当所述待测棋盘格为单棋盘格时，通过移动摄像机或标定板采集多个位姿的图像，以此获得所述多角度图像；当所述待测棋盘格为多棋盘格时，拍摄一张图像即可获得所述多角度图像。作为进一步优选的，步骤S1中，对所述多角度图像进行预处理包括如下子步骤：S11对所述多角度图像进行灰度化处理；S12对灰度化处理后的所述多角度图像进行直方图均衡化处理，以此增强其对比度；S13对增强后的所述多角度图像的灰度值进行归一化处理，进而获得所述灰度图像。作为进一步优选的，步骤S2中响应值的损失函数为：式中，(x,y)是候选角点的坐标，G(x,y)表示候选角点是否为真实角点，当G(x,y)为1时是真实角点，当G(x,y)为0时是假阳性点，为待学习的变量，λ为正则化的权重变量，Np为一张输入图像中所有真实角点的个数，Nn为非角点的像素个数，a(x,y)由输入的灰度图像经过神经网络处理后输出对应点位置的响应值output(x,y)经过如下的截断操作得到：作为进一步优选的，步骤S3包括如下子步骤：S31根据自适应阈值法剔除响应值小于特定阈值的像素点；S32然后采用非极大值抑制法剔除所有9×9区域内的局部最大值角点；S33最后使用聚类算法对属于每一个棋盘格角点序列的角点进行聚类，剔除边界上的角点以及某一聚类中角点总数少于2个的角点。作为进一步优选的，步骤S4包括如下子步骤：S41根据步骤S2获得的响应值，对各个所述待检角点周围9×9领域内的响应值进行插值，从而获得角点响应值曲面；S42利用高斯拟合算法计算出所述角点响应值曲面的极值点，以此作为所述待测棋盘格角点的亚像素位置。作为进一步优选的，步骤S5中，基本文档来自技高网...

【技术保护点】
1.一种基于神经网络的棋盘格角点检测方法，其特征在于，该方法包括如下步骤：/nS1获取待测棋盘格的多角度图像，并对其进行预处理，以此获得灰度图像；/nS2基于神经网络对所述灰度图像进行角点检测，从而确定候选角点并获得各个所述候选角点的响应值；/nS3基于步骤S2获得的响应值剔除不符合棋盘格几何标准的候选角点，以此确定待检角点；/nS4根据步骤S3获得的所述待检角点确定所述待测棋盘格角点的亚像素位置；/nS5对步骤S3获得的所述待检角点进行区域筛选，确定各个所述待检角点的索引矩阵，进而得到多个互不交叉的棋盘格角点序列，以此完成所述待测棋盘格的角点检测。/n

【技术特征摘要】
1.一种基于神经网络的棋盘格角点检测方法，其特征在于，该方法包括如下步骤：
S1获取待测棋盘格的多角度图像，并对其进行预处理，以此获得灰度图像；
S2基于神经网络对所述灰度图像进行角点检测，从而确定候选角点并获得各个所述候选角点的响应值；
S3基于步骤S2获得的响应值剔除不符合棋盘格几何标准的候选角点，以此确定待检角点；
S4根据步骤S3获得的所述待检角点确定所述待测棋盘格角点的亚像素位置；
S5对步骤S3获得的所述待检角点进行区域筛选，确定各个所述待检角点的索引矩阵，进而得到多个互不交叉的棋盘格角点序列，以此完成所述待测棋盘格的角点检测。


2.如权利要求1所述的基于神经网络的棋盘格角点检测方法，其特征在于，步骤S1中，所述待测棋盘格为单棋盘格或多棋盘格；当所述待测棋盘格为单棋盘格时，通过移动摄像机或标定板采集多个位姿的图像，以此获得所述多角度图像；当所述待测棋盘格为多棋盘格时，拍摄一张图像即可获得所述多角度图像。


3.如权利要求1所述的基于神经网络的棋盘格角点检测方法，其特征在于，步骤S1中，对所述多角度图像进行预处理包括如下子步骤：
S11对所述多角度图像进行灰度化处理；
S12对灰度化处理后的所述多角度图像进行直方图均衡化处理，以此增强其对比度；
S13对增强后的所述多角度图像的灰度值进行归一化处理，进而获得所述灰度图像。


4.如权利要求1所述的基于神经网络的棋盘格角点检测方法，其特征在于，步骤S2中响应值的损失函数为：



式中，(x,y)是候选角点的坐标，G(x,y)表示候选角点是否为真实角点，当G(x,y)为1时是真实角点，当G(x,y)为0时是假阳性点，为待学习的变量，λ为正则化的权重变量，Np为一张输入图像中所有真实角点的个数，Nn为非角点的像素个数，a(x,y)由输入的灰度图像经过神经网络处理后输出对应点位置的响应值output(x,y)经过如下的截断操作得到：





5.如权利要求1所述的基于神经网络的棋盘格角点检测方法，其特征在于，步骤S3包括如下子步骤：
S31根据自适应阈值法剔除响应值小于特定阈值的像素点；
S32然后采用非极大值抑制法剔除所有9×9区域内的局部最大值角点；
S33最后使用聚类算法对属于每...

【专利技术属性】
技术研发人员：熊蔡华，陈犇，李全林，万中华，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42