一种基于傅里叶描述子的象棋棋子视觉识别方法技术

本发明专利技术公开了一种基于傅里叶描述子的象棋棋子视觉识别方法，属于象棋棋子识别与图像处理技术领域。（1）通过工业高清摄像头获取棋盘原始彩色图像；（2）基于棋盘背景图像的角点粗定位；（3）基于HSV空间的棋盘角点状态判定；（4）棋子文字分割与文字轮廓提取；（5）棋子圆轮廓检测；（6）文字轮廓提取；（7）基于棋子文字轮廓图像的文字特征提取；（8）棋子文字分类识别模型及识别；（9）基于多层前馈网络的象棋文字分类识别模型。棋子识别准确率达到99.3%。该算法实现了象棋棋子视觉识别，精度远高于传统的模板匹配。

A vision recognition method of chess pieces based on Fourier descriptors

The invention discloses a vision recognition method of chess pieces based on Fourier descriptors, which belongs to the technical field of chess pieces recognition and image processing. (1) obtain the original color image of chessboard through industrial HD camera; (2) rough location of corner based on chessboard background image; (3) state determination of corner based on HSV space; (4) segmentation of chessboard text and extraction of text outline; (5) detection of chessboard circle outline; (6) extraction of text outline; (7) extraction of text feature based on chessboard text outline image; (8) Chess character recognition model and recognition; (9) chess character recognition model based on multilayer feedforward network. The accuracy of chessman recognition is 99.3%. The algorithm realizes the vision recognition of chess pieces, and the accuracy is much higher than the traditional template matching.

【技术实现步骤摘要】
一种基于傅里叶描述子的象棋棋子视觉识别方法
本专利技术涉及象棋棋子识别与图像处理
，尤其涉及一种基于傅里叶描述子的象棋棋子视觉识别方法。
技术介绍
识别棋盘棋子是象棋机器人的基础技术，也是最为关键的技术之一。象棋机器人只有在“看明白”后才能进行“思考”，并完成下棋的动作。随着计算机视觉的发展，利用计算机视觉技术，对所获取的棋盘图像进行处理，最终完成对整个棋盘上各个位置状态的识别，即某个位置是否存在棋子以及棋子的具体身份，并以特定的数据结构表示棋盘状态。识别棋子的身份，本质是识别出象棋上的文字，即文字识别。象棋文字识别属于文字识别的范畴。文字识别的应用范围广，常见的如印刷体字符识别、手写体字符识别、场景文字识别等。一般地，文字识别通过提取文字特征及设计分类器实现文字的识别过程。不同类型的文字往往具有不同的特征，但大致可以分为统计特征及文字结构特征。如矩特征、投影特征、文字的笔画、方向等结构特征。而在分类器的设计上，随着人工智能技术的快速发展，出现了利用卷积神经网络的文字分类器，支持向量机分类器，最近邻分类器等。近年来，随着深度学习领域的持续发酵，基于深度学习的方法在文字识别尤其是手写字符识别领域取得了令人瞩目的成绩。在象棋文字识别上，杜俊俐等人基于象棋文字的结构特点，提出了基于文字连通数与孔数的象棋文字识别方法及基于文字年轮统计的象棋文字识别方法。许丰磊提出基于投影法对棋盘交叉点进行检测，通过跟踪对比变化前后的棋盘状态，在不直接识别象棋文字的基础上，间接识别并维护棋盘的状态。曹国强等人根据颜色直方图区分象棋棋子的颜色，提出象棋文字凸包特征识别模型，避免了相机畸变和文字倾斜等问题，识别准确率在95％以上。郭晓峰等人采用霍夫圆检测与最小外接圆二次定位方法对棋子位置进行定位，提出象棋文字旋转差分识别方法，取得了较高的棋子定位精度，棋子识别的准确率达到了98％。伍锡如等人通过高精度工业相机获取象棋棋盘图像，经过对图像进行灰度化、滤波等处理后，利用边界像素检测算法对象棋棋子进行定位并分割目标图像，运用深度卷积神经网络对象棋棋子图像进行识别，在实验环境中象棋识别准确度达到98％。综上所述，现有研究在象棋文字识别上取得了一定的成果，并且在实验环境下达到了98％左右的识别准确率。然而，对于象棋机器人而言，98％的象棋文字识别准确率并不能保证象棋机器人可以持续稳定工作，因为在识别错误后象棋机器人将无法执行后续操作或执行错误操作。因此象棋识别仍有待深入研究，以提高象棋识别的准确性及鲁棒性，进而使得象棋机器人可以稳定正确地运行。
技术实现思路
针对现有技术存在的技术问题，本专利技术提供一种基于傅里叶描述子的象棋棋子视觉识别方法，以解决现有技术在象棋棋子识别时的准确率不够高和效率不高的问题。同时为任何棋牌识别提供了一种指导性的识别方法。一种基于傅里叶描述子的象棋棋子视觉识别方法，包括以下步骤：(1)通过工业高清摄像头获取棋盘原始彩色图像；(2)基于棋盘背景图像的角点粗定位；(3)基于HSV空间的棋盘角点状态判定；(4)棋子文字分割与文字轮廓提取；(5)棋子圆轮廓检测；(6)文字轮廓提取；(7)基于棋子文字轮廓图像的文字特征提取；(8)棋子文字分类识别模型及识别；(9)基于多层前馈网络的象棋文字分类识别模型。进一步的，所述步骤(2)的具体方法为：(21)利用边缘检测算法可以得到边缘轮廓图像；(22)对边缘轮廓图像进行膨胀处理；(23)对步骤(22)中处理得到的图像进行轮廓提取，面积最大的轮廓即为棋盘区的外轮廓；(24)根据距离图像矩阵四个角点距离最近的原则，筛选出棋盘区最外围四个角点，再按线性划分的原则求出棋盘90个角点的像素坐标，完成棋盘角点粗定位。进一步的，通过摄像头采集的象棋棋盘图片为RGB格式的图像，无法直接通过RGB格式的图像区分象棋的颜色类型，先将其转换为HSV空间的图像，根据红黑两种颜色对应的不同统计特征判别角点的状态，即每个角点处是否存在棋子及棋子颜色类型。进一步的，所述RGB格式图像转换为HSV空间图像的方法为：根据距离最短原则：其中：N为棋盘外缘轮廓点数量；筛选出轮廓中距图像左上、左下、右上、右下四个点最近的像素点，此即为棋盘的左上、左下、右上、右下四个角点位置；由于棋盘由九列十行横线构成的九十个角点组成，且线与线之间的距离是相等的，考虑到拍摄引起的细微变形，剩余角点的像素位置坐标通过线性划分的方法得到，第一行的中间七个角点位置坐标求取如下：获取角点坐标后，将图像从RGB空间转换到HSV空间，转换公式如下：Cmax＝max(R,G,B)(2-7)Cmin＝min(R,G,B)(2-8)Δ＝Cmax-Cmin(2-9)V＝Cmax(2-12)进一步的，所述步骤(4)为利用HSV空间不同图像通道亮度和饱和度的明显差异，通过阈值分割法对象棋文字进行分割；对于红色棋子，在S通道图像中，根据公式2-13分割出红色象棋子图像：对于黑色棋子，在V通道图像中，根据公式2-14分割出黑色象棋子：进一步的，所述的步骤(6)中文字轮廓提取方法为：利用Hough变换检测到圆，圆心即为象棋中心，利用检测到的圆轮廓圆心o(x,y)及半径r，以圆轮廓圆心为中心，将离圆心距离小于0.85r的邻域分割；以轮廓面积最大的原则对这些检测出来的轮廓进行筛选，最终提取出代表文字特点的特征轮廓。进一步的，所述步骤(7)以轮廓面积最大的原则对这些检测出来的轮廓进行筛选，最终提取出代表文字特点的特征轮廓，设物体的封闭轮廓曲线由一系列离散点组成，点的总数为N，其坐标序列为{x(n),y(n)|n＝0,1,...,N-1}，坐标序列的复数形式表示为：z(n)＝x(n)+jy(n),n＝0,1,...,N-1(2-15)因此物体的封闭轮廓曲线就可以看作一维离散序列，该离散序列具有周期性，其周期即为N；对封闭轮廓序列进行一维离散傅里叶变换：根据傅里叶变换的性质，傅里叶描述子会因为封闭轮廓的旋转、缩放、平移而改变，且与封闭轮廓的起始点也有关；对封闭轮廓曲线起始点偏移长度a，缩放或放大r倍，旋转角度θ，平移位移(Δx+jΔy)，根据离散傅里叶变换的性质有：式中，x'(l)+iy'(l)＝x(l+a)+iy(l+a)(2-18)因此，z'(0)＝r·ejθ·z(0)+F(Δx+jΔy)(2-19)从上述四式的推导中看出，当封闭轮廓旋转θ，轮廓起始点偏移a时，傅里叶描述子发生相位变化；当对轮廓进行尺度变化时，会令傅里叶描述子的幅值发生变化；当轮廓发生平移时，改变z(0)分量；将傅里叶系数z(k)(||z(0)||除外)的幅值||z(k)||除以||z(1)||，从式(2-21)可以看出本文档来自技高网...

【技术保护点】
1.一种基于傅里叶描述子的象棋棋子视觉识别方法，其特征在于包括以下步骤：/n(1)通过工业高清摄像头获取棋盘原始彩色图像；/n(2)基于棋盘背景图像的角点粗定位；/n(3)基于HSV空间的棋盘角点状态判定；/n(4)棋子文字分割与文字轮廓提取；/n(5)棋子圆轮廓检测；/n(6)文字轮廓提取；/n(7)基于棋子文字轮廓图像的文字特征提取；/n(8)棋子文字分类识别模型及识别；/n(9)基于多层前馈网络的象棋文字分类识别模型。/n

【技术特征摘要】
1.一种基于傅里叶描述子的象棋棋子视觉识别方法，其特征在于包括以下步骤：
(1)通过工业高清摄像头获取棋盘原始彩色图像；
(2)基于棋盘背景图像的角点粗定位；
(3)基于HSV空间的棋盘角点状态判定；
(4)棋子文字分割与文字轮廓提取；
(5)棋子圆轮廓检测；
(6)文字轮廓提取；
(7)基于棋子文字轮廓图像的文字特征提取；
(8)棋子文字分类识别模型及识别；
(9)基于多层前馈网络的象棋文字分类识别模型。


2.根据权利要求1所述的一种基于傅里叶描述子的象棋棋子视觉识别方法，其特征在于所述步骤(2)的具体方法为：(21)利用边缘检测算法可以得到边缘轮廓图像；(22)对边缘轮廓图像进行膨胀处理；(23)对步骤(22)中处理得到的图像进行轮廓提取，面积最大的轮廓即为棋盘区的外轮廓；(24)根据距离图像矩阵四个角点距离最近的原则，筛选出棋盘区最外围四个角点，再按线性划分的原则求出棋盘90个角点的像素坐标，完成棋盘角点粗定位。


3.根据权利要求1所述的一种基于傅里叶描述子的象棋棋子视觉识别方法，其特征在于，通过摄像头采集的象棋棋盘图片为RGB格式的图像，无法直接通过RGB格式的图像区分象棋的颜色类型，因此，先将其转换为HSV空间的图像，根据红黑两种颜色对应的不同统计特征判别角点的状态，即每个角点处是否存在棋子及棋子颜色类型。


4.根据权利要求3所述的一种基于傅里叶描述子的象棋棋子视觉识别方法，其特征在于所述RGB格式图像转换为HSV空间图像的方法为：根据距离最短原则：












其中：N为棋盘外缘轮廓点数量；筛选出轮廓中距图像左上、左下、右上、右下四个点最近的像素点，此即为棋盘的左上、左下、右上、右下四个角点位置；由于棋盘由九列十行横线构成的九十个角点组成，且线与线之间的距离是相等的，考虑到拍摄引起的细微变形，剩余角点的像素位置坐标通过线性划分的方法得到，第一行的中间七个角点位置坐标求取如下：






获取角点坐标后，将图像从RGB空间转换到HSV空间，转换公式如下：
Cmax＝max(R,G,B)(2-7)
Cmin＝min(R,G,B)(2-8)
Δ＝Cmax-Cmin(2-9)






V＝Cmax(2-12)。


5.根据权利要求1所述的一种基于傅里叶描述子的象棋棋子视觉识别方法，其特征在于，所述步骤(4)为利用HSV空间不同图像通道亮度和饱和度的明显差异，通过阈值分割法对象棋文字进行分割；对于红色棋子，在S通道图像中，根据公式2-13分割出红色象棋子图像：



对于黑色棋子，在V通道图像中，根据公式2-14分割出黑色象棋子：





6.根据权利要求1所述的一种基于傅里叶描述子的象棋棋子视觉识别方法，其特征在于所述的步骤(6)中文...

【专利技术属性】
技术研发人员：刘峰，王进，陈建辉，陆国栋，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33