一种基于全局视觉的下棋机器人及其控制方法技术

本发明专利技术提供一种基于全局视觉的下棋机器人及其控制方法，涉及计算机视觉技术领域。本发明专利技术中的吸盘分别与气泵和执行器本体相连接，末端摄像头分别与执行器本体和电脑服务端相连接；拟人化的机械臂分别与电脑服务端、执行器本体相连接；机械臂坐落于取子盘中间的留白处；视野摄像头与电脑服务端相连接并置于摄像头支架上；电脑服务端包括视觉系统、博弈系统、落子系统和实时展示系统；视觉系统分别与博弈系统、实时展示系统相连接；博弈系统分别与落子系统、实时展示系统相连接，落子系统输出端与机械臂相连接。本发明专利技术克服了运动物体的干扰，增强了不均匀光照下棋子定位的准确性，为用户创造科学、方便、快捷的奕棋环境。

A chess robot based on global vision and its control method

【技术实现步骤摘要】
一种基于全局视觉的下棋机器人及其控制方法
本专利技术涉及计算机视觉
，尤其涉及一种基于全局视觉的下棋机器人及其控制方法。
技术介绍
棋类游戏一直被视为人类智力及人工智能的试金石。卡耐基梅隆大学的心理学教授西格勒的实验结果表明棋类游戏是促使孩子智力发展的重要教育方式，对于孩子逻辑思维培养有着不可替代的重要作用。同时，棋类游戏在老人社区中也有着深厚的群众基础，可以提高老人的记忆力、消除老人的空虚感和丰富老年生活。在2016年，计算机博弈取得了历史性的突破，谷歌人工智能程序AlphaGo以总比分4比1战胜韩国围棋九段棋手李世石。为了让人们对当今科技水平有着更深刻的体验，人机对弈不仅仅只停留在计算机界面上，而是应以一种喜闻乐见的形式与机器人交互。全局视觉指将视觉传感器安装在机器人活动区域的上方,视觉传感器可对整个区域的信息进行采集。这种全局视觉的方式应用在机器人领域研究中非常广泛。在机器人导航的问题中，全局视觉方式利用固定与场地上方的摄像头，采集机器人活动区域的环境信息，由视频图像处理准确地获得机器人和障碍物的位置信息，然后通过路径规划控本文档来自技高网...

【技术保护点】
1.一种基于全局视觉的下棋机器人，其特征在于：包括电脑服务端、机器人、视野摄像头装置、棋类装置；/n所述机器人包括拟人化的机械臂、机械臂末端执行器、取子盘；所述机械臂末端执行器包括执行器本体、末端摄像头、吸盘装置，所述吸盘装置包括吸盘和气泵，吸盘和气泵相连接用于吸取棋子，吸盘与执行器本体相连接，所述末端摄像头用于机械臂定位，所述末端摄像头一端与执行器本体相连接，另一端与电脑服务端相连接；所述拟人化的机械臂分别与电脑服务端、执行器本体相连接；所述取子盘严格按照机械臂的尺寸所制，使机械臂坐落于取子盘中间的留白处；/n所述棋类装置包括棋盘、棋子、棋子盒；/n所述视野摄像头装置包括视野摄像头和摄像头支...

【技术特征摘要】
1.一种基于全局视觉的下棋机器人，其特征在于：包括电脑服务端、机器人、视野摄像头装置、棋类装置；
所述机器人包括拟人化的机械臂、机械臂末端执行器、取子盘；所述机械臂末端执行器包括执行器本体、末端摄像头、吸盘装置，所述吸盘装置包括吸盘和气泵，吸盘和气泵相连接用于吸取棋子，吸盘与执行器本体相连接，所述末端摄像头用于机械臂定位，所述末端摄像头一端与执行器本体相连接，另一端与电脑服务端相连接；所述拟人化的机械臂分别与电脑服务端、执行器本体相连接；所述取子盘严格按照机械臂的尺寸所制，使机械臂坐落于取子盘中间的留白处；
所述棋类装置包括棋盘、棋子、棋子盒；
所述视野摄像头装置包括视野摄像头和摄像头支架，视野摄像头置于摄像头支架上，视野摄像头与电脑服务端相连接；
所述电脑服务端包括视觉系统、博弈系统、落子系统和实时展示系统；所述视觉系统用于接收视野摄像头输出的数据，并对数据进行处理得到识别结果，所述视觉系统分别与博弈系统、实时展示系统相连接；博弈系统根据视觉系统的反馈信息生成相应的策略，所述博弈系统分别与落子系统、实时展示系统相连接，所述落子系统用于根据视野摄像头和末端摄像头输出的数据进行棋盘矫正和机械臂定位，其输出端与机械臂相连接；所述实时展示系统用于将视觉系统和博弈系统获得的双方落子坐标显示在界面上，实时传输对弈信息并储存对弈信息。


2.根据权利要求1所述的一种基于全局视觉的下棋机器人，其特征在于：所述棋盘与机器人的间隔要超过机械臂的最小移动半径；使机械臂能移动到离机械臂最近的棋盘落子位置上，完成机械臂落子操作。


3.根据权利要求1所述的一种基于全局视觉的下棋机器人，其特征在于：所述摄像头支架为高度可调整的摄像头支架，视野摄像头为角度可调整的视野摄像头。


4.根据权利要求1所述的一种基于全局视觉的下棋机器人，其特征在于：所述视野摄像头能够拍摄到的范围应覆盖整个棋盘。


5.一种基于全局视觉的下棋机器人的控制方法，通过权利要求1所述的一种基于全局视觉的下棋机器人实现，其特征在于：包括如下步骤：
步骤1：将机械臂坐落于取子盘中间的留白处，将棋盘放置在桌面上，所述棋盘与机器人的间隔要超过机械臂末端执行器的最小移动半径；装有棋子的棋子盒摆放在棋盘周围；
步骤2：将视野摄像头放置在摄像头支架上，摄像头支架放置在桌面上，放置位置需保持使摄像头能够拍摄到的范围覆盖整个棋盘；
步骤3：打开电脑服务端、连接视野摄像头和末端摄像头，点击新游戏按钮，机械臂初始化到固定位置，即将机械臂归零；
步骤4：根据视野摄像头获取棋盘图像，对图像进行运动物体检测，检测出第一个干净帧的图像，在第一个干净帧的图像上，运用分块凸包检测法检测出棋盘的四个顶点；设置四个顶点坐标和标准棋盘的长宽，根据中心投影变换将视野摄像头拍摄下的棋盘矫正为标准棋盘，得到第一个标准棋盘图像boardf，并保存变换矩阵；
步骤5：确定当前对弈棋种；
对第一个标准棋盘图像boardf进行棋盘特征识别，对第一个标准棋盘图像进行高斯滤波、锐化、灰度化、自定义阈值二值化、n次膨胀的处理，得到待识别图像；对待识别图像内的轮廓提取点集，所述轮廓包括棋盘整个范围的内轮廓和棋盘小方格的内轮廓；利用多边形逼近使所有内轮廓表示成多边形形状达到减少轮廓顶点数量的目的；计算第一个标准棋盘图像boardf中所有内轮廓多边形的面积；获取不同类型棋盘小方格面积区间,形成数据库，分别对图像boardf中所有内轮廓多边形的面积进行棋盘类型识别，得到每个内轮廓多边形所对应的棋盘类型，将棋盘类型最多的类型作为当前对弈的棋种，根据当前棋种的棋盘类型获得每一个棋盘小方格的长宽并储存；
所述识别方法为：确定内轮廓多边形i的面积Wi落入数据库中棋盘类型的面积区间，将该棋盘类型定义为内轮廓多边形i的棋盘类型；
步骤6：机械臂定位；
步骤6.1：将机械臂由归零位置分别移动至使末端摄像头能够拍到离机械臂最近的棋盘两个顶点图像的位置，并获取两个顶点的图像，记作pointf1、pointf2；
步骤6.2：检测离机械臂最近的两个棋盘顶点；
将顶点图像pointf1进行灰度化、中值滤波、自定义阈值二值化、闭运算、开运算、保留最大连通域、轮廓提取的处理，得到处理后顶点图像，记作F1；对F1进行多边形逼近，获得F1中所有的特征点，将每一个特征点分别与它相邻的两个特征点连接得到两条线段，以该特征点反向延长两条线段，各80个像素点，提取顶点图像的二值化图像,在二值化图像上，检测这些延长的像素点与白色像素重合的数量，取重合数量最少的特征点即为所求顶点Q1，该顶点的像素坐标即为该顶点的坐标；获取顶点图像pointf2重复本步骤，得到顶点Q2及其顶点坐标；
步骤6.3：顶点偏移量修正；
分别计算顶点Q1、Q2的坐标与pointf1、pointf2图像中间像素坐标的差值，根据该差值进行顶点修正，直至横纵坐标差值都小于等于五个像素终止修正，当横纵坐标差值都小于等于五个像素时即认为末端摄像头移动到顶点Q1、Q2正上方；
步骤6.4：设置吸盘与末端摄像头之间的偏移量；
由于吸盘与末端摄像头之间存在一个固定的偏移量，棋子定位时吸盘用于吸取棋子而不是末端摄像头，所以需要将吸盘移动到顶点正上方，并且记录此时吸盘位置处的机械臂坐标；
步骤6.5：根据棋盘类型计算出机械臂移动的单位坐标；
机械臂移动到两个顶点Q1和Q2时的机械臂坐标确定后，选取任一顶点为原点，由于棋盘格都是紧密排列的方形，根据两个顶点Q1、Q2和当前对弈的棋种计算出机械臂移动单位棋盘格的像素坐标，从而推断出机械臂移动到每一个棋盘交叉点处的机械臂坐标，机械臂定位完成，此时机械臂完成了与棋盘之间的坐标转换；
步骤7：进行人机对弈，人方先手；
步骤8：运动物体检测输出干净帧；
步骤8.1：获取不为空的图像作为前一帧图像，记作frameE1，获取不为空的图像作为当前帧图像，记作frameE2；当前对弈棋种若为开局棋盘上布满棋子类别时，则执行步骤8.2；当前对弈棋种若为开局棋盘上无棋子类别时，则行步骤8.3；
步骤8.2：根据帧差法结合棋子数量检测法进行运动物体检测输出干净帧；
分别对frameE1和frameE2进行预处理，得到预图像，判断预图像中轮廓数量是否大于0，若是，则认为存在运动物体，删除该图像，并将当前帧frameE2作为前一帧frameE1，重新获取当前帧图像,重复步骤8.1；若否，则认为当前帧是干净帧；所述预处理包括平滑操作、...

【专利技术属性】
技术研发人员：王亚杰，张云博，丁傲冬，祁冰枝，吴燕燕，李正强，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：辽宁;21