一种下棋机器人系统及其视觉识别控制方法技术方案

本发明专利技术提供一种下棋机器人系统及其视觉识别控制方法，该机器人对棋子位置的判断、移动和抓放过程中，基于深度传感器等获取视觉，将视觉反馈到中央控制系统，进而控制机械臂运动规划，提高了空间计算的精度。本发明专利技术设计了易于抓取棋子的末端执行器结构，其夹取结构与力传感器配合，适当决定对棋子的夹取力度，并辅以微型吸盘，避免因施力过大或者过小而造成棋子脱落。在以上结构的基础上，本发明专利技术还进而形成学习记忆系统、语音交互系统、移动系统相互配合的机器人。

A Chess Robot System and Its Visual Recognition Control Method

The invention provides a chess robot system and its visual recognition control method. In the process of judging, moving and grasping chess positions, the robot obtains vision based on depth sensors, feeds vision back to the central control system, controls the motion planning of the manipulator, and improves the accuracy of spatial calculation. The invention designs an end-effector structure which is easy to grasp chess pieces. The clamping structure cooperates with a force sensor, determines the clamping strength of chess pieces appropriately, and assists with a miniature sucker to avoid the falling off of chess pieces due to excessive or small application of force. On the basis of the above structure, the invention further forms a robot with learning and memory system, voice interaction system and mobile system cooperating with each other.

【技术实现步骤摘要】
一种下棋机器人系统及其视觉识别控制方法
本申请涉及智能设备的
，尤其涉及一种下棋机器人系统及其视觉识别控制方法。
技术介绍
下棋机器人是一种实用而有趣的智能系统，可以用于与人类对弈竞赛，也可以作为教学设备。下棋机器人一般需要利用视觉设备采集棋盘图像并从中识别每个格子及棋子的位置，通常是将棋盘的每一个格子以及棋子进行标记作为坐标定位，并且通过控制器控制机械臂驱动末端执行器(也就是俗称的机械手)实现棋子的抓取和移动。例如，公开号为CN103252077A的中国专利文献“下棋机器人”公开了一种下棋机器人，该下棋机器人包括一硬件系统及一控制系统；其中，该硬件系统包括一主体、至少一机械手臂及至少一摄像头，该主体上设有一棋盘及至少一个设置于该棋盘上的装有若干棋子的棋子盒，该机械手臂与该主体转动连接，该摄像头通过一连接件与该主体固定连接，使得该摄像头位于该棋盘的正上方；该控制系统包括一计算机及一主控制器，该计算机、该硬件系统及该主控制器两两连接，该计算机根据该摄像头传回的棋盘图像指令该主控制器，从而控制该机械手臂操作。现有技术中的下棋机器人具有以下不足：模拟人类化真实性较低，仅能通过视觉获取棋子的图像信息，进行下棋判断，并没有将视觉应用于定位及抓取与放置，其次，现有的末端执行器都是用机械夹手，不够灵活多变，如棋子意外脱落则会使系统混乱。
技术实现思路
有鉴于此，本申请提出一种下棋机器人系统及其视觉识别控制方法。本申请提出了一种下棋机器人系统，其特征在于，包括：视觉识别系统、中央控制系统、机械臂以及末端执行器；所述视觉识别系统用于拍摄棋盘所在空间图像，以及检测棋盘所在空间中每个棋子以及格子的三维位置信息；所述中央控制系统用于识别和输出所述棋盘所在空间图像中每个棋子或者每个格子的类型，以及根据输入的走棋方案以及所述三维位置信息生成运动路径方案，并根据该运动路径方案输出对机械臂和末端执行器的驱动指令；所述机械臂和末端执行器用于根据所述驱动指令执行对棋子的抓取、移动和放下动作。优选的是，所述视觉识别系统包括棋盘摄像机和深度传感器；所述棋盘摄像机用于拍摄棋盘所在空间的图像；所述深度传感器用于检测棋盘所在空间中每个棋子以及格子的三维位置信息。进一步优选的是，所述深度传感器采用TOF(TimeOFFlight)深度传感器或者左右视差深度传感器。优选的是，所述中央控制系统包括：目标识别模块，用于从棋盘所在空间图像提取每个棋子及每个格子的图像区域，进而识别所对应的棋子和格子的类型；空间位置确定模块，用于根据所述三维位置信息，确定走棋方案所需移动的棋子及对应的棋盘格子的三维位置信息；运动规划模块，用于根据空间位置确定模块所提供的棋子和棋盘格子的三维位置信息，生成由机械臂带动末端执行器抓取、移动和放下棋子的运动路径方案；机械控制接口模块，根据该运动路径方案转化为对机械臂和末端执行器的分阶段的驱动指令，输出至机械臂以及末端执行器加以执行；通信接口模块，用于实现中央控制系统和视觉识别系统的通信传输。优选的是，所述视觉识别系统还用于在机械臂以及末端执行器执行运动路径方案的过程实时监测末端执行器的三维位置，判断其移动轨迹与运动路径方案是否存在偏差；当存在偏差时提供偏差指示信号。优选的是，所述末端执行器包括夹具和力传感器，所述夹具用于夹持棋子，且所述力传感器用于实时感应夹具与棋子之间接触产生的压力值。优选的是，所述末端执行器还包括吸盘，所述吸盘用于在夹持棋子时对棋子进行吸附。优选的是，本专利技术所述的下棋机器人还包括：学习记忆系统，用于从所述中央控制系统获取棋局状态，并利用人工智能算法分析棋局状态，自主生成所述走棋方案；语音交互系统，用于采集人类的语音，通过语义识别技术转化为走棋方案；移动系统，用于实现下棋机器人的自主行走。本专利技术进而提供了用于下棋机器人的视觉识别控制方法，其特征在于，包括：棋盘图形拍摄步骤，拍摄棋盘所在空间的图像；三维信息采集步骤，提供深度传感器检测棋盘所在空间中每个棋子以及格子的三维位置信息；目标识别步骤，对于所述棋盘所在空间的图像，提取出其中每个棋子及每个格子的图像区域，进而识别棋子和格子的类型；走棋方案获取步骤，获取走棋方案；空间位置确定步骤，确定走棋方案所需移动的棋子及对应的棋盘格子的三维位置信息；运动规划步骤，根据走棋方案所需移动的棋子及对应的棋盘格子的三维位置信息，生成由机械臂带动末端执行器抓取、移动和放下棋子的运动路径方案；驱动步骤，根据该运动路径方案转化为对机械臂和末端执行器的分阶段的驱动指令，驱动所述机械臂以及末端执行器执行对棋子的抓取、移动和放下。优选的是，在驱动所述机械臂以及末端执行器执行对棋子的抓取、移动和放下的过程中，还执行运动路径校正步骤，通过深度传感器实时监测末端执行器的三维位置，判断其移动轨迹与运动路径方案是否存在偏差；当存在偏差时，提供偏差指示信号，根据该偏差指示信号调整对机械臂及末端执行器的驱动指令，以控制机械臂与末端执行器修正三维位置偏差，使移动轨迹与运动路径方案相符合。优选的是，在所述驱动步骤中，还检测所述末端执行器夹持棋子产生的实时压力值，并通过与标称压力值的比较控制夹持的力度。优选的是，在所述驱动步骤中，还控制所述末端执行器的吸盘对棋子进行吸附。可见，本专利技术提供了易于抓取棋子的末端执行器结构，其夹取结构与力传感器配合，适当决定对棋子的夹取力度，并辅以微型吸盘，避免因施力过大或者过小而造成棋子脱落。机器人对棋子位置的判断、移动和抓放过程中，基于深度传感器等获取视觉，将视觉反馈到中央控制系统，进而控制机械臂运动规划，提高了空间计算的精度。在以上结构的基础上，形成学习记忆系统、语音交互系统、移动系统相互配合的机器人。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请实施例的下棋机器人系统的结构框图；图2是本申请实施例的下棋机器人中央控制系统的具体结构框图；图3是本申请实施例的下棋机器人末端执行器结构示意图；图4是本申请实施例的下棋机器人视觉识别控制方法流程图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。如图1所示，本专利技术涉及的下棋机器人包括：视觉识别系统、中央控制系统、机械臂以及末端执行器。其中，视觉识别系统包括棋盘摄像机和深度传感器；所述棋盘摄像机用于拍摄棋盘所在空间的图像；该图像可以由中央控制系统通过图像提取识别运算提取出其中每个棋子及每个格子的图像区域，并识别所对应的棋子和格子的类型。所述深度传感器用于检测棋盘所在空间中每个棋子以及格子的三维位置信息；具体来说，该深度传感器可以采用TOF(TimeOFFlight)深度传感器或者左右视差深度传感器。当采用TOF深度传感器时，该传感器可以向作为检测目标的特定棋子或者棋盘格子发射脉冲光，并接收检测目标的反射光，通过时间差获得目标的深度信息。当采用左右视差深度传感器时，该传感器实际本文档来自技高网...

【技术保护点】
1.一种下棋机器人系统，其特征在于，包括：视觉识别系统、中央控制系统、机械臂以及末端执行器；所述视觉识别系统用于拍摄棋盘所在空间图像，以及检测棋盘所在空间中每个棋子以及格子的三维位置信息；所述中央控制系统用于识别和输出所述棋盘所在空间图像中每个棋子或者每个格子的类型，以及根据输入的走棋方案以及所述三维位置信息生成运动路径方案，并根据该运动路径方案输出对机械臂和末端执行器的驱动指令；所述机械臂和末端执行器用于根据所述驱动指令执行对棋子的抓取、移动和放下动作。

【技术特征摘要】
1.一种下棋机器人系统，其特征在于，包括：视觉识别系统、中央控制系统、机械臂以及末端执行器；所述视觉识别系统用于拍摄棋盘所在空间图像，以及检测棋盘所在空间中每个棋子以及格子的三维位置信息；所述中央控制系统用于识别和输出所述棋盘所在空间图像中每个棋子或者每个格子的类型，以及根据输入的走棋方案以及所述三维位置信息生成运动路径方案，并根据该运动路径方案输出对机械臂和末端执行器的驱动指令；所述机械臂和末端执行器用于根据所述驱动指令执行对棋子的抓取、移动和放下动作。2.根据权利要求1所述的下棋机器人系统，其特征在于，所述视觉识别系统包括棋盘摄像机和深度传感器；所述棋盘摄像机用于拍摄棋盘所在空间的图像；所述深度传感器用于检测棋盘所在空间中每个棋子以及格子的三维位置信息。3.根据权利要求1所述的下棋机器人系统，其特征在于，所述中央控制系统包括：目标识别模块，用于从棋盘所在空间图像提取每个棋子及每个格子的图像区域，进而识别所对应的棋子和格子的类型；空间位置确定模块，用于根据所述三维位置信息，确定走棋方案所需移动的棋子及对应的棋盘格子的三维位置信息；运动规划模块，用于根据空间位置确定模块所提供的棋子和棋盘格子的三维位置信息，生成由机械臂带动末端执行器抓取、移动和放下棋子的运动路径方案；机械控制接口模块，根据该运动路径方案转化为对机械臂和末端执行器的分阶段的驱动指令，输出至机械臂以及末端执行器加以执行；通信接口模块，用于实现中央控制系统和视觉识别系统的通信传输。4.根据权利要求1所述的下棋机器人系统，其特征在于，所述视觉识别系统还用于在机械臂以及末端执行器执行运动路径方案的过程实时监测末端执行器的三维位置，判断其移动轨迹与运动路径方案是否存在偏差；当存在偏差时提供偏差指示信号。5.根据权利要求1所述的下棋机器人系统，其特征在于，所述末端执行器包括夹具和力传感器，所述夹具用于夹持棋子，且所述力传感器用于实时感应夹具与棋子之间接触产生的压力值。6.根据权利要...

【专利技术属性】
技术研发人员：邓耀桓，
申请(专利权)人：深圳蓝胖子机器人有限公司，
类型：发明
国别省市：广东,44