基于深度学习的台球击球位置测定方法及其装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的台球击球位置测定方法及其装置，该方法通过抓取视频流中台球桌面图像，利用深度神经网络提取图像中台球的特征，即可确定母球和目标球的击打位置，通过击打位置可以实现所有目标球的击打。

【技术实现步骤摘要】
基于深度学习的台球击球位置测定方法及其装置
本专利技术涉及一种基于深度学习的台球击球位置测定方法及其装置，属于体育类机器人领域。
技术介绍
台球是一项在国际上广泛流行的高雅室内体育运动，台球由比赛人员用球杆在台上击球，并结合比赛人员对击球点的计算，由最终比赛双方的得分确定比赛胜负。台球形式多样，主要有中式八球、俄式落袋台球、英式落袋台球、开伦台球、美式落袋台球和斯诺克台球，其中斯诺克最为普遍，已成为一项比赛项目。随着中国台球选手在国内外的台球比赛中取得越来越好的成绩，使中国的台球关注度迅速提高。现有机器人以工业用途为主，用于在各类流水线上对工件进行单一化的组装抓取等操作。近几年，随着机器人的发展，体育类机器人正在兴起。体育类机器人能按照比赛规则模拟人类体育运动，完成比赛，供人类观看，具有一定的娱乐性。现有的体育类机器人有：网球机器人、射门机器人、乒乓机器人、击剑机器人和拳击机器人等。而台球机器人所处的工作环境相对工业化机器人或其他体育机器人更复杂，比如所处为动态化环境、光照快速变化、背景干扰等。现有工业机器人需要精确定位的定位器会受到上述因素的干扰，而无法实现精确定位。同时上述现有机器人均不具有针对台球所特有的计算击球角度、速度和击球点的能力。无法作为台球机器人的替代使用。同时国内用于台球比赛的机器人甚少，例如CN201410722315.7中公开的《一种斯诺克台球机器人》、CN201710588809.4《一种中式八球比赛中台球运球专用机器人》均提供了台球机器人的硬件结构，并未对如何提高台球机器人击球准确率，提供有效的解决方法。
技术实现思路
根据本专利技术的一个方面，提供了一种基于深度学习的台球击球位置测定方法，该方法从图像数据中提取色彩、纹理特征，并且无需人工干预，即可实现对台球击球位置的准确定位，从而提高台球机器人每次击球时，目标球与母球的相撞几率，避免无法通过母球击打目标球情况的出现。同时该方法具有较强的鲁棒性和实时性。基于深度学习的台球击球位置测定方法，包括以下步骤：步骤S100：获取台球桌面实时图像，处理实时图像得到包含台球纹理信息、颜色信息和球体三维信息的RGB图像；步骤S200：对RGB图像进行预处理，识别出RGB图像中的球体图像，将所识别出的球体图像输入训练深度神经网络，获取RGB图像中所含所有台球图像的置信度，并逐一判断各台球图像的置信度是否高于阈值，如果台球图像的置信度高于阈值，则对该台球图像绘制边界框并对边界框中图像添加标签进行分类为母球或目标球，如果台球图像的置信度低于阈值，则舍弃台球图像；步骤S300：分别计算实时图像中母球与目标球的质心坐标，并计算母球与目标球质心在台球桌上的距离，以连接母球与目标球的质心连线为击打方向，并以母球的质心为击打点，进行击打。优选地，步骤S200中还包括以下步骤：步骤S210：对RGB图像进行均值中心化处理，得到满足训练深度神经网络输入尺寸要求的输入图像；步骤S220：依序对输入图像进行高斯模糊和降低图像高频噪音，之后再转换为HSV色彩空间，得到HSV图像，使用在HSV颜色空间中定义的球体颜色边界二进制掩码，或者球体编号，识别出HSV图像中的球体图像；步骤S230：对球体图像中的球体图形进行彩色分割后，采用图像膨胀处理算法填充切割后遗留下的斑点，得到填充图像，将填充图像输入深度学习神经网络。优选地，步骤S300包括以下步骤：步骤S310：采用局部峰值边缘对实时图像进行台球桌面自动分割，采用可平滑高斯分布滤波器提取台球桌面内沿边缘的像素点；步骤S320：使用色彩分割和图像膨胀算法检测台球桌面区域，通过曲线拟合得到完整的台球桌面边缘；步骤S330：对台球桌面区域进行坐标网格化，并通过训练深度神经网络得到实时图像中球体的轮廓，并根据台球桌面网格坐标确定母球和目标球的质心坐标。优选地，训练深度神经网络按以下步骤进行训练：步骤S410：采集台球桌面比赛的视频流图像，对视频流图像进行预处理得到训练样本集；步骤S420：以训练样本集为训练样本，通过反向传播算法进行监督学习，对深度神经网络进行迭代训练。优选地，置信度的最小概率阈值为0.2；的边界框为边长等于台球直径的正方形。优选地，RGB图像中的台球纹理信息、颜色信息和球体三维信息由设定卷积核在实时图像中移动来提取。优选地，实时图像由微软kinect深度摄像头获取。优选地，边界框通过非极大值抑制方法得到。本专利技术的另一方面还提供了一种基于深度学习的台球击球位置测定装置，其特征在于，包括：图像处理模块，用于获取台球桌面实时图像，处理实时图像得到包含台球纹理信息、颜色信息和球体三维信息的RGB图像；深度学习模块，用于对RGB图像进行预处理，识别出RGB图像中的球体图像，将所识别出的球体图像输入深度神经网络，获取RGB图像中所含所有台球图像的置信度，并逐一判断各台球图像的置信度是否高于阈值，如果台球图像的置信度高于阈值，则对该台球图像绘制边界框并对边界框中图像添加标签进行分类为母球或目标球，如果台球图像的置信度低于阈值，则舍弃台球图像；质心模块，用于分别计算实时图像中母球与目标球的质心坐标，并计算母球与目标球质心在台球桌上的距离，以连接母球与目标球的质心连线为击打方向，并以母球的质心为击打点，进行击打。优选地，深度学习模块包括：均值模块，用于对RGB图像进行均值中心化处理，得到满足训练深度神经网络输入尺寸要求的输入图像；HSV模块，用于依序对输入图像进行高斯模糊和降低图像高频噪音，之后再转换为HSV色彩空间，得到HSV图像，使用在HSV颜色空间中定义的球体颜色边界二进制掩码，或者球体编号，识别出HSV图像中的球体图像；切割模块，用于对球体图像中的球体图形进行彩色分割后，采用图像膨胀处理算法填充切割后遗留下的斑点，得到填充图像，将填充图像输入深度学习神经网络。优选地，质心模块包括：桌面分割模块，用于采用局部峰值边缘对实时图像进行台球桌面自动分割，采用可平滑高斯分布滤波器提取台球桌面内沿边缘的像素点；桌面提取模块，用于使用色彩分割和图像膨胀算法检测台球桌面区域，通过曲线拟合得到完整的台球桌面边缘；球体提取模块，用于对台球桌面区域进行坐标网格化，并通过训练深度神经网络得到实时图像中球体的轮廓，并根据台球桌面网格坐标确定母球和目标球的质心坐标。优选地，深度学习模块还包括：样本模块，用于采集台球桌面比赛的视频流图像，对视频流图像进行预处理得到训练样本集；训练模块，用于以训练样本集为训练样本，通过反向传播算法进行监督学习，对深度神经网络进行迭代训练。优选地，置信度的最小概率阈值为0.2；的边界框为边长等于台球直径的正方形。优选地，RGB图像中的台球纹理信息、颜色信息和球体三维信息由设定卷积核在实时图像中移动来提取。优选地，边界框通过非极大值抑制方法得到。本专利技术能产生的有益效果包括：1)本专利技术所提供的基于深度学习的台球击球位置测定方法，采用了单检测器(Single-ShotDetector，SSD)模型，通过卷积神经网络(ConvolutionalNeuralNetwork,CNN)来进行网络初始化。此模型采用非极大值抑制技术删除冗余且置信度小的边界框，将高度重叠的边界框整合成一个，节省了大量的资源，极大地提高了执行效率；2)本文档来自技高网...

【技术保护点】
1.一种基于深度学习的台球击球位置测定方法，其特征在于，包括以下步骤：步骤S100：获取台球桌面实时图像，处理所述实时图像得到包含台球纹理信息、颜色信息和球体三维信息的RGB图像；步骤S200：对所述RGB图像进行预处理，识别出所述RGB图像中的球体图像，将所识别出的球体图像输入训练深度神经网络，获取所述RGB图像中所含所有台球图像的置信度，并逐一判断各所述台球图像的置信度是否高于阈值，如果所述台球图像的置信度高于阈值，则对该所述台球图像绘制边界框并对所述边界框中图像添加标签进行分类为母球或目标球，如果所述台球图像的置信度低于阈值，则舍弃所述台球图像；步骤S300：分别计算所述实时图像中母球与目标球的质心坐标，并计算所述母球与所述目标球质心在所述台球桌上的距离，以连接所述母球与所述目标球的质心连线为击打方向，并以所述母球的质心为击打点，进行击打。

【技术特征摘要】
1.一种基于深度学习的台球击球位置测定方法，其特征在于，包括以下步骤：步骤S100：获取台球桌面实时图像，处理所述实时图像得到包含台球纹理信息、颜色信息和球体三维信息的RGB图像；步骤S200：对所述RGB图像进行预处理，识别出所述RGB图像中的球体图像，将所识别出的球体图像输入训练深度神经网络，获取所述RGB图像中所含所有台球图像的置信度，并逐一判断各所述台球图像的置信度是否高于阈值，如果所述台球图像的置信度高于阈值，则对该所述台球图像绘制边界框并对所述边界框中图像添加标签进行分类为母球或目标球，如果所述台球图像的置信度低于阈值，则舍弃所述台球图像；步骤S300：分别计算所述实时图像中母球与目标球的质心坐标，并计算所述母球与所述目标球质心在所述台球桌上的距离，以连接所述母球与所述目标球的质心连线为击打方向，并以所述母球的质心为击打点，进行击打。2.根据权利要求1所述的基于深度学习的台球击球位置测定方法，其特征在于，所述步骤S200中还包括以下步骤：步骤S210：对所述RGB图像进行均值中心化处理，得到满足所述训练深度神经网络输入尺寸要求的输入图像；步骤S220：依序对所述输入图像进行高斯模糊和降低图像高频噪音，之后再转换为HSV色彩空间，得到HSV图像，使用在HSV颜色空间中定义的球体颜色边界二进制掩码，或者球体编号，识别出所述HSV图像中的所述球体图像；步骤S230：对所述球体图像中的球体图形进行彩色分割后，采用图像膨胀处理算法填充切割后遗留下的斑点，得到填充图像，将所述填充图像输入所述深度学习神经网络。3.根据权利要求1所述的基于深度学习的台球击球位置测定方法，其特征在于，所述步骤S300包括以下步骤：步骤S310：采用局部峰值边缘对所述实时图像进行台球桌面自动分割，采用可平滑高斯分布滤波器提取所述台球桌面内沿边缘的像素点；步骤S320：使用色彩分割和图像膨胀算法检测所述台球桌面区域，通过曲线拟合得到完整的所述台球桌面边缘；步骤S330：对所述台球桌面区域进行坐标网格化，并通过所述训练深度神经网络得到所述实时图像中球体的轮廓，并根据所述台球桌面网格坐标确定所述母球和所述目标球的质心坐标；优选的，所述训练深度神经网络按以下步骤进行训练：步骤S410：采集台球桌面比赛的视频流图像，对所述视频流图像进行预处理得到训练样本集；步骤S420：以所述训练样本集为训练样本，通过反向传播算法进行监督学习，对所述深度神经网络进行迭代训练；优选的，所述置信度的最小概率阈值为0.2；所述的边界框为边长等于所述台球直径的正方形；优选的，所述RGB图像中的台球纹理信息、颜色信息和球体三维信息由设定卷积核在所述实时图像中移动来提取。4.根据权利要求1所述的基于深度学习的台球击球位置测定方法，其特征在于，所述实时图像由微软kinect深度摄像头获取。5.根据权利要求1所述的基于深度...

【专利技术属性】
技术研发人员：崔金刚，周盛宗，
申请(专利权)人：中国科学院福建物质结构研究所，
类型：发明
国别省市：福建,35