一种基于计算机视觉的球场定位系统及方法技术方案

本发明专利技术公开了一种基于计算机视觉的球场定位系统及方法，该系统包括采集设备校准模块、边线检测模块和定位计算模块；采集设备校准模块得到采集设备的外参数矩阵、内参数矩阵以及畸变矩阵；边线检测模块检测出边线在图像中的位置；定位计算模块通过计算获得球员或球类的定位数据；该系统还包括数据记录与存储模块。基于计算机视觉的球场定位方法包括以下步骤：对采集设备进行校准、对球场边线进行检测、定位计算和数据记录与存储。本发明专利技术仅采用单个视频采集设备对球员和球类进行定位，使用方便准确且不需要球员额外穿戴设备，可以更加容易的获取关于球员运动状态的数据，对于运动数据分析提供了很大的支持。

A system and method of pitch location based on computer vision

【技术实现步骤摘要】
一种基于计算机视觉的球场定位系统及方法
本专利技术涉及计算机球场定位系统，尤其涉及一种基于计算机视觉的球场定位系统及方法。
技术介绍
在现有的各类运动比赛如足球、篮球、网球和乒乓球运动中，球员的体能数据，如在球场中的移动距离、移动速度以及球类的移动距离、移动速度的数据对于球员的数据分析扮演着很重要的角色。若要获取球员在球场中的移动距离、移动速度以及球类的移动距离、移动速度，则需要获得球员以及球类任一时刻在球场中的定位，所以球场定位系统非常重要。现有的球场定位系统有两种方式：第一种为通过可穿戴传感器获得运动数据，但是此种方法在比赛中由于规则的限定，不能让球员佩戴可穿戴设备，所以在比赛中不能采用；第二种方法为多个基站进行立体时空维度的定位追踪演算法，其所需设备昂贵且繁杂，不利于广泛普及。综上所述，如何提供一种方便准确且不需要球员额外穿戴设备的球场定位系统与方法成为了一个亟待解决的问题。
技术实现思路
专利技术目的：本专利技术提供一种基于计算机视觉的球场定位系统及方法，以解决现有技术中存在的不足之处。技术方案：本专利技术基于计算机视觉的球场定位系统，包括采集设备校准模块、边线检测模块和定位计算模块；采集设备校准模块得到采集设备的外参数矩阵、内参数矩阵以及畸变矩阵；边线检测模块检测出边线在图像中的位置；定位计算模块通过计算获得球员或球类的定位数据。球场定位系统还包括数据记录与存储模块，数据记录与存储模块通过视频与定位同步还原的方式进行实时数据存储。外参数矩阵表示世界坐标系下的坐标经过旋转和平移落到另一坐标系下的过程；内参数矩阵表示通过相机及针孔成像从相机坐标系的坐标点转为图像像素坐标系点的过程；畸变矩阵表示理论坐标点和实际坐标点的偏差。边线检测模块中的边线指足球场中的边界线、中场线以及篮球场中的三分线、边界线、罚球线。基于计算机视觉的球场定位系统的定位方法，包括以下步骤：1.对采集设备进行校准：对标定物拍摄多个不同方向的照片后，从照片中提取棋盘格角点，估算理想无畸变时的内参矩阵和外参矩阵，估计畸变系数并优化估计；2.通过基于深度学习方法或轮廓颜色特征匹配的方法对球场边线进行检测；3.定位计算，即获得边线在世界坐标系的坐标，以及球员或球类相对于边线的相对位置；4.数据记录与存储，即通过视频与定位同步还原的方式进行实时数据存储。步骤1中，在计算机中提取棋盘格的角点坐标，估算无畸变下的内参矩阵及外参矩阵，应用最小二乘法估算存在畸变时的畸变系数后，应用极大似然估计优化精度，获得最终内参矩阵、外参矩阵和畸变系数。步骤2中，基于深度学习的方法，利用卷积神经网络学习标注的边线图片，获得边线分隔模型以在图像中分隔出边线。使用轮廓或颜色特征匹配的方法，预设不同边线的特征，使用时进行在图像中的特征匹配，将边线检测出来。基于计算机视觉的球场定位系统的定位方法中的步骤3包括以下步骤：3.1.通过标定参数结合单目深度估计算法获得边线在真实坐标系的坐标；3.2.通过基于深度学习获得检测球员或球类的目标检测模型得到球类或球员在图像坐标系想的位置信息，结合边线检测模块的边线在图像坐标系下的位置信息得到球员或者球类距离边线的距离和方向信息；3.3.将步骤3.2中的信息通过相机参数矩阵以及相机畸变矩阵还原到真实世界坐标系，得到球类或球员在真实世界坐标系下的位置，采用的公式为：公式如下Pu＝KTPw，Pu为像素坐标系下的球类或球员相对于边线的位置，K为相机内参矩阵，T为相机外参矩阵与畸变矩阵的乘积，Pw为真实世界坐标系下的球类或球员相对于边线的位置。步骤4中，通过步骤1至3的检测和记录球员和球类的位置数据，使用视频编码传输与定位同步还原的方式进行实时数据存储。有益效果：本专利技术仅采用单个视频采集设备对球员和球类进行定位，使用方便准确且不需要球员额外穿戴设备，可以更加容易的获取关于球员运动状态的数据，对于运动数据分析提供了很大的支持。附图说明图1是本专利技术系统的结构示意图；图2是本专利技术实例中的示意图；图3是本专利技术实例中的棋盘格示意图；图4是本专利技术专利中的篮球边线示意图。具体实施方式本专利技术用于网球、足球、拍球、乒乓球运动中，在此以篮球场球员和篮球定位为例进行说明。如图1所示，本专利技术球场定位系统包括采集设备校准模块、边线检测模块以及定位计算模块；结合实际使用的篮球场景，加入数据记录与存储模块。采集设备校准模块是得到所用的采集设备的外参数矩阵、内参数矩阵以及畸变矩阵。其中，外参数矩阵是用来表示真实世界中的点，该点即在世界坐标系下的坐标，经过怎样的旋转和平移落到另一真实世界点，即落到相机坐标系的坐标；内参数矩阵表示如何通过相机的镜头以及针孔成像从相机坐标系的坐标点转为图像像素坐标系的点；畸变矩阵是用来表示理论坐标点和实际坐标点的偏差。通过该校准模块可以完整的从真实世界点转为图像中像素坐标系的点，采用的校准方法为基于棋盘格表定法，具体步骤为：1.1.打印一张棋盘格，作为标定物；1.2.通过调整标定物或者相机的方向，为标定物拍摄一些不同方向的照片；1.3.从照片中提取棋盘格角点；1.4.估算理想无畸变情况下，内参矩阵和外参矩阵；1.5.最小二乘法估计畸变系数；1.6.极大似然法用以优化估计提升精度。边线检测模块中的边线是指足球场中的边界线、中场线以及篮球场中的三分线、边界线、罚球线各类运动的可见的边线。该边线检测模块检测出边线在图像中的位置，用于定位计算模块。本边线检测模块采用的方法有以下两种：第一种，基于深度学习的方法，利用卷积神经网络学习标注的边线图片，获得边线分割模型，用于在图像中分割出边线。第二种，使用轮廓或颜色特征匹配的方法，预设不同边线的特征，在使用时进行在图像中的特征匹配，将边线检测出来。上述两种方法亦可结合使用，具体为，先用第一种方法初步检测，用第二种方法在第一种方法检测的结果基础上进行更加准确的修正；或者先用第二种方法初步检测，然后用第一种方法进行修正。据此，获得图像中边线的位置。定位计算模块是指通过计算获得球员或者球类的定位数据，由于在边线检测模块中已经获得了边线的位置，则需要进一步确定的是：1.边线在实际世界坐标系下的真实位置；2.球员或者球类相对于边线的相对位置；3.在2中的相对位置转到世界坐标系下的转换方式。则对于1来说，要获得边线在真实世界坐标系的真实位置，则需要使用相机标定参数结合单目深度估计算法获得边线在真实世界坐标系的坐标；对于2来说，通过基于深度学习获得检测球员或球类的目标检测模型得到球类或者球员在图像坐标系下的位置信息，结合边线检测模块的边线在图像坐标系下的位置信息可以得到球员或者球类相对于边线的位置信息，即距离边线的距离信息和方向信息。将此相对位置信息通过相机参数矩阵以及相机畸变矩阵还原到真实世界坐标系，公式如下:Pu＝KTPw，Pu为像本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉的球场定位系统，其特征在于：包括采集设备校准模块、边线检测模块和定位计算模块；所述采集设备校准模块得到采集设备的外参数矩阵、内参数矩阵以及畸变矩阵；所述边线检测模块检测出边线在图像中的位置；所述定位计算模块通过计算获得球员或球类的定位数据。/n

【技术特征摘要】
1.一种基于计算机视觉的球场定位系统，其特征在于：包括采集设备校准模块、边线检测模块和定位计算模块；所述采集设备校准模块得到采集设备的外参数矩阵、内参数矩阵以及畸变矩阵；所述边线检测模块检测出边线在图像中的位置；所述定位计算模块通过计算获得球员或球类的定位数据。


2.根据权利要求1所述的基于计算机视觉的球场定位系统，其特征在于：所述球场定位系统还包括数据记录与存储模块，所述数据记录与存储模块通过视频与定位同步还原的方式进行实时数据存储。


3.根据权利要求1或2所述的基于计算机视觉的球场定位系统，其特征在于：所述外参数矩阵表示世界坐标系下的坐标经过旋转和平移落到另一坐标系下的过程；所述内参数矩阵表示通过相机及针孔成像从相机坐标系的坐标点转为图像像素坐标系点的过程；所述畸变矩阵表示理论坐标点和实际坐标点的偏差。


4.根据权利要求1或2所述的基于计算机视觉的球场定位系统，其特征在于：所述边线检测模块中的边线指足球场中的边界线、中场线以及篮球场中的三分线、边界线、罚球线。


5.一种采用如权利要求1或2所述的基于计算机视觉的球场定位系统的定位方法，其特征在于：包括以下步骤：
(1)对采集设备进行校准：将棋盘格作为标定物，对标定物拍摄多个不同方向的照片后，从照片中提取棋盘格角点，估算理想无畸变时的内参矩阵和外参矩阵，估计畸变系数并估计优化精度；
(2)通过基于深度学习方法或轮廓颜色特征匹配的方法对球场边线进行检测；
(3)定位计算，即通过相机标定参数结合单目深度估计方法获得边线在世界坐标系的坐标，以及通过基于深度学习获得球员或球类相对于边线的相对位置；
(4)数据记录与存储，即通过视频与定位同步还原的方式进行实时数据存储。


6.根据权利要求5...

【专利技术属性】
技术研发人员：祁健，王如宾，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32