基于羽毛球场边线检测的相机自标定方法及系统技术方案

本发明专利技术属于图像数据处理技术领域，具体公开了一种基于羽毛球场边线检测的相机自标定方法及系统

【技术实现步骤摘要】
基于羽毛球场边线检测的相机自标定方法及系统


[0001]本专利技术属于图像数据处理
，具体来说，涉及一种基于羽毛球场边线检测的相机自标定方法及系统
。

技术介绍

[0002]现有技术中出现了许多利用摄像机获取运动员数据并进行分析和策略推荐的羽毛球赛情分析系统，基于这些系统，比赛前，运动员能够对自己和对手以往的比赛情况进行查询和分析，找出自己的优势和劣势，制定合适的训练计划和比赛应对方案；在赛后，运动员可以对比赛过程进行有效复盘，通过每一球的击球类型以及所属区域等具体信息总结得分与失分的原因和规律，并在之后的比赛中做出针对性调整
。
而在这样一套系统中，一个关键的步骤为羽毛球的识别以及所处位置判断，而此步骤的核心前提是进行羽毛球场的识别以及搭建三维坐标系，以此实现羽毛球的二维坐标到三维坐标的转化
。
[0003]然而，许多现有的边线检测与相机标定方案并不是在面对任意视角的羽毛球场时都能适用并展现出较好性能，不少现存技术仅能够在面对体育馆转播视角的羽毛球场时有所发挥，在角点检测
(
边线检测
)
的基础上进行相机标定，这种视角虽常见，但并不适用于普通业余爱好者
。
对于普通业余爱好者而言，受到可实现的相机架设位置的限制，往往只能做到一些低角度视角甚至局部视角下的图像采集，这类视角下的球场和羽毛球能够近距离且清晰地呈现在使用者面前，极大增强了便利性，但其局部视角也给边线检测和相机标定带来了难题
。

技术实现思路
r/>[0004]针对现有羽毛球场局部视角不便于给边线检测和相机标定的问题，本专利技术提供了基于羽毛球场边线检测的相机自标定方法，可以在面对任意视角的羽毛球场时进行边线检测与相机标定，进而对羽毛球的实时世界坐标进行计算
。
[0005]为实现上述技术目的，本专利技术采用的技术方案如下：
[0006]一种基于羽毛球场边线检测的相机自标定方法，包括步骤：
[0007]S1、
通过深度相机采集球场图像；
[0008]S2、
对球场图像中的场地边线进行检测，获取每段边线的起始点与终止点的像素坐标以及部分关键点的像素坐标，并在图像中标出球场边线；
[0009]S3、
通过每段边线的相关坐标以及球场图像中部分关键点的像素坐标，再结合标准球场上边线的实际距离，确定空间物体表面某点的三维几何位置与其在图像中对应点之间相互关系
。
[0010]进一步地，步骤
S2
的详细步骤包括：
[0011]S201、
对图像的每一个像素点进行遍历，设置像素阈值，若该像素点的
BGR
数值高于此阈值，则将其设为白色，反之则将其设为黑色，以此获得图像的二值化结果；
[0012]S202、
利用概率霍夫变换对高于阈值条件的像素点进行连点成线；
[0013]S203、
根据所检测的图像中球场所处点位的具体情况，利用角度或者位置信息对集合中的边线进行初步筛选，得到初步筛选后的二值图；
[0014]S204、
在获得经过筛选后的有效边线的坐标集合后，计算其两边线之间的交点坐标并且由每四个交点组成一个矩形；
[0015]S205、
将获得的矩形与从组成标准球场的多个矩形中指定的一个还原基准矩形相对应，逐一对步骤
S204
中得到的矩形进行透视变换和球场还原，并将还原后的球场图像与初步筛选后的二值图进行比较打分，选取其中重合度最高的一球场图像作为球场还原图像，进而获取每段边线的起始点与终止点的像素坐标以及部分关键点的像素坐标，并在图像中标出球场边线；
[0016]进一步的，
S203
中，初筛的方式包括人为框选图像上一个或多个区域内的线条，还可以通过角度或者位置参数设定来初选
。
[0017]进一步的，
S205
中，逐一对得到的矩形进行透视变换和球场还原的过程包括，
[0018]基于每一矩形对应于还原基准矩形，利用
getPerspectiveTransform
函数得到初步筛选后的二值图与还原基准矩形所在的基准平面的透视关系；再利用
PerspectiveTransform
函数基于得到的透视关系，对还原基准矩形所在的球场整体图像进行透视变换，将球场整体映射到二值图所在的平面中，得到一个球场图像；
[0019]进一步的，
S205
中，进行比较打分，并选取其中重合度最高的一球场图像作为球场还原图像过程如下：
[0020]遍历每个复现出的球场，对变换后的球场的每一条边线每隔一定步长取一个像素点，并取得所选像素点在图中的坐标；
[0021]取得初筛后的二值图中的前述各坐标处的像素点的
RGB
值并求和；
[0022]若当前所求
RGB
和值的大于当前最大得分值，则令当前最大得分值等于当前所求
RGB
和值，同时令当前球场为选定球场；
[0023]计算下一复现出的球场，直至遍历完所有复现出的球场
。
[0024]进一步的，所述步骤3中，若当前视角下的羽毛球场中可以找到两组互相正交的平行线，则采用构件消失点的方法，结合从标准球场数据中可知的线段长度，计算世界坐标信息
、
相机的内参矩阵
K
，进而对旋转矩阵
R
和平移向量进行求解；
[0025]若当前视角下的羽毛球场中无法找到两组互相正交的平行线以构成两个消失点；则通过世界中的
N
个特征点与图像成像中的
N
个像素点；
[0026]将球场视为标定板，通过边线检测的结果计算获得部分关键点的像素坐标信息，并通过羽毛球场的具体尺寸确定这些关键点所对应的世界坐标信息，且这些关键点可以包括位于球网和网杆上的点；通过相机的焦距信息和图像分辨率信息近似确定相机的内参矩阵
K
，进而利用
solvePnP
算法对相机的旋转矩阵
R
和平移向量
T
进行求解
。
[0027]进一步地，通过构建误差损失函数的方式对上述的相机标定结果进行检验，包括：
[0028]通过相机的内参矩阵和外参矩阵获得关键点的投影像素坐标，并基于此投影像素坐标和事先确定的图像像素坐标构建误差损失函数，以误差损失函数最小为目标采用优化算法进行迭代，进而获得更准确的相机参数信息
。
[0029]本专利技术的另一目的是提供一种基于羽毛球场边线检测的相机自标定系统，包括球场图像采集模块
、
边线检测模块和相机标定模块；
[0030]边线检测模块包括图像二值化模块
、
球场边线检测初步筛选模块
、
透视变换模块；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于羽毛球场边线检测的相机自标定方法，其特征在于，包括步骤：
S1、
通过深度相机采集球场图像；
S2、
对球场图像中的场地边线进行检测，获取每段边线的起始点与终止点的像素坐标以及部分关键点的像素坐标，并在图像中标出球场边线；
S3、
通过每段边线的相关坐标以及球场图像中部分关键点的像素坐标，再结合标准球场上每段边线的实际距离，确定空间物体表面某点的三维几何位置与其在图像中对应点之间相互关系
。2.
根据权利要求1所述的方法，其特征在于，步骤
S2
的详细步骤包括：
S201、
对图像的每一个像素点进行遍历，设置像素阈值，若该像素点的
BGR
数值高于此阈值，则将其设为白色，反之则将其设为黑色，以此获得图像的二值化结果；
S202、
利用概率霍夫变换对高于阈值条件的像素点进行连点成线；
S203、
根据所检测的图像中球场所处点位的具体情况，利用角度或者位置信息对集合中的边线进行初步筛选，得到初步筛选后的二值图；
S204、
在获得经过筛选后的有效边线的坐标集合后，计算其两边线之间的交点坐标并且由每四个交点组成一个矩形
。S205、
将获得的矩形与从组成标准球场的多个矩形中指定的一个还原基准矩形相对应，逐一对步骤
S204
中得到的矩形进行透视变换和球场还原，并将还原后的球场图像与初步筛选后的二值图进行比较打分，选取其中重合度最高的一球场图像作为球场还原图像，进而获取每段边线的起始点与终止点的像素坐标以及部分关键点的像素坐标，并在图像中标出球场边线
。3.
根据权利要求2所述的方法，其特征在于，
S203
中，初筛的方式包括人为框选图像上一个或多个区域内的线条，还可以通过角度或者位置参数设定来初选
。4.
根据权利要求2所述的方法，其特征在于，
S205
中，逐一对得到的矩形进行透视变换和球场还原的过程包括，基于每一矩形对应于还原基准矩形，利用
getPerspectiveTransform
函数得到初步筛选后的二值图与还原基准矩形所在的基准平面的透视关系；再利用
PerspectiveTransform
函数基于得到的透视关系，对还原基准矩形所在的球场整体图像进行透视变换，将球场整体映射到二值图所在的平面中，得到一个球场图像
。5.
根据权利要求2所述的方法，其特征在于，
S205
中，进行比较打分，并选取其中重合度最高的一球场图像作为球场还原图像过程如下：遍历每个复现出的球场，对变换后的球场的每一条边线每隔一定步长取一个像素点，并取得所选像素点在图中的坐标；取得初筛后的二值图中的前述各坐标处的像素点的
RGB
值并求和；若当前所求
RGB
和值的大于当前最大得分值，则令当前最大得分值等于当前所求
RGB
和值，同时令当前球场为选定球场；计算下一复现出的球场，直至遍历完所有复现出的球场
。6.
根据权利要求1所述的方法，其特征在于，所述步骤3中，若当前视角下的羽毛球场中可以找到两组互相正交的平行线，则采用构件消失点的方法，结合从标准球场数据中可知的线段长度，计算世界坐标信息
、
相机的内参矩阵
K
，进而对旋转矩阵
R
和平移向量进行求
解；若当前视角下的羽毛球场中无法找到两组互相正交的平行线以构成两个消失点；则通过世界中的
N
个特征点与图像成像中的
N
个像素点；将球场视为标定板，通过边线检测的结果计算获得部分关键点的像素坐标信息，并通过羽毛球场的具体尺寸确定这些关键点所对应的世界坐标信息，且这些关键点可以包括位于球网和网杆上的点；通过相机的焦距信息和图像分辨率信息近似确定相机的内参矩阵
K
，进而利用
solvePnP
算法对相机的旋转矩阵
R
和平移向量
T
进行求解

【专利技术属性】
技术研发人员：苏晓杰，刘星雨，孙艺倬，薛方正，
申请(专利权)人：重庆大学，
类型：发明
国别省市：