一种基于比赛视频的场地数据恢复方法技术

本发明专利技术提供了一种基于比赛视频的场地数据恢复方法。步骤1：根据需要进行标定的体育项目，对场地的实际尺寸建立场地标准模板；步骤2：利用孪生神经网络训练方法，由步骤1建立的场地标准模板和随机相机参数，生成有标签的训练集图像；步骤3：使用训练后的神经网络提取场地轮廓特征，并建立camera

【技术实现步骤摘要】
一种基于比赛视频的场地数据恢复方法


[0001]本专利技术属于计算机视觉
；具体涉及一种基于比赛视频的场地数据恢复方法。

技术介绍

[0002]通过视频拍摄采集运动员的训练过程是教练员进行训练质量控制的重要手段。另外，通过分析电视转播比赛视频是研究对手的主要方式。然而，缺乏尺度信息的视频图像提供的运动数据有限，也难以形成大规模量化分析。若能恢复视频拍摄的场地数据，即可以此为基础获得运动轨迹数据，进行视频的数字化和分析，这对运动过程分析大有裨益，尤其对于大量第三方的电视转播视频，意义重大。另一方面，具有尺度信息的场地数据也是实现运动场景三维重建的基础。通常获得场地数据的方式是通过摄像机标定，如数字化冰场即是依靠多台已知参数相机的拍摄，对冰场进行三维重建。而如果希望通过比赛视频分析对手的技术要领，该问题转换成单个未知参数的相机的标定问题，即要从视频中还原出冰场的平面坐标，由于冰面特征较少，同时属于自标定范畴，场内没有特定的标志物(例如标定板)，这个问题很有挑战性。

技术实现思路

[0003]本专利技术提供了一种基于比赛视频的场地数据恢复方法，用以解决使用视觉的方法受干扰因素多的问题。
[0004]本专利技术通过以下技术方案实现：
[0005]一种基于比赛视频的场地数据恢复方法，所述场地数据恢复方法包括以下步骤：
[0006]步骤1：根据需要进行标定的体育项目，对场地的实际尺寸建立场地标准模板；
[0007]步骤2：利用孪生神经网络训练方法，由步骤1建立的场地标准模板和随机相机参数，生成有标签的训练集图像；
[0008]步骤3：使用训练后的神经网络提取场地边缘轮廓特征图像，并建立camera
‑
feature数据库；
[0009]步骤4：向步骤3建立的camera
‑
feature数据库输入待标定的图像后，利用场景数据恢复算法得到目标图像，即可完成场景数据恢复。
[0010]进一步的，所示步骤2的孪生神经网络的训练用于提取边缘图的特征，所述孪生神经网络由两个相同的卷积神经网络CNN构成。
[0011]进一步的，所述步骤2具体为，
[0012]基于场地标准模板和随机相机参数训练孪生神经网络，
[0013]所述孪生神经网络损失函数：
[0014]L(w，x1，x2，y)＝yDw(x1，x2)+(1
‑
y)max(0，m
‑
Dw(x1，x2))
[0015]其中
[0016]CNN输入：边缘图像320
×
180；CNN输出：16维特征。
[0017]进一步的，所述步骤3场地边缘轮廓特征图像具体为，
[0018]场地边缘图像的提取主要通过两个GAN网络实现；
[0019]第一个GAN用于区分场地的前景和背景，保留图像的前景区域；
[0020]第二个GAN用于从前景区域提取需要的场地轮廓用于下一步操作。
[0021]进一步的，所述步骤3中camera
‑
feature数据库的建立具体包括以下步骤：
[0022]步骤3.1：输入场地标准模板图像；
[0023]步骤3.2：输入camera
‑
feature数据库规模N；
[0024]步骤3.3：camera
‑
feature数据库为空；
[0025]步骤3.4：判断i是否小于N，若小于N则进入步骤3.10，若不小于N则进入步骤3.5，其中i是循环的计数；
[0026]步骤3.5：一定范围内随机生成相机参数camera；
[0027]步骤3.6：基于步骤3.5的相机参数camera计算单应性矩阵M；
[0028]步骤3.7：将步骤3.6的单应性矩阵M和场地标准模板图像卷积得到相机视角下的场地边缘图；
[0029]步骤3.8：利用Siamese
‑
Network提取场地边缘图的特征featur
[0030]步骤3.9：将步骤3.5的相机参数camera和步骤3.8的特征featur添加入camera
‑
feature数据库，并判断i是否小于N返回步骤3.4
[0031]步骤3.10：camera
‑
feature持久化为数据库。
[0032]进一步的，所述步骤3.5的一定范围是指焦距fl范围[250,450]；
[0033]俯仰角范围[
‑
75
°
,
‑
50
°
]；
[0034]偏航角范围[
‑
35
°
,35
°
]；
[0035]世界坐标、翻滚角为固定值，世界坐标(300,450,150)，翻滚角0
°
。
[0036]进一步的，所述步骤4场景数据恢复算法具体包括以下步骤：
[0037]步骤4.1：输入源图像，利用已训练完的GAN网络区分前景和背景提取出对应场地的场地边缘图edge
‑
image；
[0038]步骤4.2：利用训练完的孪生神经网络提取步骤1的场地边缘图edge
‑
image的特征featur；
[0039]步骤4.3：对步骤2的特征feature和训练集做knn近邻匹配；其中，训练集的sample为特征，label为相机参数；
[0040]步骤4.4：基于步骤3的近邻匹配获得场地边缘图对应的相机参数θ；
[0041]步骤4.5：利用步骤4的相机参数θ求得场地平面到边缘图的投影矩阵M；
[0042]步骤4.6：对步骤1的源图像施加投影矩阵的逆矩阵，得到源图像在场地平面的投影，即完成对视频场地数据的还原。
[0043]进一步的，所述步骤4.3训练集做knn的创建具体为，首先输入场地模板图像和需要数据库的规模N，然后每次产生一组特征和相机参数分别作为训练集的sample和label；
[0044]采用针孔相机模型，从世界坐标系到图像坐标系，参数包括相机在世界坐标系中的三维位置cc、相机坐标系的俯仰角、相机坐标系的翻滚角、相机坐标系的偏航角、相机的焦距fl以及从相机坐标系到图像坐标系的平移量u、v；
[0045]将需要标定的参数记为9维向量u,v,fl,cc[0],cc[1],cc[2],roll,pitch,yaw；
[0046]在随机产生相机参数时，针对不同比赛项目9维向量的取值会发生变化，将9维向量利用孪生神经网络提取上一步生成的场地模板图的特征，并与相机参数建立一一对应关系，存入数据库，即可完成KNN训练集的创建。
[0047]本专利技术的有益效果是：
[0048]本专利技术不需要视频帧中有例如标定板这样的先决条件，而是基于一段无固定来源的PTZ相机拍摄的比赛视频，从视频中直接还原本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于比赛视频的场地数据恢复方法，其特征在于，所述场地数据恢复方法包括以下步骤：步骤1：根据需要进行标定的体育项目，对场地的实际尺寸建立场地标准模板；步骤2：利用孪生神经网络训练方法，由步骤1建立的场地标准模板和随机相机参数，生成有标签的训练集图像；步骤3：使用训练后的神经网络提取场地边缘轮廓特征图像，并建立camera
‑
feature数据库；步骤4：向步骤3建立的camera
‑
feature数据库输入待标定的图像后，利用场景数据恢复算法得到目标图像，即可完成场景数据恢复。2.根据权利要求1所述一种基于比赛视频的场地数据恢复方法，其特征在于，所示步骤2的孪生神经网络的训练用于提取边缘图的特征，所述孪生神经网络由两个相同的卷积神经网络CNN构成。3.根据权利要求1所述一种基于比赛视频的场地数据恢复方法，其特征在于，所述步骤2具体为，基于场地标准模板和随机相机参数训练孪生神经网络，所述孪生神经网络损失函数：L(w，x1，x2，y)＝yDw(x1，x2)+(1
‑
y)max(0，m
‑
Dw(x1，x2))其中CNN输入：边缘图像320
×
180；CNN输出：16维特征。4.根据权利要求1所述一种基于比赛视频的场地数据恢复方法，其特征在于，所述步骤3场地边缘轮廓特征图像具体为，场地边缘图像的提取主要通过两个GAN网络实现；第一个GAN用于区分场地的前景和背景，保留图像的前景区域；第二个GAN用于从前景区域提取需要的场地轮廓用于下一步操作。5.根据权利要求1所述一种基于比赛视频的场地数据恢复方法，其特征在于，所述步骤3中camera
‑
feature数据库的建立具体包括以下步骤：步骤3.1：输入场地标准模板图像；步骤3.2：输入camera
‑
feature数据库规模N；步骤3.3：camera
‑
feature数据库为空；步骤3.4：判断i是否小于N，若小于N则进入步骤3.10，若不小于N则进入步骤3.5，其中i是循环的计数；步骤3.5：一定范围内随机生成相机参数camera；步骤3.6：基于步骤3.5的相机参数camera计算单应性矩阵M；步骤3.7：将步骤3.6的单应性矩阵M和场地标准模板图像卷积得到相机视角下的场地边缘图；步骤3.8：利用Siamese
‑
Network提取场地边缘图的特征featur步骤3.9：将步骤3.5的相机参...

【专利技术属性】
技术研发人员：吴锐，钱宇凡，唐降龙，严力，朱明，刘家锋，刘松波，黄庆成，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：