一种针对远距离高速运动目标的智能跟踪拍摄系统技术方案

本发明专利技术公开的一种针对远距离高速运动目标的智能跟踪拍摄系统，属于计算机视觉、计算机控制与电视转播领域。本发明专利技术包括光学系统、稳定平台系统和显控系统。本发明专利技术以全景摄像机作为视觉传感器，将自适应目标检测跟踪方法与车载两轴三维稳定平台相融合，在目标跟踪方法中，结合全局相机引导特写相机跟踪拍摄与特写相机闭环检测双机制，提升整体系统的跟踪精度，保证目标处于视频画面中央。在多路视频输出时，该系统通过实时视频流智能切换方法对多路视频流进行实时评价、自动切换，实时输出稳定的视频画面，实现在恶劣环境、复杂场景下对高速运动目标的稳定跟拍，实时剪辑，能够为后续远程导播、云端重建、个性化转播等扩展应用提供良好的技术支持。提供良好的技术支持。提供良好的技术支持。

【技术实现步骤摘要】
一种针对远距离高速运动目标的智能跟踪拍摄系统


[0001]本专利技术涉及一种针对远距离高速运动目标的智能跟踪拍摄系统，属于计算机视觉、计算机控制与电视转播领域。

技术介绍

[0002]随着冬奥会的即将到来，高山滑雪项目以其独有的刺激性及挑战性吸引着大批的滑雪爱好者，同时，由于该运动具有运动速度快，回转运动多等特点，运动场地地形复杂、天气环境多变，气候恶劣，环境温度通常会达到零下20度以下，这给赛事摄像师和转播师的工作造成了极大的困扰。传统的人工拍摄转播模式下，转播服务公司需要在陡峭的雪道上架设数十台专业摄影平台，同时需要部分摄影转播工作人员进入滑雪赛道进行机动拍摄，此外媒体中心还需要安排大量的工作人员对各个机位回传的视频信号进行实时接受、剪辑、推流，整个模式组织庞大、操作繁琐、建设难度大，需要耗费巨大的人力和物力。近年来，随着计算机视觉技术飞速发展，结合目标跟踪技术的拍摄系统广泛应用于安防监控领域，然而体育赛事环境和场景相对复杂，需要拍摄系统在保证不影响赛事正常进行的情况下，仍然保证实时输出帧率稳定、画面高清、视角恰当的视频，这给现有计算机视觉技术带来极大的挑战。

技术实现思路

[0003]为了解决上述问题，本专利技术的目的是提供一种针对远距离高速运动目标的智能跟踪拍摄系统；该系统以全景摄像机作为视觉传感器，将自适应目标检测跟踪技术与车载二维稳定平台相融合，在目标跟踪技术中，结合全局相机引导特写相机跟踪拍摄与特写相机闭环检测双机制，提升整体系统的跟踪精度，保证目标处于视频画面中央。在多路视频输出时，该系统通过实时视频流智能切换方法对多路视频流进行实时评价、自动切换，实时输出稳定的视频画面，实现在恶劣环境、复杂场景下对高速运动目标的稳定跟拍，实时剪辑，可为后续远程导播、云端重建、个性化转播等扩展应用提供良好的技术支持。
[0004]本专利技术的目的是通过下述技术方案实现的：
[0005]本专利技术公开的一种针对远距离高速运动目标的智能跟踪拍摄转播系统，包括光学系统、稳定平台系统和显控系统。
[0006]所述光学系统包括全景跟踪相机以及专业级特写摄像机；光学系统固定于稳定平台系统上；光学系统用于在大范围全景中捕获和跟踪要拍摄的目标，并拍摄较远目标的特写画面。
[0007]所述稳定平台系统包括二维稳定转台以及配合控制稳定平台的转台控制器模块；二维稳定转台用于负载所述光学系统；转台控制器模块用于驱动二维稳定平台进行旋转，以便光学系统完成跟踪拍摄的功能。
[0008]所述显控系统包括：图像采集卡、软件控制系统和显示系统。
[0009]所述图像采集卡用于采集全景跟踪相机和专业级特写摄像机的实时图像数据。
[0010]所述软件控制系统用于处理图像采集卡所采集的实时图像数据，并实现目标检测、目标跟踪、实时视频流智能切换功能。
[0011]所述软件控制系统包括用于搭载上位机程序的中央控制单元、实现目标检测跟踪的视频跟踪器模块和电源模块。
[0012]所述软件控制系统通过中央控制单元发送指令，实现系统电源开关、目标手动与自动检测转换、特写摄像机镜头焦距和光圈的调节、稳定平台二维转向、图像处理、目标跟踪、路径规划拍摄、图像显示和画面录制；所述图像处理包括对全景跟踪相机和专业级特写摄像机画面的显示参数调节和参数字符嵌入；所述路径规划拍摄是指在全局跟踪画面中预设N个像素点形成一条轨迹，使得二维稳定平台依照该轨迹进行循迹拍摄；所述目标跟踪是指通过中央控制单元在全景跟踪相机画面中划定检测区域，通过按钮进行手动目标选择模式和自动目标检测模式的转换，采用目标检测跟踪方法可以进行目标检测、跟踪，可使稳定平台跟随目标转动，保持目标一直呈现在专业级特写摄像机的特写画面中，随后，对特写画面中目标采用自适应检测跟踪算法进行二次检测跟踪，微调跟踪目标在特写画面中的位置和特写摄像机的焦距、光圈，可以使目标处于画面的最佳位置。
[0013]所述显示系统用于显示全景跟踪相机以及较远目标的特写画面，同时也用于显示二维稳定转台和光学系统的信息。
[0014]所述光学系统与显控系统中的视频跟踪器模块进行连接，稳定平台系统与显控系统进行连接。
[0015]本专利技术公开的一种针对远距离高速运动目标的智能跟踪拍摄转播系统，包括光学系统、稳定平台系统和显控系统；还包括一个光学系统和稳定平台系统，称为二级采集系统；所述二级采集系统采集到的图像经过图像采集卡，经软件控制系统进行图像处理，同样采用目标检测跟踪方法对目标进行检测跟踪；对特写画面中目标采用自适应检测跟踪算法进行二次检测跟踪，微调跟踪目标在特写画面中的位置和特写摄像机的焦距、光圈，使目标处于画面的最佳位置；通过实时视频流智能切换方法对多路视频流进行评价、自动切换，通过显示系统实时输出观感较好的视频画面。
[0016]通过实时视频流智能切换方法对多路视频流进行评价、自动切换，实现步骤如下：
[0017]实时视频流智能切换方法步骤一、构建数据库，所述数据库由LIVE数据库和新采集到的高清视频，以及视频对应的视频平均主观值构成；对数据库中的视频进行分类，分类准则为将平均主观值在区间的视频记为类型VT
j
，j＝0，1，2，
…
，N；从数据库中随机抽取样本组建实验样本集；
[0018]实时视频流智能切换方法步骤二、构建深度卷积神经网络模型，所述深度卷积神经网络模型包括预分类网络和视频平均主观值回归预测网络；所述预分类网络用于预测视频类型VT
j
，即预测视频平均主观值所处的分值区间；所述视频平均主观值回归预测网络用于预测视频平均主观值y；
[0019]实时视频流智能切换方法步骤三、训练深度卷积神经网络模型，初始化后，将步骤一的实验样本集输入步骤二中构建的深度卷积神经网络模型进行训练；采用随机梯度下降法对步骤二中构建的深度卷积神经网络模型进行迭代优化，每次迭代之后，计算深度卷积网络的损失函数和梯度，对深度卷积神经网络的权重和偏置项进行优化，以寻求本次训练
最优的深度卷积神经网络模型；
[0020]实时视频流智能切换方法步骤四、实时切换视频流信号，判断多路视频中是否包含所跟踪目标，当视频中包含跟踪目标且跟踪目标的可视面积大于设定阈值d时，将该视频输入步骤三训练好的回归预测网络，对多路视频信号的数据进行视频可视质量实时预测，选择可视质量最高的视频流ID，并将该视频流信号输出到显示系统的屏幕中。
[0021]实时视频流智能切换方法步骤二的实现方式如下，
[0022]构建深度卷积神经网络模型，首先构建预分类网络，所述预分类网络用于对输入视频对应的类型VT
j
进行预测，所述预分类网络包括若干个3D卷积层、3D最大池化层、全连接层和一个N分类的输出层，经过softmax函数计算后得出分类结果，即视频类型VT
j
，损失函数使用交叉熵函数，交叉熵L计算如下：
[0023][0024]其中y表示平均主观值，表示预测分；
[0025本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对远距离高速运动目标的智能跟踪拍摄系统，其特征在于：包括光学系统、稳定平台系统和显控系统；所述光学系统包括全景跟踪相机以及专业级特写摄像机；光学系统固定于稳定平台系统上；光学系统用于在大范围全景中捕获和跟踪要拍摄的目标，并拍摄较远目标的特写画面；所述稳定平台系统包括二维稳定转台以及配合控制稳定平台的转台控制器模块；二维稳定转台用于负载所述光学系统；转台控制器模块用于驱动二维稳定平台进行旋转，以便光学系统完成跟踪拍摄的功能；所述显控系统包括：图像采集卡、软件控制系统和显示系统；所述图像采集卡用于采集全景跟踪相机和专业级特写摄像机的实时图像数据；所述软件控制系统用于处理图像采集卡所采集的实时图像数据，并实现目标检测、目标跟踪、实时视频流智能切换功能；所述软件控制系统包括用于搭载上位机程序的中央控制单元、实现目标检测跟踪的视频跟踪器模块和电源模块；所述软件控制系统通过中央控制单元发送指令，实现系统电源开关、目标手动与自动检测转换、特写摄像机镜头焦距和光圈的调节、稳定平台二维转向、图像处理、目标跟踪、路径规划拍摄、图像显示和画面录制；所述图像处理包括对全景跟踪相机和专业级特写摄像机画面的显示参数调节和参数字符嵌入；所述路径规划拍摄是指在全局跟踪画面中预设N个像素点形成一条轨迹，使得二维稳定平台依照该轨迹进行循迹拍摄；所述目标跟踪是指通过中央控制单元在全景跟踪相机画面中划定检测区域，通过按钮进行手动目标选择模式和自动目标检测模式的转换，采用目标检测跟踪方法进行目标检测、跟踪，可使稳定平台跟随目标转动，保持目标一直呈现在专业级特写摄像机的特写画面中，随后，对特写画面中目标采用自适应检测跟踪算法进行二次检测跟踪，微调跟踪目标在特写画面中的位置和特写摄像机的焦距、光圈，可以使目标处于画面的最佳位置；所述显示系统用于显示全景跟踪相机以及较远目标的特写画面，同时也用于显示二维稳定转台和光学系统的信息；所述光学系统与显控系统中的视频跟踪器模块进行连接，稳定平台系统与显控系统进行连接。2.如权利要求1所述的一种针对远距离高速运动目标的智能跟踪拍摄系统，其特征在于：还包括一个光学系统和稳定平台系统，称为二级采集系统；所述二级采集系统采集到的图像经过图像采集卡，经软件控制系统进行图像处理，同样采用目标检测跟踪方法对目标进行检测跟踪，随后，对特写画面中目标采用自适应检测跟踪算法进行二次检测跟踪，微调跟踪目标在特写画面中的位置和特写摄像机的焦距、光圈，使目标处于画面的最佳位置；通过实时视频流智能切换方法对多路视频流进行评价、自动切换，通过显示系统实时输出观感较好的视频画面。3.如权利要求2所述一种针对远距离高速运动目标的智能跟踪拍摄系统，其特征在于：所述实时视频流智能切换方法能够对多路视频流进行评价、自动切换，步骤如下：实时视频流智能切换方法步骤一、构建数据库，所述数据库由LIVE数据库和新采集到的高清视频，以及视频对应的视频平均主观值构成；对数据库中的视频进行分类，分类准则
为将平均主观值在区间的视频记为类型VT
j
，j＝0，1，2，
…
，N；从数据库中随机抽取样本组建实验样本集；实时视频流智能切换方法步骤二、构建深度卷积神经网络模型，所述深度卷积神经网络模型包括预分类网络和视频平均主观值回归预测网络；所述预分类网络用于预测视频类型VT
j
，即预测视频平均主观值所处的分值区间；所述视频平均主观值回归预测网络用于预测视频平均主观值y；实时视频流智能切换方法步骤三、训练深度卷积神经网络模型，初始化后，将步骤一的实验样本集输入步骤二中构建的深度卷积神经网络模型进行训练；采用随机梯度下降法对步骤二中构建的深度卷积神经网络模型进行迭代优化，每次迭代之后，计算深度卷积网络的损失函数和梯度，对深度卷积神经网络的权重和偏置项进行优化，以寻求本次训练最优的深度卷积神经网络模型；实时视频流智能切换方法步骤四、实时切换视频流信号，判断多路视频中是否包含所跟踪目标，当视频中包含跟踪目标且跟踪目标的可视面积大于设定阈值d时，将该视频输入步骤三训练好的回归预测网络，对多路视频信号的数据进行视频可视质量实时预测，选择可视质量最高的视频流ID，并将该视频流信号输出到显示系统的屏幕中。4.如权利要求3所述一种针对远距离高速运动目标的智能跟踪拍摄系统，其特征在于：实时视频流智能切换方法步骤二的具体实现方式如下，构建深度卷积神经网络模型，首先构建预分...

【专利技术属性】
技术研发人员：董立泉，赵祺森，杨焘，赵跃进，褚旭红，刘明，孔令琴，刘宗达，惠梅，
申请(专利权)人：北京理工大学长三角研究院嘉兴，
类型：发明
国别省市：