一种摄像机平滑联动跟踪船舶方法技术

本发明专利技术提供了一种摄像机平滑联动跟踪船舶方法，实现利用孪生神经网络对连续视频画面中的船舶目标检测、跟踪，获取船舶目标检测跟踪结果相对于图像位置，通过云台控制协议(PELCO

【技术实现步骤摘要】
一种摄像机平滑联动跟踪船舶方法


[0001]本专利技术涉及图像目标跟踪
，尤其涉及一种摄像机平滑联动跟踪船舶方法。

技术介绍

[0002]近年来，海事大力开展信息化建设，CCTV建设成本低、使用方便，对提高航行安全、船舶动态监管、减少水上环境污染、预防交通事故发生，有至关重要作用。船舶视频联动跟踪是值班过程中常用的功能，能够帮助值班人员快速定位到要观测的船舶，为值班人员提供直观、丰富的船舶情报信息。
[0003]目前，传统的船舶联动跟踪的做法是通过船舶的AIS传感器、雷达传感器感知的船舶经纬度进行联动跟踪，跟踪效果好坏取决于AIS、雷达感知船舶位置更新频率、精度、摄像机地理位置测量精度、AIS和雷达融合状态等条件，跟踪只能被动接收船舶信息数据后调整云台方位信息，不能通过视频主动检测到船舶，并且跟踪的过程中存在视频不平滑、有明显的顿挫感、摄像机角度调整不及时等情况。因此，亟待研究从视频中主动发现船舶并改善船舶跟踪过程中平滑效果和提升时效性的跟踪方法。

技术实现思路

[0004]专利技术目的：本专利技术针对现有船舶目标视频跟踪效果依靠AIS、雷达传感器感知的船舶位置进行视频联动跟踪过程中出现的云台转动不平滑、云台转动不及时等问题，提供了基于孪生神经网络的船舶平滑联动跟踪方法。本专利技术具体包括船舶模型数据训练、生成特有的船舶数据集，采集摄像机参数；在视频图像中手动框定要跟踪的船舶目标，实时检测、跟踪视频中的船舶目标并获取船舶在图像中的像素位置，获取摄像机水平、俯仰视场角，计算得到云台、镜头转动速度；控制摄像机云台、镜头持续稳定跟踪船舶。本专利技术利用孪生神经网络能够持续稳定检测、跟踪视频中的船舶，通过每一帧图像检测、跟踪的结果控制摄像机云台、镜头的转动，能够有效提升跟踪过程的平滑效果、时效性。
[0005]本专利技术支持可见光、红外、热成像等视频源。本专利技术需要获取摄像机视场角参数、云台转速等参数，并且云台转速精度在0.01
°
，否则会影响平滑跟踪效果。
[0006]技术方案：
[0007]本专利技术提供一种摄像机平滑联动跟踪船舶方法，包括以下步骤：
[0008]步骤1，采集摄像机不同焦距、方位、天气、光照状态下的船舶视频，从视频中自动截取图片，标注图片中的船舶，通过孪生神经网络训练生成船舶特征的数据结果集；
[0009]步骤2，采集摄像机镜头、云台固定参数；
[0010]步骤3，获取摄像机视频，在图像中手动框选跟踪船舶，利用孪生神经网络对跟踪船舶和接下来的视频帧中的船舶进行匹配，获取跟踪船舶像素坐标位置；
[0011]步骤4，根据每一帧图像检测跟踪后的跟踪船舶像素坐标位置、摄像机云台方位和镜头参数，计算云台转动的方位方向、云台转速时长，控制云台持续平滑转动跟踪船舶；
[0012]步骤5，根据跟踪船舶像素坐标位置在图像中比例控制镜头放大、缩小，使船舶在图像中处于1/3到1/2的显示比例。
[0013]所述步骤1包括：
[0014]步骤1
‑
1，获取摄像机视频，并保存为视频文件，所述摄像机视频包含可见光、热成像视频，从视频文件中读取关键帧(I帧)，并将视频I帧保存为图片，图片大小缩放为512*512大小；
[0015]步骤1
‑
2，对图片数据进行清洗、分类、归一化处理，人工剔除图片中不显示船舶、船舶密度高遮挡严重的图片，并且将船舶图片按照图片光照强度、船舶类型进行分类，人工标注图片中的船舶，对于岸边的船舶、遮挡严重船舶不标注、会遇船舶只标注未被遮挡的船舶；
[0016]步骤1
‑
3，建立Alexnet为主干的孪生神经网络，对标注的图片进行训练，生成船舶特征的数据结果集，所述孪生神经网络包含5个卷积层和3个全连接层，其中5个卷积层中的第1、3、5个卷积层包含池化层，3个全连接层中的第1、2个全连接层引入丢弃层，避免模型过拟合，第3个全连接层为输出层。
[0017]所述步骤2包括：采集摄像机焦距范围、云台转动精度、云台转速范围、镜头电荷耦合元件(CCD)靶面长宽信息；
[0018]所述步骤3包括：
[0019]步骤3
‑
1，通过RTSP(实时流传输协议)获取摄像机视频，使用ffmpeg将视频解码成一帧图像显示在界面上；
[0020]步骤3
‑
2，加载步骤1
‑
3中的船舶特征模型数据，在图像中手动框选跟踪的船舶，将框选后的图像和接下来的每一帧送入到孪生神经网络提取特征，在目标特征空间通过损失函数进行相似度匹配，如果匹配成功，将框选的图像特征和搜索图像帧的特征数据送入到候选区域网络预测出目标的识别矩形框，得到跟踪船舶的像素坐标比例，根据图像长宽得到跟踪船舶的像素矩形位置，如果匹配不成功则执行步骤4
‑
3；
[0021]所述步骤4包括：
[0022]步骤4
‑
1，如果摄像机云台在转动状态，应停止云台转动，得到步骤2中的摄像机焦距范围、CCD靶面长宽信息和步骤3中的跟踪船舶的像素矩形位置；
[0023]步骤4
‑
2，获取当前摄像机倍数，通过摄像机焦距、变倍倍数、CCD靶面长宽获取摄像机水平视场角、俯仰视场角；
[0024]水平视场角θ1公式为：
[0025]θ1＝2
×
arctan(w/(2f*z))，
[0026]其中w为摄像机CCD宽，f为摄像机最小焦距，z为摄像机当前的变倍倍数；
[0027]俯仰视场角公式为：
[0028]θ2＝2
×
arctan(h/(2f*z))，
[0029]其中h为摄像机CCD高，f为摄像机最小焦距，z为摄像机当前的变倍倍数；
[0030]得到船舶中心点相对于视频中心点的水平、俯仰偏移角度，根据云台转速计算得到移动船舶中心点到视频图像中心位置的时间，通过云台控制协议控制云台上、下、左、右转动，延时相应的时间后停止云台转动，延时时间应小于83毫秒；摄像机水平转动持续时间t1公式为：
[0031][0032]其中abs是绝对值函数，w1为视频图像分辨率的长度，x1为检测的船舶目标位于相对于视频左上角的水平坐标像素点，s1为摄像机当前焦距状态下的云台的水平转速；
[0033]云台垂直转动持续时间t2公式为：
[0034][0035]其中h1为视频图像分辨率的宽度，y1为检测的船舶目标位于相对于视频左上角的垂直坐标像素点，s2为摄像机当前焦距状态下的云台的垂直转速；
[0036]步骤4
‑
3，保存第一次检测成功时摄像机水平方位v1、俯仰方位p1、时间t1(毫秒)和最近一次检测成功时摄像机水平方位v
n
、俯仰方位p
n
，时间t
n
(毫秒)，如果孪生网络检测跟踪船舶失败时，应该由云台历史运行轨迹进行预推，计算公式为：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种摄像机平滑联动跟踪船舶方法，其特征在于，包括以下步骤：步骤1，采集摄像机不同焦距、方位、天气、光照状态下的船舶视频，从视频中自动截取图片，标注图片中的船舶，通过孪生神经网络训练生成船舶特征的数据结果集；步骤2，采集摄像机镜头、云台固定参数；步骤3，获取摄像机视频，在图像中手动框选跟踪船舶，利用孪生神经网络对跟踪船舶和接下来的视频帧中的船舶进行匹配，获取跟踪船舶像素坐标位置；步骤4，根据每一帧图像检测跟踪后的跟踪船舶像素坐标位置、摄像机云台方位和镜头参数，计算云台转动的方位方向、云台转速时长，控制云台持续平滑转动跟踪船舶；步骤5，根据跟踪船舶像素坐标位置在图像中比例控制镜头放大、缩小，使船舶在图像中处于1/3到1/2的显示比例。2.根据权利要求1所述的方法，其特征在于，步骤1包括：步骤1
‑
1，获取摄像机视频，并保存为视频文件，所述摄像机视频包含可见光、热成像视频，从视频文件中读取关键帧I帧，并将关键帧I帧保存为图片，图片大小缩放为512*512大小；步骤1
‑
2，对图片数据进行清洗、分类、归一化处理，剔除图片中不显示船舶、船舶密度高遮挡严重的图片，并且将船舶图片按照图片光照强度、船舶类型进行分类，标注图片中的船舶，对于岸边的船舶、遮挡严重船舶不标注、会遇船舶只标注未被遮挡的船舶；步骤1
‑
3，建立Alexnet为主干的孪生神经网络，对标注的图片进行训练，生成船舶特征的数据结果集，所述孪生神经网络包含5个卷积层和3个全连接层，其中5个卷积层中的第1、3、5个卷积层包含池化层，3个全连接层中的第1、2个全连接层引入丢弃层，避免模型过拟合，第3个全连接层为输出层。3.根据权利要求2所述的方法，其特征在于，步骤2包括：采集摄像机焦距范围、云台转动精度、云台转速范围、镜头电荷耦合元件CCD靶面长宽信息。4.根据权利要求3所述的方法，其特征在于，步骤3包括：步骤3
‑
1，通过实时流传输协议RTSP获取摄像机视频，使用ffmpeg将视频解码成一帧图像显示在界面上；步骤3
‑
2，加载步骤1
‑
3中的船舶特征模型数据，在图像中框选跟踪船舶，将框选后的图像和接下来的每一帧送入到孪生神经网络提取特征，在目标特征空间通过损失函数进行相似度匹配，如果匹配成功，将框选的图像特征和搜索图像帧的特征数据送入到候选区域网络预测出目标的识别矩形框，得到跟踪船舶的像素坐标比例，根据图像长宽得到跟踪船舶的像素矩形位置，如果匹配不成功则执行步骤4
‑
3。5.根据权利要求4所述的方法，其特征在于，步骤4包括：步骤4
‑
1，如果摄像机云...

【专利技术属性】
技术研发人员：朱德理，白正，隋远，
申请(专利权)人：南京莱斯网信技术研究院有限公司，
类型：发明
国别省市：