一种基于雷达扫描变量的水上多目标视频影像坐标估计方法技术

本发明专利技术公开了一种基于雷达扫描变量的水上多目标视频影像坐标估计方法。该方法通过ARPA系统和CCTV系统扫描水上单个参考目标，分别转化得到其在显示器上的待校准屏幕位置和实际屏幕位置；将这两个位置间的距离作为目标函数，利用遗传算法优化模型训练得到最优的参数集合，建立从ARPA目标向CCTV屏幕坐标的转化关系；最后将其用于水上多个目标下的视频影像坐标估计。本发明专利技术方法克服了各单一系统在面对水上多目标复杂环境下坐标估计的局限性，有效实现了雷达ARPA目标和CCTV识别船舶目标的融合。合。合。

【技术实现步骤摘要】
一种基于雷达扫描变量的水上多目标视频影像坐标估计方法


[0001]本专利技术涉及水上目标监测技术，特别是一种基于雷达扫描变量的水上多目标视频影像坐 标估计方法。

技术介绍

[0002]随着船舶保有量的不断提高，船舶安全问题的重要性愈加凸显。智能船舶已成为船舶行 业的发展趋势，用以改善船舶行驶的安全性。如何精准感知目标信息并在此基础上对多源目 标信息进行有效融合，已成为目前智能船舶发展需要解决的主要问题。ARPA雷达、CCTV 作为主动探测工具，是当前最为常用的水上感知、监管工具。
[0003]其中，ARPA雷达，在GPS、罗经等其他传感器的支持下，能自动捕捉并跟踪水上多个 目标，并推算目标的速度、航向、运动趋势，在标准应用场景下，可保证捕捉率优于80％。 同时在雷达显示输出上，以矢量形式显示目标船舶的航向和航速，以数据形式显示DCPA(预 计会遇距离)和TCPA(预计会遇时间)等重要的避碰数据。因此，ARPA的出现使得雷达在 船舶避碰应用中发挥了更大的作用，但缺点在于雷达的信息输出仍不够直观，和人的直观视 觉感受存在差异，需要较多的知识进行解读。CCTV系统，相较而言是更为直观的监视工具， 由遥控摄像机及其辅助设备组成，可安装于船上、沿岸较高建筑物上，用以对水面目标和沿 岸目标及港口的跟踪识别与实时图像获取。通过深度学习、卷积神经网络的引入，CCTV已 经可以模仿人眼，在连续视频中识别船舶等关键目标。然而，CCTV的成像机理决定了，捕 捉到目标的坐标、运动速度、方向是难以获得的。综上，ARPA雷达系统提供了丰富的数值 信息，却不够直观；CCTV提供了直观的视觉影像，却缺乏完整的数值依据。有必要将二者 的优点进行结合。如果CCTV捕获到的目标，可以与ARPA雷达目标实现自动匹配，将大幅 改善驾驶、监管人员的使用体验。
[0004]因此，为了实现这一目标，更好地适用于航行复杂环境下的多目标监视、避碰需求，发 明采用与常规单一利用ARPA系统或者CCTV系统不同的坐标估计方法。亦即通过ARPA系 统和CCTV系统分别扫描，并转化得到水上单个参考目标在显示器上的待校准屏幕位置和实 际屏幕位置，利用遗传算法优化模型训练得到最优参数集合，建立从ARPA目标向CCTV屏 幕坐标的转化关系，用于水上多目标的视频影像坐标估计。这种ARPA系统和CCTV系统的 联合监视方法，克服了各单一系统在面对水上多目标复杂环境下坐标估计的局限性，实现对 多目标船舶及其周边环境的精准识别，将大幅降低人在驾驶过程中的态势判断难度。

技术实现思路

[0005]针对现有技术中存在的问题，本专利技术提供了一种克服了各单一系统在面对水上多目标复 杂环境下坐标估计的局限性，实现对多目标船舶及其周边环境的精准识别，将大幅降低人在 驾驶过程中的态势判断难度的基于雷达扫描变量的水上多目标视频影像坐标估计方法。
[0006]本专利技术的目的通过以下技术方案实现。
[0007]一种基于雷达扫描变量的水上多目标视频影像坐标估计方法，步骤包括：
[0008]1)建立水上监测平台P，所述检测平台P包括雷达ARPA系统、闭路电视监控系统CCTV、 定位设备、艏向获取设备；
[0009]2)选定时刻，在雷达ARPA系统可覆盖范围内，将闭路电视监控系统CCTV唯一稳定地捕 获到的单个水上目标记为T，分别利用雷达ARPA系统、闭路电视监控系统CCTV同时对单 个水上目标T进行多次连续扫描和观测，获得单个水上目标T的扫描坐标和多帧画面；
[0010]3)将步骤2)中参考单个水上目标T的ARPA坐标的多次扫描坐标转化为经纬度，根据相机 的内外参数决定单个水上目标T在闭路电视监控系统CCTV中成像的待校准位置；
[0011]4)通过Faster
‑
RCNN、YoloV3算法，将步骤2)中k时刻CCTV系统获得的多帧画面，转化 为单个水上目标T在显示器上的实际屏幕位置，或采用手工标绘的方式实现该步骤；
[0012]5)将步骤3)和4)中获得的单个水上目标T在显示器上的待校准屏幕位置和实际屏幕位置 作为训练样本集合W，并把待校准屏幕位置和实际屏幕位置两点间的距离作为目标函数，构 建基于遗传算法的优化模型，获得最优参数集合；
[0013]6)通过步骤5)，建立从ARPA目标T
’
，向CCTV屏幕坐标的映射关系，雷达扫描和CCTV 可视的重叠范围中，都有不止一个目标，基于已经确定的映射关系，即可对水上m个目标{S1, S2,
…
,S
m
}在显示器中的坐标位置进行估计。
[0014]所述步骤1)中所述雷达ARPA系统的雷达扫描半径记为r，将雷达ARPA系统扫描水 上其他船舶目标，即ARPA目标相对于系统的角坐标记作(e,l)，所述闭路电视监控系统CCTV 用于获得水上目标的实时图像z，所述闭路电视监控系统CCTV摄像机的核心参数包括视域 角θ、输出图像视域宽度w像素和视域高度h像素，所述定位设备用于获取经纬度坐标。
[0015]所述步骤2)中雷达ARPA系统扫描到的目标与闭路电视监控系统CCTV捕获的目标， 具有唯一对应性，在k时刻由雷达ARPA系统多次扫描目标T，产生的唯一的ARPA目标的 扫描坐标为(e(k),l(k))，由闭路电视监控系统CCTV获得实时图像z的多帧画面为z(k)，雷达 扫描半径为r(k)，k为采样时刻，其中k＝1,2,
…
,K，K≥20。
[0016]所述步骤3)具体为：将步骤2)中参考单个水上目标T的ARPA坐标的多次扫描坐标(e(k),l(k))转化为经纬度，表示为(b(k),d(k))，b表示纬度，d表示经度；目标在相机成像里的 屏幕坐标和空间位置存在固定的对应关系，根据相机的内外参数决定单个水上目标T在闭路 电视监控系统CCTV中成像的待校准位置(x
‑
(k),y
‑
(k))。
[0017]所述采取如下方法求取目标T在CCTV系统中成像的待校准位置(x
‑
(k),y
‑
(k))： k时刻目标T的空间横坐标x
‑
(k)，即与摄像头的视线射线呈垂直关系，相对于摄像机成像的 横坐标是简单的线性映射关系，目标T的空间纵坐标y
‑
(k)，即与摄像头横的视线射线呈平行 关系，相对摄像机成像的纵坐标是上凸曲线关系，即距离越远纵向角度变化越慢、距离越近 变化越快，因此，可分别设计线性模型求取x
‑
(k)、Logistic模型求取y
‑
(k)：
[0018]x
‑
(k)＝(b(k)/θ)*w*Δx
ꢀꢀ
(la)
[0019][0020]其中，Δx，Δy，j是待定系数。
[0021]所述步骤2)中k时刻CCTV系统获得的多帧画面为z(k)，转化为单个水上目标T在显 示器上的实际屏幕位置为(x
+
(k)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于雷达扫描变量的水上多目标视频影像坐标估计方法，其特征在于步骤包括：1)建立水上监测平台P，所述检测平台P包括雷达ARPA系统、闭路电视监控系统CCTV、定位设备、艏向获取设备；2)选定时刻，在雷达ARPA系统可覆盖范围内，将闭路电视监控系统CCTV唯一稳定地捕获到的单个水上目标记为T，分别利用雷达ARPA系统、闭路电视监控系统CCTV同时对单个水上目标T进行多次连续扫描和观测，获得单个水上目标T的扫描坐标和多帧画面；3)将步骤2)中参考单个水上目标T的ARPA坐标的多次扫描坐标转化为经纬度，根据相机的内外参数决定单个水上目标T在闭路电视监控系统CCTV中成像的待校准位置；4)通过Faster
‑
RCNN、YoloV3算法，将步骤2)中k时刻CCTV系统获得的多帧画面，转化为单个水上目标T在显示器上的实际屏幕位置，或采用手工标绘的方式实现该步骤；5)将步骤3)和4)中获得的单个水上目标T在显示器上的待校准屏幕位置和实际屏幕位置作为训练样本集合W，并把待校准屏幕位置和实际屏幕位置两点间的距离作为目标函数，构建基于遗传算法的优化模型，获得最优参数集合；6)通过步骤5)，建立从ARPA目标T
’
，向CCTV屏幕坐标的映射关系，雷达扫描和CCTV可视的重叠范围中，都有不止一个目标，基于已经确定的映射关系，即可对水上m个目标{S1,S2,
…
,S
m
}在显示器中的坐标位置进行估计。2.根据权利要求1所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法，其特征在于所述步骤1)中所述雷达ARPA系统的雷达扫描半径记为r，将雷达ARPA系统扫描水上其他船舶目标，即ARPA目标相对于系统的角坐标记作(e,l)，所述闭路电视监控系统CCTV用于获得水上目标的实时图像z，所述闭路电视监控系统CCTV摄像机的核心参数包括视域角θ、输出图像视域宽度w像素和视域高度h像素，所述定位设备用于获取经纬度坐标。3.根据权利要求2所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法，其特征在于所述步骤2)中雷达ARPA系统扫描到的目标与闭路电视监控系统CCTV捕获的目标，具有唯一对应性，在k时刻由雷达ARPA系统多次扫描目标T，产生的唯一的ARPA目标的扫描坐标为(e(k),l(k))，由闭路电视监控系统CCTV获得实时图像z的多帧画面为z(k)，雷达扫描半径为r(k)，k为采样时刻，其中k＝1,2,
…
,K，K≥20。4.根据权利要求3所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法，其特征在于所述步骤3)具体为：将步骤2)中参考单个水上目标T的ARPA坐标的多次扫描坐标(e(k),l(k))转化为经纬度，表示为(b(k),d(k))，b表示纬度，d表示经度；目标在相机成像里的屏幕坐标和空间位置存在固定的对应关系，根据相机的内外参数决定单个水上目标T在闭路电视监控系统CCTV中成像的待校准位置(x
‑
(k),y
‑
(k))。5.根据权利要求4所述的一种基于雷达扫描变量的水上多目标视频影像坐标估计方法，其特征在于所述采取如下方法求取目标T在CCTV系统中成像的待校准位置(x
‑
(k),y
‑
(k))：k时刻目标T的空间横坐标x
‑
(k)，即与摄像头的视线射线呈垂直关系，相对于摄像机成像的横坐标是简单的线性映射关系，目标T的空间纵坐标y
‑
(k)，即与摄像头横的视线射线呈平行关系，相对摄像机成像的纵坐标是上凸曲线关系，即距离越远纵向角度变化越慢、距离越近变化越快，因此，可分别设计线性模型求取x
‑
(k)、Logistic模型求取y
‑
(k)：
x
‑
(k)＝b(k)/θ)*w*Δx...

【专利技术属性】
技术研发人员：孙杰，周国豪，张雪林，胡军，马枫，
申请(专利权)人：南京智慧水运科技有限公司，
类型：发明
国别省市：