【技术实现步骤摘要】
一种利用视频图像识别船舶AIS是否开启的方法
本专利技术涉及一种利用视频图像识别船舶AIS是否开启的方法，属于海事监管
技术介绍
AIS(AutomaticidentificationSystem)又称船舶自动识别系统，船舶在航行时通过AIS的特定通信频段自动向周围发送并接受周围船舶的名称、位置、航速、航向等动静态信息，是船舶了解周边交通情况避免发生碰撞的关键设备，同时也是海事交管人员掌握辖区船舶交通情况，组织指挥船舶航行的主要参考依据。然而在实际情况中，船舶驾驶人员为了规避海事监管或者疏于设备维护，经常造成船舶在航行中AIS未开启的情况发生，给自身及围边船舶航行安全造成了极大的风险。目前，海事监管人员对船舶AIS开启状态只能在船舶靠泊时通过登船检查的方式或者通过AIS岸台、CCTV监控视频的人工比对方式进行核查。一方面现有核查手段只能发现AIS设备因为损坏长期无法开启的情况，无法及时发现船舶在航行中主动关闭AIS设备的情况，监管效率较低；另一方面，在船舶流量密集的航道，全部登船检查或者准确人工比对难度极大，严重影响执法效率，会对船舶航行安全造成巨大的隐患。尽管海事监管中已经应用了AIS岸台、CCTV监控视频等多种信息采集手段，但是缺少自动将AIS信息与CCTV视频图像进行关联比较并识别出船舶AIS是否开启的方法。
技术实现思路
为克服现有技术的缺陷，本方案的目的是利用AIS岸台采集的船舶动、静态信息与CCTV视频服务器采集的船舶图像信息，通过视频图像识别结合船舶AIS轨迹数据，...
【技术保护点】
1.一种通过融合船舶视频图像数据与船舶AIS位置数据识别船舶AIS是否开启的方法，其特征在于，包括以下步骤：/nS1、船舶视频图像识别步骤；/nS2、船舶AIS轨迹分析步骤；/nS3、船舶视频图像与船舶AIS轨迹融合步骤，判定未开启AIS的船舶。/n
【技术特征摘要】
1.一种通过融合船舶视频图像数据与船舶AIS位置数据识别船舶AIS是否开启的方法，其特征在于，包括以下步骤：
S1、船舶视频图像识别步骤；
S2、船舶AIS轨迹分析步骤；
S3、船舶视频图像与船舶AIS轨迹融合步骤，判定未开启AIS的船舶。
2.根据权利要求1所述的一种利用视频图像识别船舶AIS是否开启的方法，其特征在于，所述的步骤S1为：利用CCTV视频服务器，对船舶进行前景提取和多特征关联，生成已识别待匹配的视频船舶目标集合，每个视频船舶目标进入视场时间、离开视场时间、位置坐标集、船舶长度、船舶速度和航行方向六个特征向量。
3.根据权利要求1所述的一种利用视频图像识别船舶AIS是否开启的方法，其特征在于，所述的步骤S2为：利用船舶AIS报文位置信息，通过对位置信息的坐标转换、航迹插值得到待匹配的AIS船舶目标集合以及每个AIS船舶目标进入视场时间、离开视场时间、位置坐标集、船舶长度、船舶速度和航行方向六个特征向量。
4.根据权利要求1所述的一种利用视频图像识别船舶AIS是否开启的方法，其特征在于，所述的步骤S3为：融合步骤S1和步骤S2获得的待匹配的视频船舶目标集合与待匹配的AIS船舶目标集合，在相同的坐标体系之下，对步骤S1以及步骤S2船舶集合的六个特征向量进行匹配，最后得到匹配船舶集合与未匹配船舶集合，其中，视频船舶目标集合中属于未匹配集合中的就是未开启AIS的船舶。
5.根据权利要求2所述的一种利用视频图像识别船舶AIS是否开启的方法，其特征在于，所述的步骤S1具体为：利用ViBe运动检测算法检测视频图像背景，包括以下步骤，
步骤S1-1、背景建模：对每个位置的像素点N上有代表性的颜色值vi进行合成，即背景模型Mo(x,y)＝{v1,v2,…,vN}，通常设定N＝5；
步骤S1-2、摄像机模型建立：采用带有一阶径向畸变的针孔摄像机模型：
(1)对于世界坐标系Ow-XwYwZw及其对应的摄像机坐标系Oc-XcYcZc与图像坐标系Ou-xuyu，世界坐标系下空间中任意一点P(Xw，Yw，Zw)，Pc(xc，yc)是其相应的摄像机坐标点，Pu(xu，yu)是其相应的理想图像坐标点，即针孔成像坐标，Pd(xd，yd)为畸变点图像坐标，只考虑摄像机的一阶径向畸变，无论畸变程度多少，从图像中心点Oc到图像畸变点Pd的向量OuPd的方向保持不变，而且与世界空间坐标系中心点Poz到P的向量PozP平行；由该条件可得：
其中，摄像机的等效焦距f对图像的x轴和y轴产生同样的作用，即对畸变点xd和yd的影响相同，所以焦距的大小不影响向量OuPd的方向；世界坐标系原点的定义位置与向量OuPd的方向无关；
步骤S1-3、标定摄像机参数：全部的摄像机参数，包括摄像机有效焦距f、平移矩阵T、旋转矩阵以及一阶畸变系数k，该摄像机参数标定的方法先用线性方法进行线性部分的求解，计算出摄像机旋转矩阵R参数的初始值，然后对包括摄像机有效焦距f、平移矩阵T、以及一阶畸变系数k进行非线性优化；
步骤1-3-1、线性部分的求解：
根据世界坐标和摄像机坐标之间的转化关系，设Zw＝0，则有：
其中，tx、ty为平移参数，对于将(2)两侧同时除以ty并整理可以得到：
上式中，令a1＝r1/ty，a2＝r2/ty，a3＝r3/ty，a4＝r4/ty，a5＝r5/Ty，则上式有五个未知数，对于每一个参考点通过上式得到一个方程，当有超过五个参考点时，采用最小二乘法得到上面五个未知数的解；定义一个矩阵如果该矩阵满秩矩阵，则有
否则的话，有
其中，而ai，aj是剩余不为零的两个参数，有：r1＝a1tyr2＝a2tyr4＝a4tyr5＝a5tytx＝a3ty，根据所得外参数r1，r2，r4，r5，tx的值和已知世界坐标和图像坐标的对应点，估算出该点在摄像机坐标系下的坐标(Xc，Yc)；由于旋转矩阵R具有单位正交性质，则其余外参数计算方法如下：
则有：
r7＝r2r6-r3r5r8＝r3r4-r1r6r9＝r1r5-r2r4；
步骤1-3-2、非线性部分的求解：
基于上述计算的参数，根据一阶径向畸变摄像机模型得到如下计算公式：
先设定畸变系数为零，整理上式得到：
其中，F＝r4Xw+r5Yw+ty，G＝r7Xw+r8Yw，选取数个标定点，则上式形成一个超定线性方程组，利用线性最小二乘法求出f和tz，然后将求出的f、tz以及k1＝0作为初始值进一步进行非线性优化计算出f、tz以及k1的真实值；上述标定方法中主点坐标被认为是图像中心点坐标，图像的纵横比sx＝1；利用同一摄像机不同焦距拍摄同一场景得到主点坐标；计算如下：
其中，(u1,v1)和(u2,v2)分别为焦距1和焦距2下的同一个特征点的坐标，选择多的特征点及可求出主点(cx,cy)的坐标；由于摄像机焦距在图像x方向和y方向同时缩放，所以垂直拍摄一个规则物体分别计算图像水平和垂直方向上的像素直径比就可以计算图像的横纵比sx；
利用张正友模板标定法得到主点坐标和横纵比，通过以上步骤，求出摄像机的全部参数，然后导入5个以上图像位置像素坐标点及其在北京54坐标系下对应时刻的船舶AIS坐标点，就可以获得摄像机投影矩阵的全部参数，即摄像机有效焦距f、平移矩阵T、旋转矩阵R以及一阶畸变系数k，根据该投影矩阵，将摄像机图像坐标下的船舶目标的轨迹位置特征值进行转换。
步骤1-4、前景物体分割：
将当前像素值vt(x)与相应背景模型中的每个像素值进行比较，如果最少有1个像素值与当前像素值的距离小于给定阈值γ，其中，γ＝10，那么当前像素点被判断为背景，反之判断为像素值波动；
步骤1-5、背景模型更新：
如果一个像素点被判断为背景，则该像素点随机地替代自己背景模型中的一个像素值；
步骤1-6、前景去噪：该前景去噪包括腐蚀运算和膨胀运算的步骤：
所述的腐蚀运算的步骤包括：
E(f(x,y))＝{min(f(xi,yi)|(xi,yi)∈f(x,y)∩B}(10)
选择算子覆盖下的二值图像的最小像素值作为中心像素的大小，腐蚀运算在该处的作用是去除小面积噪声，B为结构算子，即参与计算的临近像素集；
所述的膨胀运算的步骤包括：
D(f(x,y))＝{max(f(xi,yi)|(xi,yi)∈f(x,y)∩B}(11)
选择算子覆盖下的二值图像的最大像素值作为中心像素的大小，膨胀运算在该处的作用是填补前景区域内小的空缺，B为结构算子，即参与计算的临近像素集。
6.根据权利要求3所述的一种利用视频图像识别船舶AIS是否开启的方法，其特征在于，所述的步骤S2具体为分离目标的合并和多轨迹关联：
步骤2-1、分离目标的合并：
在无遮挡情况下，每一个视频帧检测出的船舶目标相邻，通过聚类方法实现轨迹的连通，具体如下：连通域是由一个最小外接矩形来标记的，矩形框的表示方法为：
[xywidthheight](12)
x,y表示的是矩形框的左上角的坐标，横轴x，纵轴y，width表示矩形框的宽度，即横轴长，height表示矩形框的高度，即纵轴长；
当两个矩形框满足公式(13)、(14)的条件时，默认这其中的两个前景块是属于同一个目标的将它们合并成一个大的矩形框；
|xi-xj|＜＝max(widthi,widthj)+width_threshold(13)
|yi-yj|＜＝max(heighti,heightj)+height_threshold(14)
对于合并后的框[XYwidthi,jheighti,j]，如果满足公式(15)、(16)对大小限制、公式(17)、(18)对景深限制、公式(19)对比例限制、公式(11)对有效前景比例中的某任一种限制，则取消合并：
步骤2-1-1、满足大小限制：
合并后的框在高度上不会超过图像高度的五分之二，在宽度上也不会超过图像宽度的五分之一，同时，面积也不会超过两万像素，默认标准图像帧大小归一化为288*352像素，具体是：
heighti,j＞(frame_height)/2.5(15)
widthi,j＞(frame_width)/5(16)
其中，[frame_widthframe_height]微视频图像的宽度和高度；
步骤2-1-2、满足景深限制：
合并后的位置如果在图像的偏上部分，即处于远景范围内，此时如果面积过大，在真实场景中可能是水面经过带来的暂时性大面积前景或者是前景检测失效，显然不是船舶目标，具体是：
widthi,j*heighti,j＞20000(17)
Y＜200&widthi,j*heighti,j＞15000(18)
步骤2-1-3、满足比例限制：
由于船的形状有固定特点，船舶目标的长宽比在预估范围内，经验值是高宽比不会大于6或者小于1，具体是：
heighti,j/widthi,j＞6orheighti,j/widthi,j＜1(19)
步骤2-2、多轨迹关联：
对于合并目标形成的轨迹，如果中间出现遮挡或者丢失检测，那么重新出现的目标被认为是新的目标轨迹，造成轨迹完整性缺失，结合目标的内、外部的纹理特征、颜色特征、外部特征进行多轨迹关联：
步骤2-2-1、计算纹理特征LBP：
(1)找到前景图的各个连通域后，按照最小外接矩形的...
【专利技术属性】
技术研发人员：张敖木翰，田璐，岳雷，张子晗，曹剑东，张翼，杨艳芳，刘娜，
申请(专利权)人：交通运输部科学研究院，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。