一种证据链形式的船舶视频的生成及显示方法技术

本发明专利技术提供了一种证据链形式的船舶视频的生成及显示方法，利用监控摄像机的位置、高度及朝向等信息计算出摄像机的监控视场角范围，根据船舶目标船舶的AIS信息推算出船舶目标进入和驶离每一个摄像机监控范围的时间，依据计算出的时间点从每一个摄像机的监控录像中截取视频片段并按时间顺序排列起来形成证据链；在显示证据链视频时，首先检测出视频中的运动船舶目标并获取时间段内进入该摄像机监控范围内的所有船舶的AIS信息，然后将船舶的视频图像信息与AIS信息融合起来，显示船舶影像的同时，展示出每一个船舶的身份、航行状态和航行计划等AIS信息。

【技术实现步骤摘要】

本专利技术属于计算机视觉及信息融合
，具体涉及船舶监控系统中查询及取 证任务使用的。
技术介绍
船舶视频监控系统通常被集成在船舶交通管理系统（VesselTraffic Service，VTS)或电子巡航系统中，用于港区船舶航行的监控管理，以弥补雷达存在盲区、易 受电子干扰和无真实图像等不足，其重要性在整个VTS中正逐渐增强。目前，国内外部署的 VTS中，视频监控系统的各种应用操作大多采用人工手段，智能化水平较低。 对于船舶监控系统来说，调阅指定船舶的历史视频信息是一项基本的任务。然而， 从多个摄像机的长时间视频录像中找出包含指定船舶的所有信息无疑是非常费时费力的， 而且很容易出错。另外，找到指定船舶的一段视频后，自动识别出指定船舶目标和其他船 舶，对于观察船舶目标并分析船舶行为具有非常重要的意义。目前关于船舶视频监控系统的文献中，通常将CCTV系统与AIS系统进行互联互 通，以实现对船舶的智能监控管理。如文章《AIS，CCTV，VTS整合及功能拓展》（龚瑞卿，中国 水运，第10期，2005年，P42-43)介绍了一种CCTV与AIS整合联动的例子，当船舶有碰撞危 险或搁浅危险时，除自动报警外还可依据船舶的AIS信息控制CCTV自动调整到对此船舶的 最佳观测状态，以便可以更好地发现问题并及时解决；文章《基于AIS数据的智能船舶动态 视频监控系统设计》（周剑敏，王捷，上海海事大学学报，第4期，第30卷，2009年，p26-29) 介绍了一种利用AIS数据进行智能船舶动态视频监控的方法，根据AIS系统中获取的船舶 动态数据，设计自动监控决策控制模块，通过驱动摄像机阵列对待监控船舶队列进行智能 排序定位，实现对航行船舶的自动化智能视频跟踪。
技术实现思路
本专利技术的目的是：提供，从众多监 控摄像机的长时间视频录像中快速提取出包含指定船舶的多个视频片段，并将其按时间顺 序排列起来形成证据链。 本专利技术公开了，包括如下步骤： 步骤1 :计算监控摄像机的视场角范围：依据摄像机的成像模型和自身参数，计算 出摄像机的视场角范围，用于判断船舶目标能否进入摄像机的监控画面中； 步骤2 :推算船舶目标进入和驶离每一个摄像机监控范围的时间：根据船舶目标 历史AIS信息中的位置、时间信息以及摄像机的观测范围公式，判断出该船舶目标处于摄 像机的观测范围之内的时刻，进而计算出船舶目标进入和驶离监控范围的时间点； 步骤3 :截取视频片段并形成证据链：按照计算出来的船舶进入和驶离每一个摄 像机监控范围的时间点，从每一个摄像机的监控录像中截取包含该船舶目标的视频片段并 按时间顺序排列起来形成证据链； 步骤4 :检测视频画面中的运动船舶目标；提取一帧证据链视频图像，采用帧间差 法，通过将当前帧图像与上一帧图像相减来检测出图像中发生变化的区域，进而得到船舶 目标轮廓，实现船舶目标检测，得到船舶目标检测区域； 步骤5 :获取视频画面时刻进入摄像机监控范围内的船舶AIS信息：首先判断视频 画面来自哪一台摄像机，然后根据所有船舶的AIS信息序列及摄像机的观测范围公式，查 找视频画面时刻进入该摄像机观测范围内的所有船舶的AIS信息； 步骤6 :融合船舶图像信息与AIS信息，显示视频。 本专利技术步骤1中，通过以下摄像机观测范围公式判断船舶目标所处的空间点 P(H，z。）能否进入摄像机的监控画面中： 其中，W表示视频图像的宽度，Η表示视频图像的高度，f'x，f' ￥分别表示水平方 向和竖直方向上的像素焦距，u。，V。表示摄像机光轴投影点的像素坐标值，X。，y。，z。分别表示 目标点在摄像机坐标系下的坐标值。下标c表明是在摄像机坐标系下的坐标。 本专利技术步骤2包括： 步骤2-1 :获取指定船舶目标在各个时刻的AIS信息，并且按照时间先后顺序排列 为一个序列； 步骤2-2 :针对每一个摄像机，从AIS信息序列中找出第一个和最后一个满足相机 观测范围公式的时刻，最早满足公式的时刻即为船舶进入相机观测范围的时刻，最后满足 公式的时刻为船舶驶离观测范围的时刻；判断船舶位置是否处于摄像机观测范围之内的方 法为：将AIS信息中的船舶位置转换为摄像机坐标系下的坐标，再将其代入摄像机观测范 围公式中进行判断。 本专利技术步骤3通过推算船舶目标进入和驶离每一个摄像机监控范围的时间来截 取视频片段，并按时间顺序排列形成证据链，包括： 步骤3-1 :按照计算出来的船舶进入和驶离每一个摄像机监控范围的时间点，从 每一个摄像机的监控录像中截取包含该船舶目标的视频片段； 步骤3-2:以船舶进入摄像机观测范围的时刻为依据，将各个视频片段按时间先 后顺序排列起来形成证据链视频。 本专利技术步骤4包括： 步骤4-1 :将当前图像与上一帧图像相减，得到帧差图： Rt(i，j) = |lt(i，j)_Itl(i，j) |， 其中，It(i，j)表示t时刻的视频图像，ItJi，j)表示t-1时刻的视频图像，Rt(i，j) 表示t时刻的帧差图； 步骤4-2 :使用预设阈值对帧差图进行二值化操作，得到运动区域图： 其中，Wt(i，j)表示运动区域图，thres为二值化阈值； 步骤4-3:对区域图进行开运算，滤除虚假船舶目标； 步骤4-4:对区域图进行闭运算，填补船舶目标区域中的空隙和间隔； 步骤4-5:检测联通区域，得出船舶目标轮廓和外接矩形框，显示在视频画面上， 完成检测，得到船舶目标检测区域。 本专利技术步骤5包括： 步骤5-1 :计算当前视频画面所属的摄像机； 步骤5-2 :考察一个船舶目标，获取其各个时刻AIS信息所组成的序列； 步骤5-3 :从中找出视频画面时刻所对应的AIS信息； 步骤5-4 :利用该AIS信息中的船舶位置和摄像机观测范围公式，判断所述船舶目 标此刻是否进入摄像机观测范围内，如果在观测范围内，则将该AIS信息作为一项结果保 存起来，返回步骤5-2,直至考察完所有船舶。 本专利技术步骤6包括： 步骤6-1 :计算步骤4得到船舶目标检测区域的质心，得到船舶在图像上的位置点 集，即检测点集； 步骤6-2:从步骤5获取的船舶AIS信息中提取空间位置信息，形成船舶在空间中 的位置点集，即空间点集； 步骤6-3 :将船舶的空间位置投影至图像上得到投影点集； 步骤6-4:寻找检测点集与投影点集之间的最佳匹配点对：遍历匹配点对的所有 情况，由匹配点对之间的位置关系计算相应的平移变换参数，对所有的投影点进行平移变 换；计算所有检测点与最近投影点间距离的平均值作为衡量该平移变换准确与否的指标； 选择衡量指标最好的那个平移变换对所有投影点进行位置偏差补偿； 步骤6-5 :采用最近邻法完成匹配任务：对于每一个投影点，与其距离最近的检测 点为其匹配点；同时设置门限，当最小距离大于一定阈值时认为该投影点为局外野值；当 两个以上投影点对应同一个检测点时，判断舰船检测时出现船舶目标粘连现象，则这个检 测点为两个以上船舶目标联合区域的中心； 步骤6-6 :明确关联关系，得到每一个船舶检测区域所对应的AIS信息； 步骤6-7 :显示视频，在船舶检测框内展示出包括船舶的身份、航行状态和航行计 划的AIS信息。 本专利技术综合利用闭路电视监控系统（ClosedCircuitTelevision,CCTV)本文档来自技高网...

【技术保护点】
一种证据链形式的船舶视频的生成及显示方法，其特征在于，包括如下步骤：步骤1：计算监控摄像机的视场角范围：依据摄像机的成像模型和自身参数，计算出摄像机的视场角范围，用于判断船舶目标能否进入摄像机的监控画面中；步骤2：推算船舶目标进入和驶离每一个摄像机监控范围的时间：根据船舶目标历史AIS信息中的位置、时间信息以及摄像机的观测范围公式，判断出该船舶目标处于摄像机的观测范围之内的时刻，进而计算出船舶目标进入和驶离监控范围的时间点；步骤3：截取视频片段并形成证据链：按照计算出来的船舶进入和驶离每一个摄像机监控范围的时间点，从每一个摄像机的监控录像中截取包含该船舶目标的视频片段并按时间顺序排列起来形成证据链；步骤4：检测视频画面中的运动船舶目标；提取一帧证据链视频图像，采用帧间差法，通过将当前帧图像与上一帧图像相减来检测出图像中发生变化的区域，进而得到船舶目标轮廓，实现船舶目标检测，得到船舶目标检测区域；步骤5：获取视频画面时刻进入摄像机监控范围内的船舶AIS信息：首先判断视频画面来自哪一台摄像机，然后根据所有船舶的AIS信息序列及摄像机的观测范围公式，查找视频画面时刻进入该摄像机观测范围内的所有船舶的AIS信息；步骤6：融合船舶图像信息与AIS信息，显示视频。...

【技术特征摘要】

【专利技术属性】
技术研发人员：杨超，晏谢飞，张由余，钟原，蒋怡亮，孙大庆，王伟，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏;32