一种船舶船牌识别方法及系统技术方案

本发明专利技术公开了一种船舶船牌识别方法及系统，该方法包括下述步骤：测量定焦广角摄像头安装位置的海拔高度，获取变焦跟踪摄像头的初始PTZ值，构建船舶类型、船牌训练集并训练得到船舶类型识别模型和船牌检测模型，根据船舶类型识别模型识别船舶在定焦广角摄像头画面中的位置，计算船舶的移动速度，计算船头目标局部位置坐标，计算变焦跟踪摄像头画面居中并把目标放大至占整个画面所需的PTZ值，根据PTZ值控制变焦跟踪摄像头转动并采集图片，根据船牌检测模型检测船牌在图片中的矩形区域并抠取该区域图像，识别图像文字信息，得出文本文字。本发明专利技术通过定焦广角摄像头测出目标的移动速度，并通过引导变焦跟踪摄像头放大目标的局部使之能获取到移动中船舶上的细小船牌的高像素图像并识别出文字，提高了船牌识别率。提高了船牌识别率。提高了船牌识别率。

【技术实现步骤摘要】
一种船舶船牌识别方法及系统


[0001]本专利技术涉及船舶识别
，具体涉及一种船舶船牌识别方法及系统。

技术介绍

[0002]目前，图像分析、深度学习等人工智能相关技术在车牌识别、自动驾驶等陆路智能交通系统中已经取得了许多重要进展，然而，相关技术在水路智能交通领域的应用仍然缺乏。例如，船舶船牌和车牌最大的不同在于，船牌可能在船体的任意位置，并且字体大小颜色形状等各不相同，同时船牌排列的方式也存在横体，竖体甚至弧形等各种情况，采用传统的图像处理算法只能针对特定的某一两种有一些效果，无法通用化，识别效果和准确率较低；
[0003]现有许多方案都在着力于解决船舶身份认证问题，主要基于图像或视频进行船舶检测和字符定位分类和识别，然而，考虑到航道复杂的环境，较远的识别距离和不同时段、不同天气下不同类型船舶的船牌位置、字体大小、排列方式等不确定因素，极少技术能够解决船舶船牌识别的难题。例如，由于航道特别是港口航道往往探测距离较远，普通的摄像头只能捕捉到船舶的粗略轮廓，裁剪出来的船舶图片分辨率不足，难以对船舶船牌进行有效识别。

技术实现思路

[0004]为了克服现有技术存在的缺陷与不足，本专利技术提供一种船舶船牌识别方法及系统，本专利技术通过定焦广角摄像头测出目标的移动速度，并通过引导变焦跟踪摄像头放大目标的局部使之能获取到移动中船舶上的细小船牌的高像素图像并识别出文字，解决了现有技术获取船舶图片和船牌图片分辨率不足的技术问题，提高船牌识别率。
[0005]为了达到上述目的，本专利技术采用以下技术方案：
[0006]本专利技术提供一种船舶船牌识别方法，包括下述步骤：
[0007]布设定焦广角摄像头和变焦跟踪摄像头，测量得到定焦广角摄像头安装位置的海拔高度，并获取变焦跟踪摄像头的初始PTZ值；
[0008]基于定焦广角摄像头和变焦跟踪摄像头采集船舶目标与船牌图片，在船舶目标与船牌图片框出船舶、船牌所在位置，并添加类型标签，得到船舶类型训练集和船牌训练集；
[0009]将添加类型标签后的船舶类型训练集、船牌训练集输入YOLOv4网络并进行训练，得到训练后的船舶类型识别模型和船牌检测模型；
[0010]将定焦广角摄像头获取视频流的每一帧图像输入训练后的船舶类型识别模型，识别出画面中是否存在船舶，以矩形框出识别出画面存在船舶的位置，并保存该船舶类型和置信度，当检测到新的船舶目标进入定焦广角摄像头监视范围，获取图像中该船舶目标在定焦广角摄像头画面中的位置，保存该船舶目标的类型和发现的时间；
[0011]基于船舶目标在定焦广角摄像头画面中的位置，根据船舶测速算法计算船舶的移动速度；
[0012]计算出船舶目标行进方向，获取检测到的船舶目标在画面中的坐标位置和画面中的长、高数据，计算以目标识别框高为边长的矩形框内的船头目标局部位置坐标；
[0013]获取计算出的画面局部位置坐标为目标，计算变焦跟踪摄像头画面居中并把目标放大至占整个画面所需的PTZ值；
[0014]根据更新后的PTZ值控制变焦跟踪摄像头转动，获取多张将船舶目标局部显示在画面中心且占整个画面的图片，采用船牌检测模型检测获取到的图片，若检测到具有船牌的图片，则获取船牌在图片中的矩形区域并抠取该区域图像，识别图像文字信息，得出文本文字。
[0015]作为优选的技术方案，还包括摄像头调整步骤，以摄像头部署所在位置的摄像头画面中的固定景物作为参考点，通过参考点调整并匹配定焦广角摄像头和变焦跟踪摄像头初始画面视场达到一致。
[0016]作为优选的技术方案，所述根据船舶测速算法计算船舶的移动速度，具体包括：
[0017]获取定焦广角摄像头俯视角、CMOS尺寸和初始PTZ值，根据摄像头成像原理，计算船舶目标到画面中点的夹角，计算出摄像头中点到目标角度，计算像素与实际距离的比值，获取船舶目标在画面中出现的第一帧位置，与当前位置的图像坐标差、时间差，计算船舶移动速度，具体表示为：
[0018][0019][0020][0021]其中，V表示船舶移动速度，Δc表示第一帧位置与当前位置的图像坐标差，t表示第一帧位置与当前位置的图像的时间差，dp表示像素与实际距离的比值，h1表示船舶识别框高度，h2表示图像高度，abs表示求数据绝对值的函数，b表示船舶目标到画面中点的夹角，a表示定焦广角摄像头俯视角，H表示定焦广角摄像头安装位置的海拔高度。
[0022]作为优选的技术方案，计算变焦跟踪摄像头画面居中并把目标放大至占整个画面所需的PTZ值，具体包括：
[0023]计算cmos成像像元尺寸，计算出的目标船头局部位置以及画面中长、高值，获取摄像头变焦倍数，计算实际焦距，计算当前摄像头焦距与像元长度比，计算放大目标所需的焦距；
[0024]计算出目标到CMOS中点的x，y方向的夹角，初始的P值加上x方向的夹角得到更新后的P值，初始的T值加上y方向的夹角得到更新后的T值；
[0025]基于初始视场角、初始视场角、目标识别框宽度和画面占比计算得到更新后的Z值，具体表示为：
[0026][0027]其中，FOd表示初始视场角，FW表示视频帧宽度，BW表示目标识别框宽度，P表示画面占比。
[0028]作为优选的技术方案，所述计算出船舶目标行进方向，具体通过船舶目标在画面中第一次出现的位置和当前在画面的位置X坐标值的差计算出目标行进方向。
[0029]作为优选的技术方案，还包括图片增强步骤，若检测到具有船牌的图片，则获取船牌在图片中的矩形区域并抠取该区域图像，并使用直方图均衡化算法增强图片对比度。
[0030]本专利技术还提供一种船舶船牌识别系统，包括：广角摄像头、变焦跟踪摄像头、参数测量模块、训练集构建模块、模型训练模块、船舶识别模块、船舶移动速度计算模块、船头目标局部位置识别模块、PTZ值计算模块和船牌识别模块；
[0031]所述定焦广角摄像头和变焦跟踪摄像头采集船舶目标与船牌图片；
[0032]所述参数测量模块用于并获取变焦跟踪摄像头的初始PTZ值；
[0033]所述训练集构建模块用于在船舶目标与船牌图片框出船舶、船牌所在位置，并添加类型标签，得到船舶类型训练集和船牌训练集；
[0034]所述模型训练模块用于将添加类型标签后的船舶类型训练集、船牌训练集输入YOLOv4网络并进行训练，得到训练后的船舶类型识别模型和船牌检测模型；
[0035]所述船舶识别模块用于将定焦广角摄像头获取视频流的每一帧图像输入训练后的船舶类型识别模型，识别出画面中是否存在船舶，以矩形框出识别出画面存在船舶的位置，并保存该船舶类型和置信度，当检测到新的船舶目标进入定焦广角摄像头监视范围，获取图像中该船舶目标在定焦广角摄像头画面中的位置，保存该船舶目标的类型和发现的时间；
[0036]所述船舶移动速度计算模块用于基于船舶目标在定焦广角摄像头画面中的位置，根据船舶测速算法计算船舶的移动速度；
[0037]所述船头目标局部位置识别模块用于计算出船舶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种船舶船牌识别方法，其特征在于，包括下述步骤：布设定焦广角摄像头和变焦跟踪摄像头，测量得到定焦广角摄像头安装位置的海拔高度，并获取变焦跟踪摄像头的初始PTZ值；基于定焦广角摄像头和变焦跟踪摄像头采集船舶目标与船牌图片，在船舶目标与船牌图片框出船舶、船牌所在位置，并添加类型标签，得到船舶类型训练集和船牌训练集；将添加类型标签后的船舶类型训练集、船牌训练集输入YOLOv4网络并进行训练，得到训练后的船舶类型识别模型和船牌检测模型；将定焦广角摄像头获取视频流的每一帧图像输入训练后的船舶类型识别模型，识别出画面中是否存在船舶，以矩形框出识别出画面存在船舶的位置，并保存该船舶类型和置信度，当检测到新的船舶目标进入定焦广角摄像头监视范围，获取图像中该船舶目标在定焦广角摄像头画面中的位置，保存该船舶目标的类型和发现的时间；基于船舶目标在定焦广角摄像头画面中的位置，根据船舶测速算法计算船舶的移动速度；计算出船舶目标行进方向，获取检测到的船舶目标在画面中的坐标位置和画面中的长、高数据，计算以目标识别框高为边长的矩形框内的船头目标局部位置坐标；获取计算出的画面局部位置坐标为目标，计算变焦跟踪摄像头画面居中并把目标放大至占整个画面所需的PTZ值；根据更新后的PTZ值控制变焦跟踪摄像头转动，获取多张将船舶目标局部显示在画面中心且占整个画面的图片，采用船牌检测模型检测获取到的图片，若检测到具有船牌的图片，则获取船牌在图片中的矩形区域并抠取该区域图像，识别图像文字信息，得出文本文字。2.根据权利要求1所述的船舶船牌识别方法，其特征在于，还包括摄像头调整步骤，以摄像头部署所在位置的摄像头画面中的固定景物作为参考点，通过参考点调整并匹配定焦广角摄像头和变焦跟踪摄像头初始画面视场达到一致。3.根据权利要求1所述的船舶船牌识别方法，其特征在于，所述根据船舶测速算法计算船舶的移动速度，具体包括：获取定焦广角摄像头俯视角、CMOS尺寸和初始PTZ值，根据摄像头成像原理，计算船舶目标到画面中点的夹角，计算出摄像头中点到目标角度，计算像素与实际距离的比值，获取船舶目标在画面中出现的第一帧位置，与当前位置的图像坐标差、时间差，计算船舶移动速度，具体表示为：度，具体表示为：度，具体表示为：其中，V表示船舶移动速度，Δc表示第一帧位置与当前位置的图像坐标差，t表示第一
帧位置与当前位置的图像的时间差，dp表示像素与实际距离的比值，h1表示船舶识别框高度，h2表示图像高度，abs表示求数据绝对值的函数，b表示船舶目标到画面中点的夹角，a表示定焦广角摄像头俯视角，H表示定焦广角摄像头安装位置的海拔高度。4.根据权利要求1所述的船舶船牌识别方法，其特征在于，计算变焦跟踪摄像头画面居中并把目标放大至占整个画面所需的PTZ值，具体包括：计算cmos成像像元尺寸，计算出的目标船头局部位置以及画面中长、高值，获取摄像头变焦倍数，计算实际焦距，计算当前摄像头焦距与像元长度比，计算放大目标所需的焦距；计算出目标到CMOS中点的x，y方向的夹角，初始的P值加上x方向的夹角得到更新后的P值，初始的T值加上y方向的夹角得到更新后的T值；基于初始视场角、初始视场角、目标识别框宽度和画面占比计算得到更新后的Z值，具体表示为：其中，FOV表示初始视场角，FW表示视频帧宽度，BW表示目标识别框宽度，P表示画面占比。5.根据权利要求1所述的船舶船牌识别方法，其特征在于，所述计算出船舶目标行进方向，具体通过船舶目标在画面中第一次出现的位置和当前在画面的位置X坐标值的差计算出目标行进方向。6.根据权利要求1
‑
5任一项所述的船舶船牌识别方法，其特征在于，还包括图片增强步骤，若检测到具有船牌的图片，则获取船...

【专利技术属性】
技术研发人员：陈斌，刘云龙，陈勇，周运华，黄保华，朱延胜，
申请(专利权)人：海华电子企业中国有限公司，
类型：发明
国别省市：