一种基于云台摄像机的船目标实时检测方法技术

本发明专利技术涉及一种基于云台摄像机的船目标实时检测方法，包括摄取包含船目标的视频流、训练数据预处理、确定训练模型并提高训练船目标检测模型的计算速度、根据实际情况进行训练模型调整、将训练好的船目标检测模型与云台摄像机联动步骤。本方法通过对视频流进行训练数据预处理、确定训练模型并提高训练船目标检测模型的计算速度、调整训练模型等步骤，最后将训练好的船目标检测模型与云台摄像机联动，最终保持呈现在显示器主码流中的船物体宽度占画面宽度的三分之一左右，且居中显示，实现了云台摄像机持续跟踪的目的。本发明专利技术方法设计科学合理、构思巧妙、易于实现，有效提高了准确率，而且运算速度快，具有广泛推广应用的价值。

A real-time detection method for ship targets based on PTZ camera

The invention relates to a real-time ship target detection method based on a pan-tilt camera, which includes capturing video stream containing the ship target, preprocessing training data, determining training model and improving the calculation speed of the training ship target detection model, adjusting the training model according to the actual situation, and adjusting the trained ship target detection model and the training ship target detection model. Yuntai camera linkage steps. This method preprocesses the training data of video stream, determines the training model, improves the calculation speed of the training ship target detection model, adjusts the training model and so on. Finally, the trained ship target detection model is linked with the pan-tilt camera to maintain the width of the ship object in the display main stream. The width is about 1/3, and the center is displayed. The method of the invention has the advantages of scientific and reasonable design, ingenious conception, easy realization, effective improvement of accuracy, fast calculation speed and wide application value.

【技术实现步骤摘要】
一种基于云台摄像机的船目标实时检测方法
本专利技术属于视频监控
，尤其是一种基于云台摄像机的船目标实时检测方法。
技术介绍
近年来基于深度学习的发展，在工业嵌入式产品领域，由于计算元件的计算能力增强，产品在图像识别和语音识别两大算法方向获得了突飞猛进的发展。将人工智能应用在产品上而产生智能产品的任务是希望产品能够对摄像机等传感器获取的数据进行解读并以人类所具有的理性思考方式来做出决定，从而帮助人类完成各种枯燥重复的决策工作。现有的使用传统图像处理方法的设备大都仅对远距离海面上移动目标识别，而存在移动目标分类的困难，尤其镜头拉近后的复杂背景下大目标船检测存在困难。而近年来已有的训练模型对大目标检测有效但是对远端小目标，尤其是雾霾天气的船形物体不能检测。大多检测识别率高的深度学习方法训练模型由于计算量大导致单帧处理速度慢，很难应用在前端嵌入式平台进行实时视频流检测。不能实时，不能变焦识别，不能应用在前端设备保障用户数据的私密性等缺点，都不适于对海面船观测识别的报警及跟踪需求。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于云台摄像机的船目标实时检测方法，该保证镜头内物体无论在雾霾天气与否都能对雷达提供方位的目标船物体实时检测跟踪法。本专利技术的方案是这样实现的：一种基于云台摄像机的船目标实时检测方法，包括如下步骤：步骤一、通过云台摄像机摄取包含船目标的视频流摄取的视频流包含主码流和辅码流：(1)rtsp视频流的主码流用于在显示器中清晰的显示实时视频；(2)rtsp视频流的辅码流作为船目标检测的输入视频流进行处理，并进行目标检测；步骤二、训练数据预处理训练数据图片的来源包含两部分：一部分图片来源于将含船目标的图片从主码流中提取出来，即获取rtsp视频流后采用图像处理的方法批量对图片进行压缩及改变分辨率处理，保证关键信息不丢失；另一部分图片则来自于提取公共数据集如PascalVOC等中的船目标，整理需要的部分，此部分主要是用于提高船目标检测的泛化性，用于对变倍拉近后船目标的识别检测；将上述处理好的图片分类整理，保证训练集中远端船型小目标、各种类船图片和可能的误检测图片占训练数据一定的比例；步骤三、确定训练模型并提高训练船目标检测模型的计算速度选择应用在Linux系统中的darknet框架结构，方便后期使用c/c++语言在嵌入式设备上的移植和与云台摄像机的对接，应用yolo的原理训练船目标检测模型；所述步骤一中辅码流中图像为RGB三通道图像；提高检测速度的方法为，采用训练船目标一类物体，并采用多个1*1尺寸的卷基核替代一个n*n的卷积核的原理，同时，通过图像处理算法改变辅码流输入图像尺寸，并保证关键信息不丢失，减少需要计算的像素点数，通过减少计算量的方法，提高计算速度；步骤四、根据实际情况进行训练模型调整训练数据严格筛选，满足特定环境船目标检测及此环境可能引入的误检测因素不引入；步骤五、将训练好的船目标检测模型与云台摄像机联动将训练好的船目标检测模型移植到云台摄像机，为了提高准确性的问题，统计并筛选出最可信的坐标和尺寸准备发给云台摄像机。而且，所述步骤五中，筛选最可信坐标和尺寸的方法为：当前帧若存在目标船则记录此时船目标在整个画面中的坐标(连续记录20-25帧的目标中心点坐标)，每获取到20组数据，便对这20组数据进行数据处理，将最可信的坐标点信息通过串口发送给云台摄像机，云台摄像机采用3D算法，按照接收到的最可信坐标信息及船目标的长宽尺寸信息转动并变倍，此时云台摄像机始终保持呈现在显示器主码流中的船物体宽度占画面宽度的三分之一左右，并保持居中，且持续跟踪。本专利技术的优点和积极效果是：1、本方法通过对视频流进行训练数据预处理、确定训练模型并提高训练船目标检测模型的计算速度、调整训练模型等步骤，最后将训练好的船目标检测模型与云台摄像机联动，最终保持呈现在显示器主码流中的船物体宽度占画面宽度的三分之一左右，且居中显示，实现了云台摄像机持续跟踪的目的。2、本专利技术方法提高工作人员的工作效率和工作舒适感，使工作人员可以有时间和精力去做更多和其专业相关的精益求精的工作内容，比如办案人员可以更快更及时的获得线索，帮助各岗位工作人员更好的实现具有工匠精神的产业提升。3、本专利技术方法设计科学合理、构思巧妙、易于实现，有效提高了准确率，而且运算速度快，具有广泛推广应用的价值。附图说明图1是本专利技术的流程图；图2是本专利技术的具体工作流程图；图3是图1中提高训练船目标检测模型的计算速度框图；图4是本专利技术方法摄取图像的效果图。具体实施方式下面结合附图并通过具体实施例对本专利技术作进一步详述。一种基于云台摄像机的船目标实时检测方法，如图1所示，包括如下步骤：步骤一、通过云台摄像机摄取包含船目标的视频流位于地面的云台摄像机拍摄远距离可能出现船型物体的视频，以及拉近变倍后可能出现船目标的视频，此时云台摄像机的镜头内船目标通常所占的像素点比例很小，有时由于雾霾天气，也会呈现出颜色对比度不高的问题，只能大约显示形状的画面效果。(参见图4，左侧是云台摄像机摄取的辅码流视频截图，右侧为本方法对摄取的辅码流检测识别效果展示)摄取的视频流包含主码流和辅码流：1、rtsp视频流的主码流用于在显示器中清晰的显示实时视频；2、rtsp视频流的辅码流作为船目标检测的输入视频流进行处理，并进行目标检测；步骤二、训练数据预处理训练数据图片的来源包含两部分：一部分图片来源于将含船目标的图片从主码流中提取出来，即获取rtsp视频流后采用图像处理的方法批量对图片进行压缩及改变分辨率等处理，保证关键信息不丢失；另一部分图片则来自于提取公共数据集如PascalVOC等中的船目标，整理需要的部分，此部分主要是用于提高船目标检测的泛化性，用于对变倍拉近后船目标的识别检测。将上述处理好的图片分类整理，保证训练集中远端船型小目标、不同种类船图片和可能的误检测图片(如水面的鸟，灯塔，对岸的楼等)占训练数据一定的比例。步骤三、确定训练模型并提高训练船目标检测模型的计算速度选择应用在Linux系统中的darknet框架结构，目的是方便后期使用c/c++语言在嵌入式设备上的移植和与云台摄像机的对接，应用yolo的原理训练船目标检测模型。所述步骤一中辅码流中图像为RGB三通道图像，若希望实时就需要每秒钟视频包含20帧以上的图像，而通常进行检测处理是在低运算能力的前端设备上进行，因此对于船目标检测的单帧处理速度要尽量快。为提高检测速度(如图3所示)，采用训练船目标一类物体，网络结构相对简单，并采用多个1*1尺寸的卷基核替代一个n*n的卷积核的原理减少计算量，同时，通过图像处理算法改变辅码流输入图像尺寸，并保证关键信息不丢失，减少需要计算的像素点数，通过减少计算量的方法，提高计算速度。步骤四、根据实际情况进行训练模型调整由于训练网络相对简单，添加新的特征进入非常容易，但是对于误检测特征的减少并不容易，因此需要严格留意训练数据的筛选，要满足特定环境船目标检测及此环境可能引入的误检测因素不引入。步骤五、将训练好的船目标检测模型与云台摄像机联动将训练好的船目标检测模型移植到云台摄像机，云台摄像机可以实现每一帧画面都检测的运算速度，但是可能会有误检测或者检测物体尺寸误差的情况出现。为了解决准确本文档来自技高网...

【技术保护点】
1.一种基于云台摄像机的船目标实时检测方法，其特征在于：包括如下步骤：步骤一、通过云台摄像机摄取包含船目标的视频流摄取的视频流包含主码流和辅码流：(1)rtsp视频流的主码流用于在显示器中清晰的显示实时视频；(2)rtsp视频流的辅码流作为船目标检测的输入视频流进行处理，并进行目标检测；步骤二、训练数据预处理训练数据图片的来源包含两部分：一部分图片来源于将含船目标的图片从主码流中提取出来，即获取rtsp视频流后采用图像处理的方法批量对图片进行压缩及改变分辨率处理，保证关键信息不丢失；另一部分图片则来自于提取公共数据集如Pascal VOC等中的船目标，整理需要的部分，此部分主要是用于提高船目标检测的泛化性，用于对变倍拉近后船目标的识别检测；将上述处理好的图片分类整理，保证训练集中远端船型小目标、各种类船图片和可能的误检测图片占训练数据一定的比例；步骤三、确定训练模型并提高训练船目标检测模型的计算速度选择应用在Linux系统中的darknet框架结构，方便后期使用c/c++语言在嵌入式设备上的移植和与云台摄像机的对接，应用yolo的原理训练船目标检测模型；所述步骤一中辅码流中图像为RGB三通道图像；提高检测速度的方法为，采用训练船目标一类物体，并采用多个1*1尺寸的卷基核替代一个n*n的卷积核的原理，同时，通过图像处理算法改变辅码流输入图像尺寸，并保证关键信息不丢失，减少需要计算的像素点数，通过减少计算量的方法，提高计算速度；步骤四、根据实际情况进行训练模型调整训练数据严格筛选，满足特定环境船目标检测及此环境可能引入的误检测因素不引入；步骤五、将训练好的船目标检测模型与云台摄像机联动将训练好的船目标检测模型移植到云台摄像机，为了提高准确性的问题，统计并筛选出最可信的坐标和尺寸准备发给云台摄像机。...

【技术特征摘要】
1.一种基于云台摄像机的船目标实时检测方法，其特征在于：包括如下步骤：步骤一、通过云台摄像机摄取包含船目标的视频流摄取的视频流包含主码流和辅码流：(1)rtsp视频流的主码流用于在显示器中清晰的显示实时视频；(2)rtsp视频流的辅码流作为船目标检测的输入视频流进行处理，并进行目标检测；步骤二、训练数据预处理训练数据图片的来源包含两部分：一部分图片来源于将含船目标的图片从主码流中提取出来，即获取rtsp视频流后采用图像处理的方法批量对图片进行压缩及改变分辨率处理，保证关键信息不丢失；另一部分图片则来自于提取公共数据集如PascalVOC等中的船目标，整理需要的部分，此部分主要是用于提高船目标检测的泛化性，用于对变倍拉近后船目标的识别检测；将上述处理好的图片分类整理，保证训练集中远端船型小目标、各种类船图片和可能的误检测图片占训练数据一定的比例；步骤三、确定训练模型并提高训练船目标检测模型的计算速度选择应用在Linux系统中的darknet框架结构，方便后期使用c/c++语言在嵌入式设备上的移植和与云台摄像机的对接，应用yolo的原理训练船目标检测模型；所述步骤一中辅码流中图像为RGB三通道...

【专利技术属性】
技术研发人员：刘书鹏，王闪闪，刘建宏，金倩宜，
申请(专利权)人：天津市亚安科技有限公司，
类型：发明
国别省市：天津,12