一种智能水面目标识别系统及目标识别方法技术方案

本发明专利技术属于水陆两栖无人平台技术中的监控与智能控制领域，涉及平台监控系统的数据采集以及目标识别与标注，尤其是一种智能水面目标识别系统及目标识别方法，包括至少一个摄像头，所述摄像头的信号输出端与采集端相连接，该采集端的输出端与识别端相连接，其中所述采集端用于采集摄像头的图像，并通过网络发送至指定的IP设备中；识别端实时接收采集端输出的数据，并进行解码、目标识别和显示；所述采集端包括数据采集模块、数据处理模块和网络发送模块；所述识别端包括网络接收模块、目标识别标注模块和显示模块。

An intelligent water surface target recognition system and target recognition method

【技术实现步骤摘要】
一种智能水面目标识别系统及目标识别方法
本专利技术属于水陆两栖无人平台技术中的监控与智能控制领域，涉及平台监控系统的数据采集以及目标识别与标注，尤其是一种智能水面目标识别系统及目标识别方法。
技术介绍
水路两栖无人车是陆地车与船舶性能的融合装备。具有陆上机动灵活，水上功能丰富的特点，在国外军用和民用领域具有广泛的应用。水路两栖无人车的关键性能是摄像头代替人眼，及时获取和传递当前拍摄信息，并能够自动进行智能化处理。这种智能化设备能够减少人为操作的失误，降低人员风险，提高精确度，提升工作效率，缩短不必要的时间。而基于摄像头的网络视频传输是设备智能化的关键一环，摄像头只有准确和及时的获取当前信息，并且及时的传递给识别端，识别端才能以最快的速度对当前场景做出判断与回应。目前，对于水陆无人两栖车而言，在视频高性能获取、视频网络实时性传输以及目标实时识别与标注等方面存在较大的研究空间。针对上述技术问题，应设计一种可实现两栖车的视频采集、传输并实现目标识别的系统。通过公开专利文献的检索，没有发现与本专利技术申请相关的公开专利文献，以及相类似的公开专利文献的报道。
技术实现思路
本专利技术提供一种基于OpenCV与yolo技术，可实时采集到水陆两栖车周边的图像，并且通过网络传输协议，将图像信息发送到用户指定的IP设备，同时可实现实时的处理信息、对图像中的目标进行识别标注以及显示的一种智能水面目标识别系统。一种智能水面目标识别系统，包括至少一个摄像头，其特征在于：所述摄像头的信号输出端与采集端相连接，该采集端的输出端与识别端相连接，其中所述采集端用于采集摄像头的图像，并通过网络发送至指定的IP设备中；识别端实时接收采集端输出的数据，并进行解码、目标识别和显示；所述采集端包括数据采集模块、数据处理模块和网络发送模块；所述识别端包括网络接收模块、目标识别标注模块和显示模块。进一步的，所述摄像头优选安装在车前和车侧位置，采用大恒USB3.0传输摄像头。进一步的，所述摄像头具有数据保存和数据传输功能，并可调整相应视频要素；所述数据压缩处理模块采用OpenCV编码模块，对视频进行压缩处理；网络发送模块应用socket技术进行网络传输配置和发送，用于将压缩后的信息传输至指定的IP设备中。进一步的，所述网络接收模块采用socket技术进行网络配置，并且将数据完整接收到我们所需的IP设备中；所述目标识别标注模块采用在windows系统下构建的基于yolo的目标检测系统，可将yolo作为动态链接库集成到目标识别与标注模块中，显示模块采用多线程接收方式，可在同一显示截面显示摄像头的图像信息。应用一种智能水面目标识别系统的目标识别方法：包括如下步骤:步骤1：数据采集模块调整摄像头的摄像模式和视频要素，并对摄像头采集的视频信息进行保存和传输；步骤2：对于采集的视频信息格式与压缩格式不符的文件将采集的每帧的图片信息格式全部处理，之后采用OpenCV编码模块进行视频压缩处理；步骤3：采用socket通信传送图片二进制数据；步骤4：网络接收模块，配合socket技术中的网络发送模块进行网络配置，并且将数据完整接收到我们所需的IP设备；步骤5：基于OpenCV进行解压缩，基于yolo对解压缩的图片进行目标识别与标注；步骤6：显示模块从不同的IP配置的摄像头同时接收图像信息并在同一界面进行显示。而且，数据解压处理模块读到内存里的二进制图片数据时，cv::imdecode可以直接转为OpenCV可以使用的图片格式，采用OpenCV的解码模块进行数据解码；之后，在windows系统下构建了基于yolo的目标检测系统，将yolo作为动态链接库集成到目标识别与标注模块中。而且，所述步骤5中，cv::imdecode函数的解析过程包括如下步骤：步骤511：先构造一个char字符串序列的vector，用来存储图片的二进制数据；步骤512：转为cv::Mat成为可以被cv::imdecode使用的数据格式；步骤513：直接类型转换为IplImage数据格式。而且，对于步骤5中，需要将yolo封装为动态链接库以方便目标检测与标注时直接调用，包括如下步骤：步骤521：基于darnet项目形成yolo_cpp_dll.lib的链接库；步骤522：在项目用引用动态链接库；步骤523：将识别与标注所需的物体名称xxx.names文件以及权重文件xxx.weights文件拷贝到项目中，即可实现实时目标检测与标注。本专利技术的优点和积极效果是：本专利技术中，水面目标识别系统包括摄像头采集端和识别端，摄像头用于实时录入现场视频并传送至数据采集模块，数据采集模块用于调整摄像头的视频要素，如彩色模式、黑白模式、曝光率、帧率等，并对录入的信息进行保存和传输，数据压缩处理模块，应用OpenCV编码模块进行视频压缩处理，网络发送模块对于压缩后的信息传送至指定的IP设备中；数据接收模块和网络发送模块同样应用socket进行网络配置，并且将数据完整接收到我们所需的IP设备中；目标识别标注模块包括两方面的作用，其一，对于相应数据进行解压，还原打包前的数据格式，采用OpenCV的解码模块进行数据解码，其二，采用yolo对解压缩的图片进行目标识别与标注；之后通过显示模块对视频信息进行显示。本专利技术中，基于OpenCV采集到摄像头的拍摄信息，并且通过socket技术将信息及时的发到指定的IP设备中，技术成熟，稳定性强，socket技术传输数据为字节级，传输数据可自定义，数据量小；传输数据时间短，性能高；适合于客户端和服务器端之间信息实时交互；可以加密，数据安全性强；yolo算法不需要使用RPN，直接通过网络来产生目标的位置和类别信息，是一种端对端的目标检测算法，在保证检测精度的情况下具有更快的检测速度，进而实现高准确率的实时检测效果；显示模块采用多线程处理，可有效提升CPU的处理速度，从而达到实时性效果；所用编程语言为通用的C++语言，可移植性强，适用性高。附图说明图1为本专利技术的模块示意图；图2为在实际应用过程中部分水面目标检测结果示意图。具体实施方式下面结合实施例，对本专利技术进一步说明，下述实施例是说明性的，不是限定性的，不能以下述实施例来限定本专利技术的保护范围。一种智能水面目标识别系统，包括至少一个摄像头，本专利技术的创新在于，所述摄像头的信号输出端与采集端相连接，该采集端的输出端与识别端相连接，其中所述采集端用于采集摄像头的图像，并通过网络发送至指定的IP设备中；识别端实时接收采集端输出的数据，并进行解码、目标识别和显示；所述采集端包括数据采集模块、数据处理模块和网络发送模块；所述识别端包括网络接收模块、目标识别标注模块和显示模块。本实施例中，所述摄像头优选安装在车前和车侧位置，采用大恒USB3.0传输摄像头。本实施例中，所述摄像头具有数据保存和数据传输功能，并可调整相应视频要素本文档来自技高网...

【技术保护点】
1.一种智能水面目标识别系统，包括至少一个摄像头，其特征在于：所述摄像头的信号输出端与采集端相连接，该采集端的输出端与识别端相连接，其中所述采集端用于采集摄像头的图像，并通过网络发送至指定的IP设备中；识别端实时接收采集端输出的数据，并进行解码、目标识别和显示；所述采集端包括数据采集模块、数据处理模块和网络发送模块；所述识别端包括网络接收模块、目标识别标注模块和显示模块。/n

【技术特征摘要】
1.一种智能水面目标识别系统，包括至少一个摄像头，其特征在于：所述摄像头的信号输出端与采集端相连接，该采集端的输出端与识别端相连接，其中所述采集端用于采集摄像头的图像，并通过网络发送至指定的IP设备中；识别端实时接收采集端输出的数据，并进行解码、目标识别和显示；所述采集端包括数据采集模块、数据处理模块和网络发送模块；所述识别端包括网络接收模块、目标识别标注模块和显示模块。


2.根据权利要求1所述的一种智能水面目标识别系统，其特征在于：所述摄像头优选安装在车前和车侧位置，采用大恒USB3.0传输摄像头。


3.根据权利要求2所述的一种智能水面目标识别系统，其特征在于：所述摄像头具有数据保存和数据传输功能，并可调整相应视频要素；所述数据压缩处理模块采用OpenCV编码模块，对视频进行压缩处理；网络发送模块应用socket技术进行网络传输配置和发送，用于将压缩后的信息传输至指定的IP设备中。


4.根据权利要求1所述的一种智能水面目标识别系统，其特征在于：所述网络接收模块采用socket技术进行网络配置，并且将数据完整接收到我们所需的IP设备中；所述目标识别标注模块采用在windows系统下构建的基于yolo的目标检测系统，可将yolo作为动态链接库集成到目标识别与标注模块中，显示模块采用多线程接收方式，可在同一显示截面显示摄像头的图像信息。


5.应用权利要求1-4中任一所述的基于OpenCV的双摄像头网络传输系统的图像信息传输方法：包括如下步骤:
步骤1：数据采集模块调整摄像头的摄像模式和视频要素，并对摄像头采集的视频信息进行保存和传输；
步骤2：对于采集的视频信息格式与压缩格式不符的文件将采集的每帧的图片信息格式全部处理，之后采用OpenCV编码模块进行视频压缩处理；
步骤3：采用socke...

【专利技术属性】
技术研发人员：皮燕燕，宋楠，
申请(专利权)人：中国船舶重工集团公司第七零七研究所，
类型：发明
国别省市：天津;12