基于卷积神经网络和图像融合的人员落水报警系统及方法技术方案

本发明专利技术提供了一种基于卷积神经网络和图像融合的人员落水报警系统及方法，包括：图像采集模块采集可见光图像和红外图像数据信息；图像存储模块实时保存图像采集模块获取的可见光图像和红外图像，并压缩成视频流；图像配准模块校准可见光图像和红外图像的空间信息；利用多尺度变换和融合规则融合可见光图像和红外图像；卷积神经网络模块进行目标检测，判断是否有人员落水险情发生；控制报警模块将卷积神经网络模块的判断结果反馈到控制报警模块，当有险情发生时，开启报警器，并存储落水信息；图像显示模块显示卷积神经网络模块的输出结果和图像存储模块的数据。本发明专利技术在复杂的航行环境中获得比传统的目标检测算法更高的落水人员识别率。

Alarm system and method of people falling into water based on convolutional neural network and image fusion

【技术实现步骤摘要】
基于卷积神经网络和图像融合的人员落水报警系统及方法
本专利技术涉及目标检测
，具体地，涉及一种基于卷积神经网络和图像融合的人员落水报警系统及方法。
技术介绍
在船舶航行过程中，需要全天候不间断地监控人员落水险情。为了获得可能发生险情区域的实时信息，通过部署可见光摄像机来进行视频监控，同时部署红外热像仪获取夜晚、浓雾等条件下的热成像视频图像。获取视频图像后，让船务人员实时监控险情的方式费时费力，而且人的专注力有限效率非常低，容易漏报落水险情。利用目标检测的方法自动检测图像中是否含有人员，将是视频监控的发展趋势。市场上安防监控设备，很多已经具有基础的目标识别功能，这些技术准确率较高的前提是监控区域光源充足、背景固定。而船舶在航行过程中，不可能时刻有补充的光源，随着航行的方向不同，时常会出现逆光场景。航行环境中也会遇到雾、雨、雪等恶劣天气，图像背景极其多变，而且以检测的目标人员分析，人员的形态姿势也不完全固定。所以市面上带简单识别功能的设备，并不满足船舶行业需求。近年来，目标检测从原始的传统手工提取特征方法变成了基于卷积神经网络的特征提取，深度学习模型逐渐取代传统机器视觉方法而成为目标检测领域的主流算法。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于卷积神经网络和图像融合的人员落水报警系统及方法。根据本专利技术提供的一种基于卷积神经网络和图像融合的人员落水报警系统，包括：图像采集模块：图像采集模块采集可见光图像和红外图像数据信息；图像存储模块：图像存储模块实时保存图像采集模块获取的可见光图像和红外图像，并将可见光图像和红外图像压缩成视频流；图像配准模块：图像配准模块校准可见光图像和红外图像的空间信息；图像融合模块：经过图像配准模块校准的可见光图像和红外图像，利用多尺度变换和融合规则融合可见光图像和红外图像；卷积神经网络模块：卷积神经网络模块利用融合后的可见光图像和红外图像进行目标检测，判断是否有人员落水险情发生；控制报警模块：将卷积神经网络模块的判断结果反馈到控制报警模块，当有险情发生时，开启报警器，并存储落水信息；图像显示模块：图像显示模块显示卷积神经网络模块的输出结果和图像存储模块的数据。优选地，所述图像配准模块包括：图像配准模块对可见光图像和红外图像进行平滑去噪处理，根据图像分辨率视场角范围对相同时刻的可见光图像和红外图像进行校准，使得图像的空间区域相同。优选地，所述卷积神经网络模块包括：利用可见光图像数据和红外图像图像数据训练完成的深度学习模型，通过输入实时图像数据到深度学习模型中，根据训练得到的网络权重，计算当前图像是否包含落水人员，如果有落水人员，则进行标记；所述卷积神经网络模型是以残差网络为主体，神经网络层包含卷积层和池化层；所述深度学习模型即卷积神经网络模型；所述利用可见光图像数据和红外图像数据训练深度学习模型时，可见光图像数据和红外图像数据包括含落水人员的图像数据和不含落水人员的图像数据，并且含落水人员的图像数据数量和不含落水人员的图像数据数量相当。优选地，所述控制报警模块包括：报警器单元和报警信息存储单元；控制报警模块在获得险情信息时，报警器单元开启报警器；报警信息存储单元保存落水信息；所述落水信息包括落水时间和落水位置。优选地，所述图像显示模块包括：根据卷积神经网络模块输出结果不同，显示不同图像数据，当发生险情时，显示险情区域的数据并将落水人员标记出来；当没有发生险情时，显示各个监控区域的实时图像；图像显示模块显示图像存储模块的数据，选定时间段从图像存储模块中读取视频。根据本专利技术提供的一种基于卷积神经网络和图像融合的人员落水报警方法，包括：图像采集步骤：图像采集模块采集可见光图像和红外图像数据信息；图像存储步骤：图像存储模块实时保存图像采集步骤获取的可见光图像和红外图像，并将可见光图像和红外图像压缩成视频流；图像配准步骤：图像配准模块校准可见光图像和红外图像的空间信息；图像融合步骤：经过图像配准步骤校准的可见光图像和红外图像，利用多尺度变换和融合规则融合可见光图像和红外图像；卷积神经网络步骤：卷积神经网络模块利用融合后的可见光图像和红外图像进行目标检测，判断是否有人员落水险情发生；控制报警步骤：将卷积神经网络模块的判断结果反馈到控制报警模块，当有险情发生时，开启报警器，并存储落水信息；图像显示模块：图像显示模块显示卷积神经网络模块的输出结果和图像存储模块的数据。优选地，所述图像配准步骤包括：图像配准模块对可见光图像和红外图像进行平滑去噪处理，根据图像分辨率视场角范围对相同时刻的可见光图像和红外图像进行校准，使得图像的空间区域相同。优选地，所述卷积神经网络步骤包括：利用可见光图像数据和红外图像图像数据训练完成的深度学习模型，通过输入实时图像数据到深度学习模型中，根据训练得到的网络权重，计算当前图像是否包含落水人员，如果有落水人员，则进行标记；所述卷积神经网络模型是以残差网络为主体，神经网络层包含卷积层和池化层；所述深度学习模型所即卷积神经网络模型；所述利用可见光图像数据和红外图像数据训练深度学习模型时，可见光图像数据和红外图像数据包括含落水人员的图像数据和不含落水人员的图像数据，并且含落水人员的图像数据数量和不含落水人员的图像数据数量相当。优选地，所述控制报警步骤包括：控制报警模块包括报警器单元和报警信息存储单元；控制报警模块在获得险情信息时，报警器单元开启报警器；报警信息存储单元保存落水信息；所述落水信息包括落水时间和落水位置。优选地，所述图像显示步骤包括：根据卷积神经网络模块输出结果不同，显示不同图像数据，当发生险情时，显示险情区域的数据并将落水人员标记出来；当没有发生险情时，显示各个监控区域的实时图像；图像显示模块显示图像存储模块的数据，选定时间段从图像存储模块中读取视频。与现有技术相比，本专利技术具有如下的有益效果：1、利用可见光摄像机高分辨率和红外成像仪全天候监控的特点，可见光摄像机分辨细节能力强，像素可达到百万级。设计数据融合算法，获得两种设备的融合图像；2、建立两种成像设备的航行环境数据库，分析航行环境的图像特点，设计神经网络结构，建立目标检测模型，在采集到的航行图片上实现端对端训练，获得的深度学习模型可以克服传统目标检测算法的缺陷，具有较好的灵活性，结果更加准确；3、在检测到人员落水险情时，实现自动报警，及时提醒工作人员进行干预，并将落水信息保存到数据库中，以便进行详细地分析和历史追溯。4、在复杂的航行环境中获得比传统的目标检测算法更高的落水人员识别率。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术实时例提供的基于深度学习网络和图像融合的人员落水报警系统的结构框图。本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络和图像融合的人员落水报警系统，其特征在于，包括：/n图像采集模块：图像采集模块采集可见光图像和红外图像数据信息；/n图像存储模块：图像存储模块实时保存图像采集模块获取的可见光图像和红外图像，并将可见光图像和红外图像压缩成视频流；/n图像配准模块：图像配准模块校准可见光图像和红外图像的空间信息；/n图像融合模块：经过图像配准模块校准的可见光图像和红外图像，利用多尺度变换和融合规则融合可见光图像和红外图像；/n卷积神经网络模块：卷积神经网络模块利用融合后的可见光图像和红外图像进行目标检测，判断是否有人员落水险情发生；/n控制报警模块：将卷积神经网络模块的判断结果反馈到控制报警模块，当有险情发生时，开启报警器，并存储落水信息；/n图像显示模块：图像显示模块显示卷积神经网络模块的输出结果和图像存储模块的数据。/n

【技术特征摘要】
1.一种基于卷积神经网络和图像融合的人员落水报警系统，其特征在于，包括：
图像采集模块：图像采集模块采集可见光图像和红外图像数据信息；
图像存储模块：图像存储模块实时保存图像采集模块获取的可见光图像和红外图像，并将可见光图像和红外图像压缩成视频流；
图像配准模块：图像配准模块校准可见光图像和红外图像的空间信息；
图像融合模块：经过图像配准模块校准的可见光图像和红外图像，利用多尺度变换和融合规则融合可见光图像和红外图像；
卷积神经网络模块：卷积神经网络模块利用融合后的可见光图像和红外图像进行目标检测，判断是否有人员落水险情发生；
控制报警模块：将卷积神经网络模块的判断结果反馈到控制报警模块，当有险情发生时，开启报警器，并存储落水信息；
图像显示模块：图像显示模块显示卷积神经网络模块的输出结果和图像存储模块的数据。


2.根据权利要求1所述的一种基于卷积神经网络和图像融合的人员落水报警系统，其特征在于，所述图像配准模块包括：图像配准模块对可见光图像和红外图像进行平滑去噪处理，根据图像分辨率视场角范围对相同时刻的可见光图像和红外图像进行配准，使得图像的空间区域相同。


3.根据权利要求1所述的一种基于卷积神经网络和图像融合的人员落水报警系统，其特征在于，所述卷积神经网络模块包括：利用可见光图像数据和红外图像数据训练深度学习模型，通过输入实时图像数据到训练后的深度学习模型中，根据训练得到的网络权重，计算当前图像是否包含落水人员，如果有落水人员，则进行标记；
所述卷积神经网络模型是以残差网络为主体，神经网络层包含卷积层和池化层；
所述深度学习模型即卷积神经网络模型；
所述利用可见光图像数据和红外图像数据训练深度学习模型时，可见光图像数据和红外图像数据包括含落水人员的图像数据和不含落水人员的图像数据，并且含落水人员的图像数据数量和不含落水人员的图像数据数量相当。


4.根据权利要求1所述的一种基于卷积神经网络和图像融合的人员落水报警系统，其特征在于，所述控制报警模块包括：报警器单元和报警信息存储单元；
控制报警模块在获得险情信息时，报警器单元开启报警器；报警信息存储单元保存落水信息；
所述落水信息包括落水时间和落水位置。


5.根据权利要求1所述的一种基于卷积神经网络和图像融合的人员落水报警系统，其特征在于，所述图像显示模块包括：根据卷积神经网络模块输出结果不同，显示不同图像数据，当发生险情时，显示险情区域的数据并将落水人员标记出来；当没有发生险情时，显示各个监控区域的实时图像；
图像显示模块显示图像存储模块的数据，选定时间段从图像存储模块中读取视频。

<...

【专利技术属性】
技术研发人员：周文闻，周航，黄滔，陈冬梅，张婷，
申请(专利权)人：中国船舶重工集团公司第七一一研究所，
类型：发明
国别省市：上海;31