一种基于FasterRCNN的水闸图像识别方法技术

本发明专利技术公开了一种基于FasterRCNN的水闸图像识别方法，步骤为：1)数据获取：数据主要来源于重点水利工程提供的监控视频；2)数据预处理：通过对视频进行批量截图，并选择一些较少的图片通过翻转、旋转、裁剪等操作进行扩充；3)制作数据集：对图片数据进行标注，并划分训练集、测试集和验证集；4)模型训练：构建FasterRCNN网络结构，设定训练参数，利用数据集进行训练；5)模型测试：利用训练好的模型对新数据进行预测分类。本发明专利技术通过对水闸图像的分析，实现对水闸状态的自动识别，用于辅助水利工作人员监测水闸运行状态，确认水闸调度是否正常。模型训练完成后使用方便，准确度高，应用前景广阔。用前景广阔。用前景广阔。

【技术实现步骤摘要】
一种基于Faster RCNN的水闸图像识别方法


[0001]本专利技术属于图像识别
，特别涉及一种基于Faster RCNN的水闸图像识别方法。

技术介绍

[0002]随着视频监控平台的建设完成，数据采集手段越来越丰富。水闸相关数据中，最直观的数据便是视频数据了，可以清晰的看出水闸的调度情况。而目前已有视频监控平台大都是仅提供视频的捕获、存储和回放等简单的功能，用来记录发生的事情，很难起到预警和报警的作用.若要保证实时监控异常行为并及时采取有效措施，就需要监控人员一刻不停的监看视频，这种情况下，监控人员容易疲惫，尤其面对多路监控视频时，往往目不暇接，很难及时对异常做出反应.因此这就迫切需要智能视频监控，来辅助监控人员的工作。
[0003]在防汛等重要的时候，往往需要实时的获取最新的水闸运行状态数据，因此会产生海量的视频数据，如何从这些海量数据中高效地发现我们需要解决的问题，就成为智能视频监控技术要解决的主要问题。具体地讲，智能视频监控技术就是为了让计算机像人的大脑，让摄像头像人的眼睛，由计算机智能地分析从摄像头中获取的图像序列，对被监控场景中的内容进行理解，实现对异常行为的自动预警和报警。已有视频监控平台缺少对与防汛重大事件相关的视频和图像的自动识别，视频监控平台的利用率有待进一步提高。
[0004]20世纪末以来，随着计算机视觉的发展，出现了越来越多的图像识别相关的技术，尤其是深度学习技术的进步，让图像识别技术在精确度上得到了质的飞跃。以深度学习为基础的目标检测方法发展迅速，在各个领域都取得了重大的成就，而Faster RCNN算法就是众多目标检测算法中较为出色的一个。
[0005]目前水闸运行状态检测主要是依靠系统自身调度指令的反馈和人工通过视频检测。在防汛等重要的时候，往往需要实时的获取最新的水闸运行状态数据。仅仅依靠人工来识别海量视频数据中闸门运行状态，无疑是一件费时费力的工作，而且难以在短时间内完成。

技术实现思路

[0006]专利技术目的：为了克服现有技术中存在的复杂场景中水闸调度是否成功，人力难以辅助决策的问题，本专利技术提供一种基于Faster RCNN的水闸图像识别方法，能够能够准确帮助识别水闸运行状态。
[0007]技术方案：为实现上述目的，本专利技术提供一种基于Faster RCNN的水闸图像识别方法，包括如下步骤：
[0008](1)从重点水利工程的监控视频中获取数据；
[0009](2)对获取的数据进行处理：通过对视频进行批量截图，并将图片通过翻转、旋转、裁剪和颜色变换进行扩充；
[0010](3)制作数据集：对图片数据进行标注，并划分训练集、测试集和验证集；
[0011](4)模型训练：构建Faster RCNN网络结构，设定训练参数，利用数据集进行训练；
[0012](5)模型测试：利用训练好的模型对新数据进行预测分类。
[0013]进一步的，所述步骤(3)中制作数据集的具体步骤如下：对获得的图片通过标签进行标注，标签类别分别为
‘
closed
’
和
‘
open
’
，生成xml文件，并将图片和对应的xml文件设置为VOC2007数据集格式；同时对数据集进行划分，生成train、test、trainval和val的txt文件。
[0014]进一步的，所述步骤(4)中模型训练的具体步骤如下：
[0015](4.1)对Faster RCNN模型进行改进：使用ROI
‑
Align代替ROI
‑
Pooling操作，减少由于双线性插值法对浮点数取整导致的误差，提升模型的准确度；
[0016](4.2)在不影响模型检测性能的前提下，加快网络训练速度。将网络的第一个卷积核变小，减少神经元个数，从而使得网络训练速度得到提升；
[0017](4.3)使用ResNet50作为主干网络。
[0018]进一步的，所述步骤(5)中模型测试的具体步骤如下：将测试图片输入训练模型中，检测出图片中水闸的启闭状态，以及开启的水闸数量统计。
[0019]进一步的，所述步骤(1)中从重点水利工程的监控视频中获取数据的具体步骤如下：根据重点水利工程的视频数据，为了避免数据集重复，每间隔3s截图并保存为jpg格式；其中截图包括各种水闸闸门的启闭状态。
[0020]本专利技术可以自动地提取水闸调度的相关特征，对水闸闸门运行状态进行检测。相较于依靠人工识别，在速度上有大大的提升，能够减少不少的人力，加快了工作效率。而且模型有着较为精确的准确率，能够达到预期的目标，可以以此技术为基础构建相关智能视频监控系统，辅助工作人员对水闸状态检测。
[0021]有益效果：本专利技术与现有技术相比具有以下优点：
[0022]本专利技术使用ROI
‑
Align代替ROI
‑
Pooling操作，使模型生成的候选框映射产生固定大小的feature map，从而提升了模型的准确度；同时将网络的第一个卷积核变小，减少神经元个数，提升了网络训练速度。本专利技术在识别闸门启闭状态上取得良好效果。
附图说明
[0023]图1为本专利技术的流程图；
[0024]图2为具体实施例中的网络结构图；
[0025]图3为具体实施例中视频截取图片的示例图；
[0026]图4为具体实施例中采用本专利技术所得到的预测结果展示图。
具体实施方式
[0027]下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0028]下面结合如图1所示的流程图，本专利技术提出的一种基于Faster RCNN的水闸图像识别方法包括如下步骤：
[0029]步骤S1：数据获取：数据主要来源于重点水利工程的监控视频，为了避免数据集重
复，按间隔3s进行截图，保存为jpg格式；所获得的截图应包括各种水闸闸门的启闭状态，图片示例图3所示。图3中可以看出从左数的7个水闸是关闭状态，而右边的水闸则是开启状态。
[0030]步骤S2：数据预处理：由于深度学习需要大量样本进行学习，在对视频进行批量截图后，在选择部分图片进行旋转、翻转、裁剪、颜色变换等操作，丰富数据集，满足深度学习对数据集的需要。
[0031]步骤S3：制作数据集：将获得的图片数据按顺序重新命名，使用人工标注软件Labelimg对获得的jpg图片进行标注，标签类别分别为
‘
closed
’
和
‘
open
’
，生成xml文件，并将图片和对应的xml文件设置为VOC2007数据集格式；同时对数据集进行划分，生成train、test、trainval和val等txt文件，这类txt文件包含的信息为其所划分得到的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Faster RCNN的水闸图像识别方法，其特征在于，包括如下步骤：(1)从重点水利工程的监控视频中获取数据；(2)对获取的数据进行处理：通过对视频进行批量截图，并将图片通过翻转、旋转、裁剪和颜色变换进行扩充；(3)制作数据集：对图片数据进行标注，并划分训练集、测试集和验证集；(4)模型训练：构建Faster RCNN网络结构，设定训练参数，利用数据集进行训练；(5)模型测试：利用训练好的模型对新数据进行预测分类。2.根据权利要求1所述的一种基于Faster RCNN的水闸图像识别方法，其特征在于，所述步骤(3)中制作数据集的具体步骤如下：对获得的图片通过标签进行标注，标签类别分别为
‘
closed
’
和
‘
open
’
，生成xml文件，并将图片和对应的xml文件设置为VOC2007数据集格式；同时对数据集进行划分，生成train、test、trai...

【专利技术属性】
技术研发人员：戚荣志，汤家威，李水艳，黄倩，朱慧静，
申请(专利权)人：河海大学，
类型：发明
国别省市：