无人机航拍视频内容识别方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于深度学习的无人机航拍视频内容识别方法，包括：实时获取无人机拍摄的视频图像；对视频图像进行抽帧处理以提取样本图像，对样本图像进行预处理；对样本图像中的待识别物体进行标注，生成物体类别数据库；利用数据增强技术扩充物体类别数据库；利用扩充后的物体类别数据库训练深度神经网络模型，深度神经网络模型为SSD网络模型，SSD网络模型包括多分支卷积结构及多尺度特征图融合结构；使用训练好的深度神经网络模型识别视频图像，以输出每个物体类别的位置信息与尺寸信息。本发明专利技术还公开了一种基于深度学习的无人机航拍视频内容识别装置及系统。采用本发明专利技术可有效解决航拍视频物体检测中存在的类别识别和位置定位相互影响的问题。

【技术实现步骤摘要】
无人机航拍视频内容识别方法、装置及系统
本专利技术涉及图像识别
，尤其涉及一种基于深度学习的无人机航拍视频内容识别方法、装置及系统。
技术介绍
近年来，随着计算机技术、多媒体技术和网络技术的不断发展，手机、摄像机、监控等获取视频的设备快速普及，视频资源日益丰富。快速并且准确地获取视频中的信息越来越重要，而基于深度学习的方法蕴藏着巨大的潜能，在计算机视觉领域的应用发展如火如荼，成为当今及未来的趋势。更进一步，实时准确地检测定位视频中的场景文本并进行物体识别，对治安监控安防、无人机飞行、自动驾驶等场景有着重要的应用。对于视频内容的理解和识别等工作，过去都是通过人工手段来完成，这无疑是费时费力且低效的一种方式，近年来国内外学者提出了很多提取视觉特征的深度神经网络模型，同时部分学者开始研究深度神经网络在视频领域的应用，提出了一些用于视频动作识别和特征提取的网络；在视频内容检索方面目前也引入了深度神经网络用于从视频中提取结构化信息。到目前为止，深度卷积神经网络己经是目标检测算法的通用方法，目前高性能的物体检测算法和最新的研究也都是基于深度卷积神经网络。为了提高目标检测网络的速度，Liu等人提出了SSD网络该网络通过在不同尺寸的特征图上进行目标类别分类和位置回归，利用不同的尺寸特征图来检测不同尺寸的目标，省去了RPN网络从而大大提高了网络的速度；更进一步，Redmon等人提出了YOLO网络，该网络将原图分成了7x7大小的区域，对每个区域直接通过神经网络进行目标类别分类和位置回归，省去了不同尺寸特征图的分类和回归操作，使得目标检测网络速度进一步提升。SSD和YOLO网络相比于Fast-RCNN在检测精度上略有下降。除此之外，基于以上三种模型的思路，还有很多其他的物体检测网络模型被提出。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于深度学习的无人机航拍视频内容识别方法、装置及系统，可有效解决航拍视频物体检测中存在的类别识别和位置定位相互影响的问题。为了解决上述技术问题，本专利技术提供了一种基于深度学习的无人机航拍视频内容识别方法，包括：实时获取无人机拍摄的视频图像；对所述视频图像进行抽帧处理以提取样本图像，对所述样本图像进行预处理；对所述样本图像中的待识别物体进行标注，生成物体类别数据库；利用数据增强技术扩充所述物体类别数据库；利用扩充后的物体类别数据库训练深度神经网络模型，所述深度神经网络模型为SSD网络模型，所述SSD网络模型包括多分支卷积结构及多尺度特征图融合结构；使用训练好的深度神经网络模型识别所述视频图像，以输出每个物体类别的位置信息与尺寸信息。作为上述方案的改进，所述对样本图像进行预处理的步骤包括：使用畸变矫正算法对所述样本图像进行矫正处理，以形成规整平面的样本图像；对矫正处理后的样本图像进行压缩处理，以使所述样本图像达到能够进行目标识别的目标尺寸。作为上述方案的改进，所述对样本图像中的待识别物体进行标注的方法包括人工标注法和/或图像目标检测算法。作为上述方案的改进，所述利用数据增强技术扩充物体类别数据库的步骤包括：以随机概率叠加的方式对所述物体类别数据库中的样本图像进行数据增强处理，所述数据增强处理包括旋转处理、填充式裁剪处理及灰度化数据处理。作为上述方案的改进，所述利用扩充后的物体类别数据库训练深度神经网络模型的步骤包括：将所述物体类别数据库中的多个样本图像输入所述深度神经网络模型；将多个所述样本图像通过多分支卷积层分别进行卷积处理；将经卷积处理后的多个样本图像分别进行归一化处理，以生成尺度的特征图；将所有特征图进行特征融合处理；将经拼接处理后的特征图通过卷积层进行卷积处理，以生成分支卷积特征图。作为上述方案的改进，所述将所有特征图进行特征融合处理的步骤包括：将所有特征图进行尺寸统一处理；在统一尺寸后的每一特征图上分别进行类别识别及位置定位处理；将识别及定位处理后的所有特征图按照加权方式进行特征融合处理。相应地，本专利技术还提供了一种基于深度学习的无人机航拍视频内容识别装置，包括：获取模块，用于实时获取无人机拍摄的视频图像；预处理模块，用于对所述视频图像进行抽帧处理以提取样本图像，对所述样本图像进行预处理；标注模块，用于对所述样本图像中的待识别物体进行标注，生成物体类别数据库；扩充模块，用于利用数据增强技术扩充所述物体类别数据库；训练模块，用于利用扩充后的物体类别数据库训练深度神经网络模型，所述深度神经网络模型为SSD网络模型，所述SSD网络模型包括多分支卷积结构及多尺度特征图融合结构；识别模块，用于使用训练好的深度神经网络模型识别所述视频图像，以输出每个物体类别的位置信息与尺寸信息。作为上述方案的改进，所述训练模块包括：输入单元，用于将所述物体类别数据库中的多个样本图像输入所述深度神经网络模型；第一卷积单元，用于将多个样本图像通过多分支卷积层分别进行卷积处理；归一化单元，用于将经卷积处理后的多个样本图像分别进行归一化处理，以生成尺度的特征图；融合单元，用于将所有特征图进行特征融合处理；第二卷积单元，用于将经拼接处理后的特征图通过卷积层进行卷积处理，以生成分支卷积特征图。作为上述方案的改进，所述融合单元包括：尺寸调整子单元，用于将所有特征图进行尺寸统一处理；识别定位子单元，用于在统一尺寸后的每一特征图上分别进行类别识别及位置定位处理；特征融合子单元，用于将识别及定位处理后的所有特征图按照加权方式进行特征融合处理。相应地，本专利技术还提供了一种基于深度学习的无人机航拍视频内容识别系统，包括无人机平台及无人机航拍视频内容识别装置，所述无人机平台为搭载可见光相机和热红外相机，并进行多源影像采集的平台。实施本专利技术，具有如下有益效果：本专利技术对现有的SSD网络模型进行了改进，在SSD网络模型基础上增加多分支卷积结构来提高网络对小目标的检测性能，并采用多尺度特征图融合结构对多尺度的特征图进行不同尺度的特征图融合，利用扩充后的物体类别数据库来训练深度神经网络模型，解决了航拍视频物体检测中存在的类别识别和位置定位相互影响的问题。附图说明图1是本专利技术基于深度学习的无人机航拍视频内容识别方法的实施例流程图；图2是本专利技术中利用扩充后的物体类别数据库训练深度神经网络模型的实施例流程图；图3是本专利技术中SSD网络模型的多分支卷积的结构示意图；图4是本专利技术中SSD网络模型的多尺度特征图融合结构的示意图；图5是本专利技术中SSD网络模型的示意图；图6是本专利技术基于深度学习的无人机航拍视频内容识别系统的结构示意图；图7是本专利技术基于深度学习的无人机航拍视频内容识别装置的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述。参见图1，图1显示了本专利技术基于深度学习的无人机航拍视频内容识别方法的实施例流程图，其包括：S101，实时获取无人机拍摄的视频图像。本专利技术通过无人机在低空进行俯视拍摄，并把拍摄到的本文档来自技高网...

【技术保护点】
1.一种基于深度学习的无人机航拍视频内容识别方法，其特征性在于，包括：/n实时获取无人机拍摄的视频图像；/n对所述视频图像进行抽帧处理以提取样本图像，对所述样本图像进行预处理；/n对所述样本图像中的待识别物体进行标注，生成物体类别数据库；/n利用数据增强技术扩充所述物体类别数据库；/n利用扩充后的物体类别数据库训练深度神经网络模型，所述深度神经网络模型为SSD网络模型，所述SSD网络模型包括多分支卷积结构及多尺度特征图融合结构；/n使用训练好的深度神经网络模型识别所述视频图像，以输出每个物体类别的位置信息与尺寸信息。/n

【技术特征摘要】
1.一种基于深度学习的无人机航拍视频内容识别方法，其特征性在于，包括：
实时获取无人机拍摄的视频图像；
对所述视频图像进行抽帧处理以提取样本图像，对所述样本图像进行预处理；
对所述样本图像中的待识别物体进行标注，生成物体类别数据库；
利用数据增强技术扩充所述物体类别数据库；
利用扩充后的物体类别数据库训练深度神经网络模型，所述深度神经网络模型为SSD网络模型，所述SSD网络模型包括多分支卷积结构及多尺度特征图融合结构；
使用训练好的深度神经网络模型识别所述视频图像，以输出每个物体类别的位置信息与尺寸信息。


2.如权利要求1所述的基于深度学习的无人机航拍视频内容识别方法，其特征性在于，所述对样本图像进行预处理的步骤包括：
使用畸变矫正算法对所述样本图像进行矫正处理，以形成规整平面的样本图像；
对矫正处理后的样本图像进行压缩处理，以使所述样本图像达到能够进行目标识别的目标尺寸。


3.如权利要求1所述的基于深度学习的无人机航拍视频内容识别方法，其特征性在于，所述对样本图像中的待识别物体进行标注的方法包括人工标注法和/或图像目标检测算法。


4.如权利要求1所述的基于深度学习的无人机航拍视频内容识别方法，其特征性在于，所述利用数据增强技术扩充物体类别数据库的步骤包括：
以随机概率叠加的方式对所述物体类别数据库中的样本图像进行数据增强处理，所述数据增强处理包括旋转处理、填充式裁剪处理及灰度化数据处理。


5.如权利要求1所述的基于深度学习的无人机航拍视频内容识别方法，其特征性在于，所述利用扩充后的物体类别数据库训练深度神经网络模型的步骤包括：
将所述物体类别数据库中的多个样本图像输入所述深度神经网络模型；
将多个所述样本图像通过多分支卷积层分别进行卷积处理；
将经卷积处理后的多个样本图像分别进行归一化处理，以生成尺度的特征图；
将所有特征图进行特征融合处理；
将经拼接处理后的特征图通过卷积层进行卷积处理，以生成分支卷积特征图。


6.如权利要求5所述的基于深度学习的无人机航拍视频内容识别方法，其特征性在于，所述将所有特征图进行特征融...

【专利技术属性】
技术研发人员：吴晓琳，杜永红，张凯，夏林元，杨嘉贺，
申请(专利权)人：佛山聚卓科技有限公司，
类型：发明
国别省市：广东;44