基于无人机的无人值守智能监控系统及其方法技术方案

一种基于无人机的无人值守智能监控系统及其方法，其获取由无人机采集的施工监控图像；利用无人机采集的施工监控视频，通过深度学习和人工智能技术来自动识别道路目标区域内是否存在占道施工的现象，以提高道路监管的效率和覆盖面，并为城市管理部门提供可靠的数据支持。据支持。据支持。

【技术实现步骤摘要】
基于无人机的无人值守智能监控系统及其方法


[0001]本申请涉及智能化监控
，并且更具体地，涉及一种基于无人机的无人值守智能监控系统及其方法。

技术介绍

[0002]占道施工会影响道路通行能力，造成交通拥堵和安全隐患，给城市管理带来挑战。
[0003]目前，对占道施工的监管主要依靠人工巡查和投诉举报，效率低下，难以覆盖全时段和全区域。因此，期待一种解决方案。

技术实现思路

[0004]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于无人机的无人值守智能监控系统及其方法，其获取由无人机采集的施工监控图像；利用无人机采集的施工监控视频，通过深度学习和人工智能技术来自动识别道路目标区域内是否存在占道施工的现象，以提高道路监管的效率和覆盖面，并为城市管理部门提供可靠的数据支持。
[0005]第一方面，提供了一种基于无人机的无人值守智能监控系统，其包括：监控图像采集模块，用于获取由无人机采集的施工监控图像；道路区域识别模块，用于将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；道路空间特征提取模块，用于将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；施工区域提取模块，用于基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；施工空间特征提取模块，用于将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；空间关联特征提取模块，用于将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；一致性优化模块，用于对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及监控结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。
[0006]第二方面，提供了一种基于无人机的无人值守智能监控方法，其包括：获取由无人机采集的施工监控图像；将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及
将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。
附图说明
[0007]为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0008]图1为根据本申请实施例的基于无人机的无人值守智能监控系统的框图。
[0009]图2为根据本申请实施例的基于无人机的无人值守智能监控系统中所述道路空间特征提取模块的框图。
[0010]图3为根据本申请实施例的基于无人机的无人值守智能监控系统中所述施工空间特征提取模块的框图。
[0011]图4为根据本申请实施例的基于无人机的无人值守智能监控系统中所述一致性优化模块的框图。
[0012]图5为根据本申请实施例的基于无人机的无人值守智能监控系统中所述监控结果生成模块的框图。
[0013]图6为根据本申请实施例的基于无人机的无人值守智能监控方法的流程图。
[0014]图7为根据本申请实施例的基于无人机的无人值守智能监控方法的系统架构的示意图。
[0015]图8为根据本申请实施例的基于无人机的无人值守智能监控系统的应用场景图。
具体实施方式
[0016]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0017]除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的
的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
[0018]在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0019]需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
[0020]在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限
制性实施例。
[0021]在本申请的一个实施例中，图1为根据本申请实施例的基于无人机的无人值守智能监控系统的框图。如图1所示，根据本申请实施例的基于无人机的无人值守智能监控系统100，包括：监控图像采集模块110，用于获取由无人机采集的施工监控图像；道路区域识别模块120，用于将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；道路空间特征提取模块130，用于将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；施工区域提取模块140，用于基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；施工空间特征提取模块150，用于将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；空间关联特征提取模块160，用于将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；一致性优化模块170，用于对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及，监控结果生成模块180，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。
[0022]所述基于无人机的无人值守智能监控系统可以实现对施工现场的实时监控和检测， 1.可以提高施工现场的安全性和效率，通过实时监控，可以及时发现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机的无人值守智能监控系统，其特征在于，包括：监控图像采集模块，用于获取由无人机采集的施工监控图像；道路区域识别模块，用于将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；道路空间特征提取模块，用于将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；施工区域提取模块，用于基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；施工空间特征提取模块，用于将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；空间关联特征提取模块，用于将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；一致性优化模块，用于对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及监控结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。2.根据权利要求1所述的基于无人机的无人值守智能监控系统，其特征在于，所述道路空间特征提取模块，包括：第一卷积编码单元，用于使用所述空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述道路感兴趣区域图像进行卷积编码以得到道路卷积特征图；第一空间注意力单元，用于将所述道路卷积特征图输入所述空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到道路空间注意力图；第一激活单元，用于将所述道路空间注意力图通过Softmax激活函数以得到道路空间注意力特征图；第一空间增强单元，用于计算所述道路空间注意力特征图和所述道路卷积特征图的按位置点乘以得到道路空间增强特征图；以及第一池化单元，用于对所述道路空间增强特征图沿着通道维度进行全局均值池化以得到所述道路空间特征矩阵。3.根据权利要求2所述的基于无人机的无人值守智能监控系统，其特征在于，所述施工空间特征提取模块，包括：第二卷积编码单元，用于使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述掩码施工监控图像进行卷积编码以得到施工卷积特征图；第二空间注意力单元，用于将所述施工卷积特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到施工空间注意力图；第二激活单元，用于将所述施工空间注意力图通过Softmax激活函数以得到施工空间注意力特征图；第二空间增强单元，用于计算所述施工空间注意力特征图和所述施工卷积特征图的按位置点乘以得到施工空间增强特征图；以及第二池化单元，用于对所述施工空间增强特征图沿着通道维度进行全局均值池化以得到所述施工作业对象特征矩阵。4.根据权利要求3所述的基于无人机的无人值守智能监控系统，其特征在于，所述空间关联特征提取模块，用于：使用所述基于第三卷积神经网络模型的空间关联特征提取器的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于第三卷积神经网络模型的空间关联特征提取器的最后一层的输出为所述分类特征图，所述基于第三卷积神经网络模型的空间关联特征提取器的第一层的输入为所述输入张量。5.根据权利要求4所述的基于无人机的无人值守智能监控系统，其特征在于，所述一致性优化模块，包括：逐片近似因数计算单元，用于计算所述分类特征图的每个特征矩阵的基

【专利技术属性】
技术研发人员：左欢金，
申请(专利权)人：广东特视能智能科技有限公司，
类型：发明
国别省市：