一种基于无人机的桥梁检测方法及系统技术方案

本申请提供一种基于无人机的桥梁检测方法及系统，通过构建包括多个第一图像块的拟识别桥梁航拍图像集；对于每一第一图像块，依据第一图像块和预设的第一图像数据集确定第一图像块对应的第一描述知识集合，第一描述知识集合包括第一纹理描述知识、第一颜色描述知识和第一图像块描述知识；将多种第一描述知识进行知识交互，确定第一图像块对应的第一交互描述知识；依据第一交互描述知识确定第一图像块对应的一个第一异常解析描述知识，得到多个第一图像块对应的多个第一异常解析描述知识；通过目标桥梁异常识别网络进行异常识别，确定异常识别结果，本申请从桥梁航拍图像的颜色、纹理和图像块多方面对桥梁航拍图像进行异常检测识别，检测准确性高。检测准确性高。检测准确性高。

【技术实现步骤摘要】
一种基于无人机的桥梁检测方法及系统


[0001]本申请涉及但不限于数据处理、机器学习
，尤其涉及一种基于无人机的桥梁检测方法及系统。

技术介绍

[0002]民用无人机通过配置不同的设备，可以在不同领域执行以往人力难以轻松执行的任务。例如电力巡检、农业保险、环保、影视剧拍摄、快递投递、灾后救援等等。而在桥梁检测领域，通过装配高清数码摄像机、照相机以及GPS定位系统的无人机，沿着桥梁进行定位自主巡航，实时传送航拍的桥梁图像，通过与之通信连接的计算机设备进行图像分析识别，完成桥梁的异常监测工作。无人机可以到达人力难以企及的建筑死角进行拍摄，且检测的速度也远高于人力。其中，检测的效率和准确性还取决于后续的图像识别检测，现有技术中，对于航拍的桥梁图像检测，识别方式单一，精度和效率还有较大的提升空间。

技术实现思路

[0003]有鉴于此，本申请实施例至少提供一种基于无人机的桥梁检测方法。
[0004]本申请实施例的技术方案是这样实现的：一方面，本申请实施例提供一种基于无人机的桥梁检测方法，应用于与无人机通信连接的计算机设备，所述方法包括：获取至少一个无人机发送的多张桥梁航拍图像，构建得到拟识别桥梁航拍图像集，所述拟识别桥梁航拍图像集包括多个第一图像块；对于所述多个第一图像块中的每一第一图像块，依据所述第一图像块和预设的第一图像数据集确定所述第一图像块对应的第一描述知识集合，所述第一描述知识集合包括多种第一描述知识，分别为第一纹理描述知识、第一颜色描述知识和第一图像块描述知识；将所述第一图像块对应的所述第一纹理描述知识、所述第一颜色描述知识和所述第一图像块描述知识在中间层维数上进行融合，得到第一融合知识；获取所述目标桥梁异常识别网络对应的目标维数；通过所述目标维数对所述第一融合知识进行描述知识维数优化，得到第一图像块对应的第一交互描述知识，其中，所述第一交互描述知识对应的第一中间层维数与所述目标维数对应的第二中间层维数一致；依据所述第一交互描述知识确定所述第一图像块对应的一个第一异常解析描述知识，得到所述多个第一图像块对应的多个第一异常解析描述知识；其中，依据所述第一交互描述知识确定所述第一图像块对应的一个第一异常解析描述知识时，包括：依据所述拟识别桥梁航拍图像集确定所述各第一图像块对应的第一图像分布描述知识与第一区域分割描述知识，对所述第一交互描述知识、所述第一图像块对应的第一图像分布描述知识和所述第一图像块对应的第一区域分割描述知识进行整合，得到所述第一图像块对应的一个第一异常解析描述知识；其中，所述第一图像分布描述知识是表示第一图像块在拟识别桥
梁航拍图像集中分布位置的特征向量，所述第一区域分割描述知识是表示拟识别桥梁航拍图像集的图像区域分割的特征向量；通过目标桥梁异常识别网络对所述多个第一异常解析描述知识进行异常识别，以确定所述拟识别桥梁航拍图像集对应的异常识别结果。
[0005]在一些实施例中，所述依据所述第一图像块和预设的第一图像数据集确定所述第一图像块对应的第一描述知识集合，包括：依据所述第一图像块和预设的第一图像数据集确定所述第一图像块对应的第一图像特征数据，所述第一图像特征数据包括多种第一图像特征数据：第一纹理图像特征数据、第一颜色图像特征数据以及第一图像块图像特征数据；通过所述第一图像块对应的第一图像特征数据确定所述第一图像块对应的第一描述知识集合。
[0006]在一些实施例中，所述通过所述第一图像块对应的第一图像特征数据确定所述第一图像块对应的第一描述知识集合，包括：对于所述第一图像块对应的第一图像特征数据中的各第一图像特征数据，依据所述第一图像特征数据、目标特征编码网络和目标第一分类映射网络确定对应的第一描述知识，得到所述第一图像块对应的第一描述知识集合。
[0007]在一些实施例中，所述依据所述第一图像特征数据、目标特征编码网络和目标第一分类映射网络确定对应的第一描述知识，包括：对于所述第一图像特征数据，确定所述第一图像特征数据的特征容量是否满足预设的特征容量；如果所述第一图像特征数据的特征容量满足预设的特征容量，则依据所述第一图像特征数据、目标特征编码网络和目标第一分类映射网络确定所述第一图像特征数据对应的第一描述知识；如果所述第一图像特征数据的特征容量未满足预设的特征容量，则基于预设补充图像特征对所述第一图像特征数据进行补充，将所述第一图像特征数据补充至容量满足所述预设的特征容量后，依据补充后的第一图像特征数据、目标特征编码网络和目标第一分类映射网络确定所述第一图像特征数据对应的第一描述知识。
[0008]在一些实施例中，所述方法还包括：获取桥梁模板图像集，所述桥梁模板图像集包括多个桥梁模板图像块；确定所述桥梁模板图像集对应的多个第二图像特征数据，包括纹理图像特征数据、颜色图像特征数据和图像块图像特征数据；其中，所述纹理图像特征数据包括每个所述桥梁模板图像块的第二纹理图像特征数据，所述颜色图像特征数据包括每个所述桥梁模板图像块的第二颜色图像特征数据和所述图像块图像特征数据包括每个所述桥梁模板图像块的第二图像块图像特征数据；对于所述多个图像特征数据中的每个图像特征数据进行屏蔽操作，得到多个屏蔽集，其中，每个图像特征数据至少对应一个屏蔽集，每个所述屏蔽集包括多个临时图像特征数据；其中，所述屏蔽操作是对所述图像特征数据进行掩码，得到的所述屏蔽集是针对图像特征数据进行掩码后得到的特征序列，屏蔽集中的多个图像特征数据为屏蔽集中的临时图像特征数据；
对于所述多个屏蔽集中的各屏蔽集，将所述屏蔽集输入原始神经网络，得到所述屏蔽集中屏蔽分布信息对应的推理图像特征数据，其中，所述原始神经网络包括原始描述知识抽取网络、原始知识交互网络、原始异常载体构建网络和原始桥梁异常识别网络，所述原始描述知识抽取网络用于确定所述屏蔽集中每个临时图像特征数据对应的第二描述知识集合，所述第二描述知识集合包括多种第二描述知识，分别为第二纹理描述知识、第二颜色描述知识和第二图像块描述知识；所述原始知识交互网络用于依据所述第二描述知识集合确定所述屏蔽集中每个临时图像特征数据对应的第二交互描述知识，所述原始异常载体构建网络用于依据所述第二交互描述知识确定所述原始桥梁异常识别网络的输入数据，所述原始桥梁异常识别网络用于依据所述输入数据确定所述屏蔽集中屏蔽分布信息对应的推理图像特征数据；依据所述多个屏蔽集中各屏蔽集中的屏蔽分布信息对应的推理图像特征数据，与所述多个屏蔽集中各屏蔽集中的屏蔽分布信息对应的第二图像特征数据，对所述原始神经网络进行调试，得到目标神经网络，所述目标神经网络包括目标描述知识抽取网络、目标知识交互网络、目标异常载体构建网络和目标桥梁异常识别网络。
[0009]在一些实施例中，所述对于每个图像特征数据进行屏蔽操作，得到所述图像特征数据对应的屏蔽集，包括：获取预设屏蔽占比；获取所述图像特征数据中的多个第二图像特征数据的数目；依据所述预设屏蔽占比与所述多个第二图像特征数据的数目确定所述图像特征数据中拟进行屏蔽的第二图像特征数据的目标数目；对所述图像特征数据中，所述目标数目的第二图像特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机的桥梁检测方法，其特征在于，应用于与无人机通信连接的计算机设备，所述方法包括：获取至少一个无人机发送的多张桥梁航拍图像，构建得到拟识别桥梁航拍图像集，所述拟识别桥梁航拍图像集包括多个第一图像块；对于所述多个第一图像块中的每一第一图像块，依据所述第一图像块和预设的第一图像数据集确定所述第一图像块对应的第一描述知识集合，所述第一描述知识集合包括多种第一描述知识，分别为第一纹理描述知识、第一颜色描述知识和第一图像块描述知识；将所述第一图像块对应的所述第一纹理描述知识、所述第一颜色描述知识和所述第一图像块描述知识在中间层维数上进行融合，得到第一融合知识；获取所述目标桥梁异常识别网络对应的目标维数；通过所述目标维数对所述第一融合知识进行描述知识维数优化，得到第一图像块对应的第一交互描述知识，其中，所述第一交互描述知识对应的第一中间层维数与所述目标维数对应的第二中间层维数一致；依据所述第一交互描述知识确定所述第一图像块对应的一个第一异常解析描述知识，得到所述多个第一图像块对应的多个第一异常解析描述知识；其中，依据所述第一交互描述知识确定所述第一图像块对应的一个第一异常解析描述知识时，包括：依据所述拟识别桥梁航拍图像集确定所述各第一图像块对应的第一图像分布描述知识与第一区域分割描述知识，对所述第一交互描述知识、所述第一图像块对应的第一图像分布描述知识和所述第一图像块对应的第一区域分割描述知识进行整合，得到所述第一图像块对应的一个第一异常解析描述知识；其中，所述第一图像分布描述知识是表示第一图像块在拟识别桥梁航拍图像集中分布位置的特征向量，所述第一区域分割描述知识是表示拟识别桥梁航拍图像集的图像区域分割的特征向量；通过目标桥梁异常识别网络对所述多个第一异常解析描述知识进行异常识别，以确定所述拟识别桥梁航拍图像集对应的异常识别结果。2.根据权利要求1所述的方法，其特征在于，所述依据所述第一图像块和预设的第一图像数据集确定所述第一图像块对应的第一描述知识集合，包括：依据所述第一图像块和预设的第一图像数据集确定所述第一图像块对应的第一图像特征数据，所述第一图像特征数据包括多种第一图像特征数据：第一纹理图像特征数据、第一颜色图像特征数据以及第一图像块图像特征数据；通过所述第一图像块对应的第一图像特征数据确定所述第一图像块对应的第一描述知识集合。3.根据权利要求2所述的方法，其特征在于，所述通过所述第一图像块对应的第一图像特征数据确定所述第一图像块对应的第一描述知识集合，包括：对于所述第一图像块对应的第一图像特征数据中的各第一图像特征数据，依据所述第一图像特征数据、目标特征编码网络和目标第一分类映射网络确定对应的第一描述知识，得到所述第一图像块对应的第一描述知识集合。4.根据权利要求3所述的方法，其特征在于，所述依据所述第一图像特征数据、目标特征编码网络和目标第一分类映射网络确定对应的第一描述知识，包括：对于所述第一图像特征数据，确定所述第一图像特征数据的特征容量是否满足预设的
特征容量；如果所述第一图像特征数据的特征容量满足预设的特征容量，则依据所述第一图像特征数据、目标特征编码网络和目标第一分类映射网络确定所述第一图像特征数据对应的第一描述知识；如果所述第一图像特征数据的特征容量未满足预设的特征容量，则基于预设补充图像特征对所述第一图像特征数据进行补充，将所述第一图像特征数据补充至容量满足所述预设的特征容量后，依据补充后的第一图像特征数据、目标特征编码网络和目标第一分类映射网络确定所述第一图像特征数据对应的第一描述知识。5.根据权利要求1~4任一项所述的方法，其特征在于，所述方法还包括：获取桥梁模板图像集，所述桥梁模板图像集包括多个桥梁模板图像块；确定所述桥梁模板图像集对应的多个第二图像特征数据，包括纹理图像特征数据、颜色图像特征数据和图像块图像特征数据；其中，所述纹理图像特征数据包括每个所述桥梁模板图像块的第二纹理图像特征数据，所述颜色图像特征数据包括每个所述桥梁模板图像块的第二颜色图像特征数据和所述图像块图像特征数据包括每个所述桥梁模板图像块的第二图像块图像特征数据；对于所述多个图像特征数据中的每个图像特征数据...

【专利技术属性】
技术研发人员：肖佑铭，徐锐，许维平，喻琳，张南，张君翼，
申请(专利权)人：贵州交投高新科技有限公司，
类型：发明
国别省市：