【技术实现步骤摘要】
一种基于无人机的高精度实时裂缝检测平台
[0001]本专利技术属于建筑物损伤检测领域，具体涉及一种基于无人机的高精度实时裂缝检测平台。
技术介绍
[0002]在建筑业的发展过程中，混凝土因为低成本的材料、良好的抗压性能和较高的耐久性在土木工程施工中占据了主导地位，在工程项目中广泛应用。近代科学对混凝土的细观研究和大量的工程实践经验表明：钢筋混凝土结构中的裂缝不可避免。但当钢筋混凝土结构中的裂缝发展程度过大时，一方面，裂缝的存在会影响整个结构的美观性，另一方面，裂缝的出现会降低结构的整体性和刚度，进而影响到整个结构的安全性，有可能造成巨大的生命财产损失。因此，测量裂缝的状态用于检查裂缝的形态变化发展及稳定性，据此来分析判断裂缝对结构的影响程度，对建筑物的正常使用和避免人民生命财产损失有着十分重要的意义。
[0003]为了实现裂缝检测的自动化，有必要在硬件设备上部署裂缝检测算法。此外，由于难以手动收集高层结构和桥梁等基础设施的图像信息，因此使用大型检查设备进行图像采集在效率和安全性方面更为有利。由于其良好的机动性和较宽的...
【技术保护点】
【技术特征摘要】
1.一种基于无人机的高精度实时裂缝检测平台，其特征在于，所述无人机上搭载有单目或双目相机、惯性测量单元IMU、机载电脑和机载雷达；所述单目或双目相机、惯性测量单元IMU和机载雷达的输出与机载电脑连接；所述单目相机用于获取不带深度信息的图像；所述双目相机用于获取左目和右目两张图像，并通过双目立体匹配算法计算出的深度图；所述机载雷达用于获取目标的点云数据；所述机载电脑运行软件，包括：轻量化的裂缝分类模块、轻量化的裂缝分割模块、裂缝位置信息计算模块、高精度的裂缝分割模块、裂缝几何信息提取模块和无人机飞行控制模块；所述轻量化的裂缝分类模块用于判断单目或双目相机拍摄的图像中是否存在裂缝；所述轻量化的裂缝分割模块用于识别存在裂缝的图像中裂缝在图像坐标系下的坐标；所述裂缝位置信息计算模块利用双目相机计算得到的深度图或雷达的点云数据计算出图像坐标系与相机坐标系的映射关系并求解出裂缝和无人机在世界坐标系下的相对位置信息；所述无人机飞行控制模块利用裂缝和无人机的相对位置信息和IMU数据，控制无人机平稳飞行到所检测的裂缝表面附近；所述高精度的裂缝分割模块和裂缝几何信息提取模块实现高精度的裂缝几何信息提取；无人机飞行作业工作过程中，设于无人机上的单目或双目相机获取图像信息，并将采集的图像发送到轻量级裂缝分类模块、轻量级裂缝分割模块进行处理实时得到裂缝的位置信息，将裂缝的位置信息和雷达或双目相机采集的信息输入裂缝位置信息计算模块中得到裂缝与无人机的相对位置信息并输入到裂缝信息辅助的无人机飞行控制模块中，逐步使无人机接近裂缝附近；趋近过程至接近裂缝期间，无人机飞行平台将单目或双目相机采集的原始图像输入高精度裂缝分割模块提取裂缝的几何边缘信息，再通过裂缝几何信息提取模块联合裂缝位置信息计算模块实现裂缝几何信息的提取。2.根据权利要求1所述的一种基于无人机的高精度实时裂缝检测平台，其特征在于，所述轻量级裂缝分类模块使用卷积神经网络算法，并通过在神经网络中加入通道洗牌、逐点分组卷积和深度可分离卷积实现计算量的大幅降低，从而实现实时的裂缝检测；输入的图像经过多层包含通道洗牌、逐点分组卷积和深度可分离卷积构成的基本模块以及普通的卷积层、池化层等结构进行处理，最终输出结果为一个维度为1
×1×
2的张量，用以表示图像中是否存在裂缝；通过大量被标注的裂缝图像结合梯度下降法对神经网络进行训练；其中，训练时所使用的损失函数如下式所示：其中，N为图像总数；t
i
为真实值，其取值范围为0或1；p
i
为神经网络输出的数值，即图像中包含裂缝的概率值。3.根据权利要求1所述的一种基于无人机的高精度实时裂缝检测平台，其特征在于，所述轻量级裂缝分割模块使用卷积神经网络算法，并在神经网络中加入语义分支、细节分支、
特征融合模块和特征映射模块实现实时的裂缝几何边缘提取；输入的图像分别经过一个细节分支和一个语义分支，其中细节分支较多的通道数和较少的网络层数，语义分支具有较少的通道数和较多的网络层数；在细节分支和语义分支后具有一个特征融合模块用以融合两个分支的特征图，在网络的最后加入一个特征映射模块将特征图降至二维；在网络的训练阶段，针对语义分支中每一个子结构的输出结果利用特征映射模块进行特征映射，并将输出的结果与实际值进行损失函数的计算，用于增强算法的训练效果，损失函数的表达式如下式所示：式中，y为图像中某一像素处的真实值；y
′
为神经网络在该像素处的输出值；求值区间为图像中所有的像素；通过大量被像素级标注的裂缝图像结合梯度下降法对神经网络进行训练，得到最优的网络参数。4.根据权利要求1所述的一种基于无人机的高精度实时裂缝检测平台，其特征在于，所述裂缝位置信息计算模块通过将点云信息或深度图与原始图像进行匹配，结合轻量级裂缝分割模块的输出结果，计算出无人机与裂缝的相对位置信息；通过将裂缝分割结果和深度图进行数据融合，可以获得裂缝相对于无人机在相机坐标系下的坐标T，如下式所示：系下的坐标T，如下式所示：系下的坐标T，如下式所示：其中，D
t
为无人机与裂缝之间的安全距离，p为深度图中被分割为裂缝的像素在相机坐标系下的坐标。5.根据权利要求1所述的一种基于无人机的高精度实时裂缝检测平台，其特征在于，所述裂缝信息辅助的无人机飞行控制模块通过裂缝位置信息计算模块获取每一关键帧的无人机与裂缝的相对位置信息，并通过IMU数据计算得到两个关键帧之间的无人机位移信息，利用IMU数据对裂缝位置信息计算模块的计算结果进行修正实现对裂缝位置更加精确的定位，并控制无人机向计算得到的目标位置移动，实现裂缝检测过程中无人机飞行控制的自动化；流程如下：首先获得目标位置T1，然后使用GPS记录此时无人机的位置P1，并计算出无人机的预期飞行位移D1，在无人机到达目标位置前，循环进行如下操作：通过IMU传感器数据计算无人机前一关键帧时的位置P
i
‑1和当前位置P
i
之间的距离，即I
i
‑1，通过双目相机的深度图计算出此时裂缝与无人机之间的距离D
i
；其中关键帧表示利用轻量级裂缝分割模块结合双目相机的深度图成功计算出裂缝与无人机相对位置关系的视频帧；由于利用双目相机的图像通过双目立体匹配算法计算出...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。