本发明专利技术提供了一种面向增强现实设备的桥梁裂缝识别方法及装置，涉及智能检测技术领域，包括获取实时视频流并对实时视频流进行逐帧切片处理得到帧序列图像；对帧序列图像进行图像特征提取生成至少一个用于检测裂缝目标的锚框，并计算得到每个锚框中裂缝的预测类别和边界偏移量；根据边界偏移量调整锚框的边界框位置生成识别图像，每个识别图像中包含一个完整的裂缝；将所有识别图像和预测类别按照时间顺序打包为关键帧信息元组；根据关键帧信息元组的信息和实时视频流对铁路桥梁进行二次检测，并将检测结果进行上传。本发明专利技术通过采用轻量级卷积神经网络模型和锚框检测技术，实现对桥梁裂缝的快速、准确识别和定位。准确识别和定位。准确识别和定位。
【技术实现步骤摘要】
一种面向增强现实设备的桥梁裂缝识别方法及装置
[0001]本专利技术涉及智能检测
，具体而言，涉及一种面向增强现实设备的桥梁裂缝识别方法及系统。
技术介绍
[0002]铁路桥梁是铁路交通系统中不可或缺的基础设施，其在保障铁路安全和运营的稳定性方面发挥着至关重要的作用。然而，由于铁路桥梁长期受到列车荷载、自然灾害和人为因素等的影响，桥梁表面往往会出现裂缝等缺陷，这些缺陷如果得不到及时发现和修复，可能会导致桥梁结构的严重损伤，甚至威胁到行车安全。目前，对于铁路桥梁的缺陷检测主要采用人工检测，但是利用人工检测的作业方式往往费时费力且容易受到作业空间条件的限制,导致其在实际应用中缺乏效率。
[0003]本专利技术针对铁路桥梁裂缝检测问题，提出了一种面向增强现实设备的桥梁裂缝识别方法。该方法通过AR眼镜的光学摄像头采集桥梁表面实时视频流，利用深度学习算法进行图像特征提取和裂缝目标检测，最终生成增强现实图像。
技术实现思路
[0004]本专利技术的目的在于提供一种面向增强现实设备的桥梁裂缝识别方法及装置，以改善上述问题。为了实现上述目的，本专利技术采取的技术方案如下：第一方面，本申请提供了一种面向增强现实设备的桥梁裂缝识别方法，包括：获取实时视频流并对所述实时视频流进行逐帧切片处理得到帧序列图像，所述实时视频流为铁路桥梁巡检人员通过AR眼镜的光学摄像头采集得到；对所述帧序列图像进行图像特征提取生成至少一个用于检测裂缝目标的锚框，并计算得到每个所述锚框中裂缝的预测类别和边界偏移量；根据所述边界偏移量调整所述锚框的边界框位置生成识别图像，每个所述识别图像中包含一个完整的裂缝；将所有所述识别图像和所述预测类别按照时间顺序打包为关键帧信息元组；根据所述关键帧信息元组的信息和所述实时视频流对铁路桥梁进行二次检测，并将检测结果进行上传。
[0005]第二方面，本申请还提供了一种面向增强现实设备的桥梁裂缝识别装置，包括：获取模块，用于获取实时视频流并对所述实时视频流进行逐帧切片处理得到帧序列图像，所述实时视频流为铁路桥梁巡检人员通过AR眼镜的光学摄像头采集得到；提取模块，用于对所述帧序列图像进行图像特征提取生成至少一个用于检测裂缝目标的锚框，并计算得到每个所述锚框中裂缝的预测类别和边界偏移量；调整模块，用于根据所述边界偏移量调整所述锚框的边界框位置生成识别图像，每个所述识别图像中包含一个完整的裂缝；打包模块，用于将所有所述识别图像和所述预测类别按照时间顺序打包为关键帧
信息元组；检测模块，用于根据所述关键帧信息元组的信息和所述实时视频流对铁路桥梁进行二次检测，并将检测结果进行上传。
[0006]本专利技术的有益效果为：本专利技术通过采用轻量级卷积神经网络模型和锚框检测技术，实现对桥梁裂缝的快速、准确识别和定位，并将识别结果通过无线网络发送到远程AR设备和数据库中进行实时监测和管理，具有裂缝识别准确度高、识别速度快的优点。
[0007]本专利技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术实施例了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0008]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0009]图1为本专利技术实施例中所述的面向增强现实设备的桥梁裂缝识别方法流程示意图;图2为本专利技术实施例中所述的面向增强现实设备的桥梁裂缝识别装置结构示意图。
[0010]图中标记：1、获取模块；2、提取模块；21、第一提取单元；211、第三提取单元；212、第一采样单元；213、第二采样单元；214、第一组合单元；22、第二提取单元；23、第一分类单元；3、调整模块；31、第一计算单元；32、第一调整单元；33、第一筛选单元；34、第一裁剪单元；4、打包模块；41、第一打包单元；42、第一排序单元；43、第一赋值单元；44、第一发送单元；5、检测模块；51、第一处理单元；52、第二处理单元；53、第三处理单元；54、第四处理单元。
具体实施方式
[0011]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0012]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
[0013]本实施例提供了一种面向增强现实设备的桥梁裂缝识别方法。
[0014]参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400和步骤S500。
[0015]步骤S100、获取实时视频流并对实时视频流进行逐帧切片处理得到帧序列图像，实时视频流为铁路桥梁巡检人员通过AR眼镜的光学摄像头采集得到。
[0016]可以理解的是，在本步骤中，通过获取实时视频流，可以得到铁路桥梁的视觉信息，进而实现对裂缝的自动识别和二次检测。采用AR眼镜进行图像采集，可以方便巡检人员实时观察铁路桥梁的状态。提高了巡检人员的工作效率。
[0017]步骤S200、对帧序列图像进行图像特征提取生成至少一个用于检测裂缝目标的锚框，并计算得到每个锚框中裂缝的预测类别和边界偏移量。
[0018]可以理解的是，在本步骤中，通过对帧序列图像进行图像特征提取，并在提取的特征图中生成锚框，用于定位图像中的裂缝目标。提高了对裂缝目标的检测精度和准确度，同时减少了对人力的依赖。需要说明的是，步骤S200包括步骤S210、步骤S220和步骤S230。
[0019]步骤S210、使用预设的轻量级卷积神经网络模型对帧序列图像进行特征提取得到特征图，并在特征图中生成至少一个锚框。
[0020]可以理解的是，在本步骤中，通过使用深度学习技术，利用卷积神经网络模型对图像进行特征提取，能够有效地提高裂缝检测的准确性和稳定性。其中，轻量级卷积神经网络模型的主网络结构包含了多个卷积层、池化层和全连接层，以及一个使用改进Softmax作为激活函数的输出层。该网络的输入是一个224x224大小的彩色图像，其中的RGB通道被分成了64个通道本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向增强现实设备的桥梁裂缝识别方法，其特征在于，包括：获取实时视频流并对所述实时视频流进行逐帧切片处理得到帧序列图像，所述实时视频流为铁路桥梁巡检人员通过AR眼镜的光学摄像头采集得到；对所述帧序列图像进行图像特征提取生成至少一个用于检测裂缝目标的锚框，并计算得到每个所述锚框中裂缝的预测类别和边界偏移量；根据所述边界偏移量调整所述锚框的边界框位置生成识别图像，每个所述识别图像中包含一个完整的裂缝；将所有所述识别图像和所述预测类别按照时间顺序打包为关键帧信息元组；根据所述关键帧信息元组的信息和所述实时视频流对铁路桥梁进行二次检测，并将检测结果进行上传。2.根据权利要求1所述的面向增强现实设备的桥梁裂缝识别方法，其特征在于，对所述帧序列图像进行图像特征提取生成至少一个用于确定裂缝位置的锚框，并计算得到每个所述锚框中裂缝的危险等级信息和边界偏移量，包括：使用预设的轻量级卷积神经网络模型对所述帧序列图像进行特征提取得到特征图，并在所述特征图中生成至少一个锚框；根据所述特征图提取出所述锚框检测区域的特征向量，所述特征向量表示所述锚框内裂缝图像的信息；根据所述特征向量对所述锚框进行分类和回归预测，得到每个锚框中裂缝的预测类别和边界偏移量，所述预测类别表示裂缝的大小和危险程度。3.根据权利要求2所述的面向增强现实设备的桥梁裂缝识别方法，其特征在于，使用预设的轻量级卷积神经网络模型对所述帧序列图像进行特征提取得到特征图，并在所述特征图中生成至少一个锚框，包括：使用预设的轻量级卷积神经网络模型对输入的帧序列图像进行特征提取，得到至少两种尺寸的特征图；对所述特征图进行下采样，将特征信息叠加至通道维度得到特征向量；对所述特征图进行上采样，将不同层的特征图进行通道维度拼接，得到融合了图像的高层与低层语义信息的特征信息；将一种尺寸的所述特征图、所述特征图对应的所述特征向量和所述特征图对应的所述特征信息组合，得到至少一个锚框。4.根据权利要求1所述的面向增强现实设备的桥梁裂缝识别方法，其特征在于，根据所述边界偏移量调整所述锚框的边界框位置生成识别图像，包括：根据所述边界偏移量，计算每个所述锚框的位置偏移量；根据所述位置偏移量，对每个所述锚框进行位置调整，得到预测边界框集合；根据预设的规则对所述预测边界框集合进行筛选，得到置信度最高的预测边界框；将每个所述预测边界框对应的图像进行裁剪，得到包含完整裂缝的识别图像。5.根据权利要求1所述的面向增强现实设备的桥梁裂缝识别方法，其特征在于，将所有所述识别图像和所述预测类别按照时间顺序打包为关键帧信息元组，包括：根据所述识别图像中的每一帧图像中提取裂缝的相关信息并打包为关键帧信息元组；将所有的所述关键帧信息元组按照时间顺序进行排序；
将排序后的每个所述关键帧信息元组中添加事件发生时间、地点、裂缝的位置、大小和危险等级；将处理好的所述关键帧信息元组通过无线网络发送到远程AR设备，并将所述关键帧信息元组以结构化模式存储到数据库中。6.一种面向增强现实设备...
【专利技术属性】
技术研发人员：田东，张崇斌，赵青，单桂华，
申请(专利权)人：中铁工程设计咨询集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。