一种基于多模态复视的路基压实质量评价方法及装备技术

本发明专利技术为一种基于多模态复视的路基压实质量评价方法及装备，安装相机群连续获取路基压实图像，所述相机群包括红外相机和至少两个RGB相机；红外相机用于获取清晰拍摄的路基的红外图像，一个RGB相机用于获取垂直拍摄的路基的低位细观图像，其余RGB相机用于获取斜视拍摄的路基的高位宏观图像；对采集的红外图像进行频域转换，得到红外频域图像；将低位细观图像、高位宏观图像、红外图像和红外频域图像构成图像数据集，压路机机械参数和路基填土参数构成参数数据集；利用图像数据集和参数数据集及对应的路基压实度训练多模态复视路基压实度预测网络，用于路基压实质量评价。提高模型准确性和鲁棒性，可应用于不同施工场景。可应用于不同施工场景。可应用于不同施工场景。

【技术实现步骤摘要】
一种基于多模态复视的路基压实质量评价方法及装备


[0001]本专利技术涉及路基工程
，具体是一种基于多模态复视的路基压实质量评价方法及装备，用于基于多模态复视信息评价路基压实质量。

技术介绍

[0002]施工质量可靠的路基能够延长道路服务年限，降低运营养护成本。施工过程中，对于路基压实质量的监测尤为重要。路基压实度是评价压实质量的常用指标。
[0003]常用的检测方法包括：灌砂法、灌水法、环刀法。该类方法均为抽样检测，具有较强的随机性。采样过程为破坏性实验，会对已建成的路基质量产生影响。耗时耗力也是该类方法存在的缺点。核子密度仪有效提升路基压实度采集频率，并且为非破坏性实验。但其存在辐射性，需妥善保管，不宜长期使用。
[0004]智能压实系统通过采集压路机钢轮的机械参数及反馈实现压实质量评价的无损检测。较高的采集频率能够实现对施工条带的连续检测。压实计值(CMV)是智能压实系统输出的无量纲间接指标。常规的智能压实系统通过CMV直接判断路基压实度的好坏。该方法存在单一的指标鲁棒性较差，准确性较低的问题。中国专利202111611914.8公开一种基于探地雷达图像的路基压实度识别方法，该方法所用设备造价昂贵是其主要缺点，难以得到广泛使用。
[0005]因此，本申请提出了一种结合多模态复视的路基压实质量评价方法，充分结合施工过程中的多模态图像数据和文本数据，为路基压实质量提供更准确的评价。

技术实现思路

[0006]针对现有技术的不足，本专利技术拟解决的技术问题是，提供一种基于多模态复视的路基压实质量评价方法及装备。
[0007]本专利技术解决所述技术问题的技术方案是：
[0008]第一方面，本专利技术提供一种基于多模态复视的路基压实质量评价方法，所述方法包括以下内容：
[0009]安装相机群连续获取路基压实图像，所述相机群包括红外相机和至少两个RGB相机；红外相机用于获取清晰拍摄的路基的红外图像，一个RGB相机用于获取垂直拍摄的路基的低位细观图像，其余RGB相机用于获取斜视拍摄的路基的高位宏观图像；
[0010]对采集的红外图像进行频域转换，得到红外频域图像；
[0011]将低位细观图像、高位宏观图像、红外图像和红外频域图像构成图像数据集，获得图像采集位置对应的压路机机械参数和路基填土参数以及对应的路基压实度，压路机机械参数和路基填土参数构成参数数据集；
[0012]构建多模态复视路基压实度预测网络，所述多模态复视路基压实度预测网络包括用于将二维信息转换成一维特征的第一网络部分和用于对多输入的一维信息进行处理的第二网络部分；所述第一网络部分的数量为RGB相机的总数量+红外相机的数量*2，第一网
络部分的输入为低位细观图像、高位宏观图像、红外图像和红外频域图像中的一种；所述第二网络部分的输入为所有第一网络部分的输出和参数数据集中的特征，第二网络部分的输出为路基压实度；
[0013]利用图像数据集和参数数据集及对应的路基压实度训练多模态复视路基压实度预测网络，训练后的多模态复视路基压实度预测网络用于路基压实质量评价。
[0014]所述多模态复视路基压实度预测网络可以为multiCNN
‑
ANN模型，使用multiCNN
‑
ANN模型输入多模态多视角多域图像和压路机机械参数、路基填土参数，输出路基压实度，其中，CNN网络构成第一网络部分，多个CNN网络并联后再连接ANN网络，所述ANN网络构成第二网络部分，ANN网络的输入还包括压路机机械参数和路基填土参数，ANN网络的输出为路基压实度；
[0015]所述多模态多视角多域图像为低位细观图像、高位宏观图像、红外图像和红外频域图像。
[0016]所述第一网络部分还可以采用densenet或resnet系列等网络结构，第二网络部分采用BP或xgboost等网络结构。
[0017]所述红外相机和所有的RGB相机同高度安装，但安装的拍摄角度不同，红外相机采用斜视拍摄，获得相对大范围的红外图像。
[0018]所述RGB相机垂直拍摄高度为50
‑
60cm，优选为50cm，拍摄角度为90
°
；RGB相机斜视拍摄高度为50
‑
60cm，优选为50cm，拍摄角度为30
°‑
60
°
；红外相机拍摄高度为50
‑
60cm，优选为50cm，拍摄角度为30
°‑
60
°
。
[0019]所述压路机机械参数包括激振力、行驶速度、压实遍数和振动频率，所述路基填土参数包括P10，第二网络部分输入节点的数量为参数数据集中的特征种类数+RGB相机的总数量+红外相机的数量*2。P10为大于10mm粒径的质量百分比。因此参数数据集的特征为激振力、行驶速度、振动频率、压实遍数和P10，特征种类数为5个。参数数据集中的特征种类还可添加含水率、液限、塑限等路基填土性质参数。参数数据集中具体特征种类根据现场实验数据进行敏感性分析得到，必须有的特征为激振力、行驶速度、振动频率、压实遍数和P10。
[0020]第二方面，本专利技术提供一种基于多模态复视的路基压实质量评价装备，所述装备包括：
[0021]用于获取清晰拍摄的路基的红外图像的红外相机；
[0022]用于获取垂直拍摄的路基的低位细观图像的RGB相机；
[0023]用于获取斜视拍摄的路基的高位宏观图像的RGB相机；
[0024]无线传输装置，用于将拍摄图像实时传回终端；
[0025]多模态复视路基压实度预测网络，用于预测路基压实度；
[0026]终端，用于对红外图像进行频域转换获得红外频域图像，并用于多模态复视路基压实度预测网络的训练和保存；
[0027]智能压实系统，用于获取压路机的压路机机械参数和路基填土参数；
[0028]数据库，用于储存低位细观图像、高位宏观图像、红外图像和红外频域图像、压路机机械参数和路基填土参数以及对应的路基压实度；
[0029]红外相机和至少两个RGB相机构成相机群，相机群安装在压路机上，数据库集成在终端中，智能压实系统连接终端，数据库连接多模态复视路基压实度预测网络。
[0030]与现有技术相比，本专利技术有益效果在于：
[0031]本专利技术是一种新型的无损检测方式，具有实时性和鲁棒性强的优势，可以在施工过程中对压实质量进行连续评价，不会对已压实的路基产生质量影响，同时适用于不同施工场景。本专利技术采用商业级相机，成本低易获得，便于推广使用。本专利技术根据昆虫复眼成像原理，采集多模态多角度的图像信息特征，并对红外图像进行频域转换，综合考虑施工过程中的压实质量变化引起的图像特征变化，多参数输入的方式可减少单一输入的模型稳定性不足问题，提高模型准确性和鲁棒性，可应用于不同施工场景。
附图说明
[0032]图1为本专利技术基于多模态复视的路基压实质量评价方法一种实施例的工作流程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态复视的路基压实质量评价方法，其特征在于，所述方法包括以下内容：安装相机群连续获取路基压实图像，所述相机群包括红外相机和至少两个RGB相机；红外相机用于获取清晰拍摄的路基的红外图像，一个RGB相机用于获取垂直拍摄的路基的低位细观图像，其余RGB相机用于获取斜视拍摄的路基的高位宏观图像；对采集的红外图像进行频域转换，得到红外频域图像；将低位细观图像、高位宏观图像、红外图像和红外频域图像构成图像数据集，获得图像采集位置对应的压路机机械参数和路基填土参数以及对应的路基压实度，压路机机械参数和路基填土参数构成参数数据集；构建多模态复视路基压实度预测网络，所述多模态复视路基压实度预测网络包括用于将二维信息转换成一维特征的第一网络部分和用于对多输入的一维信息进行处理的第二网络部分；所述第一网络部分的数量为RGB相机的总数量+红外相机的数量*2，第一网络部分的输入为低位细观图像、高位宏观图像、红外图像和红外频域图像中的一种；所述第二网络部分的输入为所有第一网络部分的输出和参数数据集中的特征，第二网络部分的输出为路基压实度；利用图像数据集和参数数据集及对应的路基压实度训练多模态复视路基压实度预测网络，训练后的多模态复视路基压实度预测网络用于路基压实质量评价。2.根据权利要求1所述的基于多模态复视的路基压实质量评价方法，其特征在于，所述多模态复视路基压实度预测网络为multiCNN
‑
ANN模型，使用multiCNN
‑
ANN模型输入多模态多视角多域图像和压路机机械参数、路基填土参数，输出路基压实度，其中，CNN网络构成第一网络部分，多个CNN网络并联后再连接ANN网络，所述ANN网络构成第二网络部分，ANN网络的输入还包括压路机机械参数和路基填土参数，ANN网络的输出为路基压实度；所述多模态多视角多域图像为低位细观图像、高位宏观图像、红外图像和红外频域图像。3.根据权利要求1所述的基于多模态复视的路基压实质量评价方法，其特征在于，所述第一网络部分采用densenet或resnet系列网络结构，第二网络部分采用BP或xgboost网络结构。4.根据权利要求1所述的基于多模态复视的路基压实质量评价方法，其特征在于，所述红外相机和所有的RGB相机同高度安装，但安装的拍摄角度不同，红...

【专利技术属性】
技术研发人员：王雪菲，李家乐，王廷锴，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：