基于多模态大模型的道路病害检测方法及装置制造方法及图纸

本申请提供的一种基于多模态大模型的道路病害检测方法及装置，通过获取道路的图像信息和所述图像信息中关于病害类型的文本信息。将所述文本信息输出到语义识别模型中确定语义信息；将所述图像信息和所述语义信息输入到多模态大模型中，确定所述道路的病害信息，能够基于多模态信息来实现道路病害的检测，能够提高检测精度。

【技术实现步骤摘要】

本申请属于道路病害检测，尤其涉及一种基于多模态大模型的道路病害检测方法及装置。

技术介绍

1、在城市规划和基础设施建设中，道路是不可或缺的关键组成部分，其状况对城市运作效率和居民生活质量具有决定性影响。然而，受时间流逝、环境因素、交通负荷以及材料老化等多重因素影响，道路结构会逐步显现出裂缝、坑槽、沉降等病害。这些病害不仅威胁行车安全，降低驾驶舒适度，还会缩短道路的使用寿命，并增加维护成本。因此，对道路病害的准确检测变得至关重要，相关技术中，提供了基于目标检测和图像分割的方法来进行道路病害检测，但是它们通常过于依赖预定义的类别，这在很大程度上制约了其在开放词汇场景下的应用能力。举个例子，若训练一个模型专门用于识别“坑槽”、“裂缝”和“网裂”等道路病害，一旦需要引入新的病害类别，往往就得重新训练整个模型，这对于大规模部署显然会带来沉重负担与极大挑战，而且相关技术中提供的方法还是存在检测精度不高的问题。

技术实现思路

1、针对上述的问题，本申请实施例提供了一种基于多模态大模型的道路病害检测方法及装置，能够提高道路病本文档来自技高网...

【技术保护点】

1.一种基于多模态大模型的道路病害检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述多模态大模型包括：骨干网络、颈部网络和检测头，所述骨干网络的输入为所述图像信息，所述骨干网络用于基于所述图像信息提取多维度的特征信息，并将多维度的所述特征信息输出到所述颈部网络，所述颈部网络的输入为多维度的所述特征信息和所述语义信息，所述颈部网络用于基于多维度的所述特征信息和所述语义信息确定融合特征信息，并输出所述融合特征信息到所述检测头，所述检测头用于基于所述融合特征信息进行检测并输出所述道路的病害信息。

3.根据权利要求2所述的方法，其特征在于，所述骨...

【技术特征摘要】

1.一种基于多模态大模型的道路病害检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述多模态大模型包括：骨干网络、颈部网络和检测头，所述骨干网络的输入为所述图像信息，所述骨干网络用于基于所述图像信息提取多维度的特征信息，并将多维度的所述特征信息输出到所述颈部网络，所述颈部网络的输入为多维度的所述特征信息和所述语义信息，所述颈部网络用于基于多维度的所述特征信息和所述语义信息确定融合特征信息，并输出所述融合特征信息到所述检测头，所述检测头用于基于所述融合特征信息进行检测并输出所述道路的病害信息。

3.根据权利要求2所述的方法，其特征在于，所述骨干网络包括：多个可变形卷积的自适应轻量级通道分割与重排alcsr模块，每个alcsr模块用于对输入的特征信息进行自适应通道分割，得到各个通道的特征信息，并将各个通道的特征信息进行合并输出，各个通道通过通道重排机制进行通道间的信息交换，每个通道中设有可变形卷积模块，所述可变形卷积模块用于对对应通道中的特征信息进行形状改变后输出，多个alcsr模块包括：第一alcsr模块、第二alcsr模块、第三alcsr模块、第四alcsr模块和第五alcsr模块，所述骨干网络还包括：第一cbs模块、第二cbs模块、第三cbs模块和第四cbs模块，所述第一cbs模块、第二cbs模块、第三cbs模块、第四cbs模块依次连接，所述第一cbs模块的输入为所述图像信息，所述第四cbs模块的输出为所述第一alcsr模块的输入，所述第二alcsr模块的输入为所述第一alcsr模块的输出，所述第二alcsr模块的输出为所述第三alcsr模块和所述颈部网络的输入，所述第三alcsr模块的输出为所述第四alcsr模块的输入，所述第四alcsr模块的输出为所述第五alcsr模块和所述颈部网络的输入，所述第五alcsr模块的输出为所述颈部网络的输入。

4.根据权利要求3所述的方法，其特征在于，所述颈部网络包括：多个基于注意力机制的图像文本特征对齐titfa模块，各个titfa模块用于对输入的语义信息和特征信息进行融合，多个titfa模块包括：第一titfa模块、第二titfa模块、第三titfa模块，所述颈部网络还包括：基于注意力机制的语义信息交互模块、第一上采样模块、第一特征拼接模块、第六alcsr模块、第二上采样模块、第二特征拼接模块、第七alcsr模块、第五cbs模块、第三特征拼接模块、第八alcsr模块、第六cbs模块、第四特征拼接模块和第九alcsr模块，所述语义信息交互模块的输入为所述第五alcsr模块的输出，所述语义信息交互模块的输出为所述第一上采样模块的输入，所述第一特征拼接模块的输入为所述第一上采样模块和所述第四alcsr模块的输出，所述第一特征拼接模块的输出为所述第六alcsr模块的输入，所述第六alcsr模块的输出为所述第二上采样模块和所述第三特征拼接模块的输入，所述第二特征拼接模块的输入为所述第二alcsr模块和所述第二上采样模块的输出，所述第一titfa模块的输入为所述第二特征拼接模块的输入和所述语义信息，所述第一titfa模块的输出为所述第七alcsr模块的输入，所述第七alcsr模块输出为所述第五cbs模块和所述检测头的输入，所述第五cbs模块的输出为第三特征拼接模块的输入，所述第二titfa模块的输入为所述语义信息和所述第三特征拼接模块的输出，所述第二titfa模块的输出为所述第八alcsr模块的输入，所述第八alcsr模块的输出为所述第六cbs模块和所述检测头的输入，所述第四特征拼接模块的输入为所述第五alcs...

【专利技术属性】
技术研发人员：王鹏，贺昂，王鹏飞，刘加美，
申请(专利权)人：深圳市锐明像素科技有限公司，
类型：发明
国别省市：