【技术实现步骤摘要】
本专利技术涉及坝体异常检测领域，尤其涉及一种坝体异常识别方法、装置及存储介质。
技术介绍
1、由于大坝失事原因是多方面的，其表现形式和可能发生的部位因各坝具体条件而异。大坝安全检查能够及时发现潜在的安全隐患，通过定期检查，可以发现坝体内部的结构问题、裂缝等潜在安全隐患，采取适当的措施进行修复，以避免大坝发生危险事故。常见的大坝内部结构无损检测手段如：声波探伤、射线探伤，对于声波探伤和射线探伤基于声波频率和射射频率又可以进一步的细分不同类型；电导率分布探测，利用电导率分布确定坝体渗透情况。现有基于语义分割的识别任务中，分割模型对输入的限制比较严格，往往限制输入为固定的几种模态，而实际不同大坝异常检测场景中受限于检测手段，采用的检测手段有限，若不能满足分割模型固定的输入要求，则不能运行模型。模型对检测手段的限制，实际上束缚了模型的通用性。
技术实现思路
1、为了解决上述技术问题或者至少部分地解决上述技术问题，本专利技术提供一种坝体异常识别方法、装置及存储介质。
2、第一方面，本专利技术提供一种坝体异常识别方法，包括：
3、按照异常识别需求，选择并采集坝体目标区域的目标多模态异常检测图像；根据异常识别所采用的所述目标多模态异常检测图像的类型获取模态编码；将所述多模态异常检测图像和所述模态编码输入到坝体异常识别模型进行异常识别检测，所述坝体异常识别模型包括通用的级联编码器、对应级联编码器的级联解码器和融合模块，级联编码器包括第一灵活模态编码器、第二灵活模态编码器、第
4、更进一步地，所述第一灵活模态编码器、第二灵活模态编码器、第三灵活模态编码器、第四灵活模态编码器和第五灵活模态编码器包括：采用残差架构的多头自注意力机制和至少一采用残差架构的多层感知机，所述多头自注意力机制和所述多层感知机前分别设置根据所述模态编码自适应的对输入进行处理的模态归一化。
5、更进一步地，所述模态归一化的方式如下：
6、；其中， me表示模态编码，、是通过不同模态异常检测图像训练数据学习到的参数。
7、，为根据特征批大小n和空间维度针对特征每个通道计算而来的平均值， fi为被归一化的特征，h为特征高度，w为特征宽度， nchw指定特征点所在批、通道、高度和宽度。
8、，为根据特征批大小n和空间维度针对特征每个通道计算而来的标准差。
9、更进一步地，所述第四解码器、第三解码器、第二解码器和第一解码器通过双边线性插值实现上采样，并通过卷积、层归一化和relu激活函数处理，所述第二灵活模态编码器、第三灵活模态编码器、第四灵活模态编码器和第五灵活模态编码器还包含用于实现下采样的最大池化层，最大池化处理后的通过卷积、层归一化和relu激活函数处理。
10、更进一步地，所述第五灵活模态编码器的下采样的每个目标多模态异常检测图像特征经层五上采样后与所述第四灵活模态编码器的下采样的相应目标多模态异常检测图像特征经层四特征融合进行处理，处理后的特征与第一编码器输出的相应每个目标多模态异常检测图像特征拼接输入第二编码器处理。
11、所述第四灵活模态编码器的下采样的每个目标多模态异常检测图像特征经层四上采样1处理，层四特征融合的输出经层四上采样2处理；层四上采样1输出与所述第三灵活模态编码器的下采样的相应目标多模态异常检测图像特征经层三特征融合1进行处理；所述第三灵活模态编码器的下采样的相应目标多模态异常检测图像特征、层四上采样1输出、层四上采样2输出和层三特征融合1输出经层三特征融合2进行处理，处理后的特征与第二编码器输出的相应每个目标多模态异常检测图像特征拼接输入第三编码器处理。
12、所述第三灵活模态编码器的下采样的每个目标多模态异常检测图像特征经层三上采样1处理，层三特征融合1的输出经层三上采样2处理，层三特征融合2的输出经层三上采样3处理；层三上采样1输出与所述第二灵活模态编码器的下采样的相应目标多模态异常检测图像特征经层二特征融合1处理；所述第二灵活模态编码器的下采样的相应目标多模态异常检测图像特征、层三上采样1输出、层三上采样2输出和层二特征融合1输出经层二特征融合2处理；所述第二灵活模态编码器的下采样的相应目标多模态异常检测图像特征、层三上采样1输出、层三上采样2输出、层二特征融合1输出和层二特征融合2输出经层二特征融合3处理，处理后的特征与第三编码器输出的相应每个目标多模态异常检测图像特征拼接输入第四编码器处理。
13、所述第二灵活模态编码器的下采样的每个目标多模态异常检测图像特征经层二上采样1处理，层二特征融合1的输出经层二上采样2处理，层二特征融合2的输出经层二上采样3处理，层二特征融合3的输出经层二上采样4处理；层二上采样1输出与所述第一灵活模态编码器提取的相应目标多模态异常检测图像特征经层一特征融合1处理；所述第一灵活模态编码器提取的相应目标多模态异常检测图像特征、层二上采样1输出、层二上采样2输出和层一特征融合1输出经层一特征融合2处理；所述第一灵活模态编码器提取的相应目标多模态异常检测图像特征、层二上采样1输出、层二上采样2输出、层一特征融合1输出、层一特征融合2输出和层二上采样3输出经层一特征融合3处理；所述第一灵活模态编码器提取的相应目标多模态异常检测图像特征、层二上采样1输出、层二上采样2输出、层二上采样3输出、层一特征融合1输出、层一特征融合2输出、层一特征融合3输出和层二上采样4输出经层一特征融合4处理，处理后的特征与第四编码器输出的相应每个目标多模态异常检测图像特征拼接输入第五编码器处理。
14、更进一步地，特征融合采用残差网络，上采样采用双边线性插值。
15、更进一步地，所述级联编码器和所述融合模块采用dropout设计。
16、更进一步地，所述融合模块包括多对一卷积、归一化层和relu激活函数。
17、第二方面，本专利技术提供一种坝体异常识别装置，包括：至少一处理单元，所述处理单元通过总线单元连接存储单元，所述存储单元存储计算机程序，所述计算机程序被所述处理单元执行时，实现所述的坝体异常识别方法。
<本文档来自技高网...【技术保护点】
1.一种坝体异常识别方法，其特征在于，包括：
2.根据权利要求1所述的坝体异常识别方法，其特征在于，所述第一灵活模态编码器、第二灵活模态编码器、第三灵活模态编码器、第四灵活模态编码器和第五灵活模态编码器包括：采用残差架构的多头自注意力机制和至少一采用残差架构的多层感知机，所述多头自注意力机制和所述多层感知机前分别设置根据所述模态编码自适应的对输入进行处理的模态归一化。
3.根据权利要求2所述的坝体异常识别方法，其特征在于，所述模态归一化的方式如下：；
4.根据权利要求1所述的坝体异常识别方法，其特征在于，所述第四解码器、第三解码器、第二解码器和第一解码器通过双边线性插值实现上采样，并通过卷积、层归一化和Relu激活函数处理，所述第二灵活模态编码器、第三灵活模态编码器、第四灵活模态编码器和第五灵活模态编码器还包含用于实现下采样的最大池化层，最大池化处理后的通过卷积、层归一化和Relu激活函数处理。
5.根据权利要求1所述的坝体异常识别方法，其特征在于，所述第五灵活模态编码器的下采样的每个目标多模态异常检测图像特征经层五上采样后与所述第
6.根据权利要求5所述的坝体异常识别方法，其特征在于，特征融合采用残差网络，上采样采用双边线性插值。
7.根据权利要求1所述的坝体异常识别方法，其特征在于，所述级联编码器和所述融合模块采用dropout设计。
8.根据权利要求1所述的坝体异常识别方法，其特征在于，所述融合模块包括多对一卷积、归一化层和Relu激活函数。
9.一种坝体异常识别装置，其特征在于，包括：至少一处理单元，所述处理单元通过总线单元连接存储单元，所述存储单元存储计算机程序，所述计算机程序被所述处理单元执行时，实现如权利要求1-8任一所述的坝体异常识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8任一项所述的坝体异常识别方法。
...【技术特征摘要】
1.一种坝体异常识别方法，其特征在于，包括：
2.根据权利要求1所述的坝体异常识别方法，其特征在于，所述第一灵活模态编码器、第二灵活模态编码器、第三灵活模态编码器、第四灵活模态编码器和第五灵活模态编码器包括：采用残差架构的多头自注意力机制和至少一采用残差架构的多层感知机，所述多头自注意力机制和所述多层感知机前分别设置根据所述模态编码自适应的对输入进行处理的模态归一化。
3.根据权利要求2所述的坝体异常识别方法，其特征在于，所述模态归一化的方式如下：；
4.根据权利要求1所述的坝体异常识别方法，其特征在于，所述第四解码器、第三解码器、第二解码器和第一解码器通过双边线性插值实现上采样，并通过卷积、层归一化和relu激活函数处理，所述第二灵活模态编码器、第三灵活模态编码器、第四灵活模态编码器和第五灵活模态编码器还包含用于实现下采样的最大池化层，最大池化处理后的通过卷积、层归一化和relu激活函数处理。
5.根据权利要求1所述的坝体异常识别方法，其特征在于，所述第五灵活模态编码器的下采样的每个目标多模态异常...
【专利技术属性】
技术研发人员：葛新荣，刘勇，王斌，胡江蕾，齐瑞玲，胡昌波，范春丽，
申请(专利权)人：山东元明晴技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。