一种基于注意力变换网络的公路低能见度检测方法和系统技术方案

本发明专利技术公开了一种基于注意力变换网络的公路低能见度检测方法和系统，该方法包括以下步骤：构建公路低能见度图像样本集；样本图像预处理；为图像特征矩阵添加可学习词符，生成可学习词符向量，将其嵌入图像特征矩阵；为图像特征矩阵提供位置匹配，生成位置编码矩阵，将其嵌入图像特征矩阵；构建公路低能见度检测网络编码器；构建公路低能见度分类输出器；训练模型，将训练样本集作为输入进行模型训练和微调；测试模型，将测试样本集作为输入进行模型的测试，输出公路能见度分类等级检测结果。本发明专利技术实现了公路环境下利用视频监控设备对低能见度事件的自动检测，为公路管理机构在低能见度天气下的管控提供有效支撑。能见度天气下的管控提供有效支撑。能见度天气下的管控提供有效支撑。

【技术实现步骤摘要】
一种基于注意力变换网络的公路低能见度检测方法和系统


[0001]本专利技术属于交通工程和计算机科学领域，具体涉及一种基于注意力变换网络的公路低能见度检测方法和系统。

技术介绍

[0002]据相关统计，恶劣天气造成的交通事故逐年递增，事故的严重程度也日趋上升，其中大雾、团雾等低能见度天气下发生的恶性事故占总事故比例达到四分之一。大气能见度是从肉眼观测的角度出发而定义的，是判断大雾、团雾等事件的重要指标。现阶段测量大气能见度的方法主要有人工目测法和仪器测量法。然而，人工目测法受个人主观因素影响较多，也无法做到数据的实时监控和快速处理，存在数据真实性低等问题；而仪器测量法则价格昂贵，难以在公路路网上大量部署。
[0003]目前，我国大部分公路(高速公路、普通国省干线公路)沿线约每l至2公路都已安装一部高清视频监控设备，由此产生了大量可以利用的视频图像数据。国内外均开始采用诸如基于卷积神经网络或前馈神经网络等方法的进行低能见度事件的检测，通过识别图像特征的变化情况求得能见度值。然而目前各类常见计算机视觉方法对于公路低能见度的识别存在着准确率低、图像有效特征提取困难等问题。注意力变换网络作为图神经网络的分支在近些年被提出，短时间内在自然语言识取得了巨大的成果，随着该模型的不断完善，有学者发现其在计算机视觉领域也有可观的潜力。利用注意力变换网络模型中的注意力机制进行监测可以有效破解公路低能见度事件特征提取困难等问题，提升检测准确率。随着低能见度样本库的增加，该方法的应用优势会更加明显。

技术实现思路

[0004]本专利技术的目的在于针对上述现有技术存在的问题，提供一种基于注意力变换网络的公路低能见度检测方法和系统，使用注意力变换网络技术，对广泛布设的公路沿线高清监控设备采集到的视频图像进行实时分析，及时输出公路路段的能见度等级，为低能见度条件下下的公路交通管控提供有效支撑。另外，白天的能见度和夜间的能见度定义及测量方式差异均比较大，本专利技术仅讨论白天的公路能见度检测。
[0005]实现本专利技术目的的技术解决方案为：一种基于注意力变换网络的公路低能见度检测方法，所述方法包含如下步骤：
[0006]步骤1，构建公路低能见度图像样本集：
[0007]利用已部署的公路高清监控收集公路低能见度的样本数据，筛选剔除不符合检测需求的样本，形成公路低能见度总样本集，之后将该样本集划分为训练样本集和测试样本集，并对训练样本集中的样本逐一进行类别标注；
[0008]步骤2，公路低能见度样本图像预处理：
[0009]基于步骤1得到的样本集，对每张样本进行像素大小统一化处理，并将图像样本均匀等比分割，之后按设定顺序排列被分割出的子图像块，并通过线性投影转换为向量表示，
将所有子图像块的向量表示转换为一个矩阵表示；
[0010]步骤3，为样本集加可学习特征词符：
[0011]生成可学习词符向量，将其添加在步骤2得到的样本图像矩阵的首排，形成带有可学习词符的公路低能见度样本图像特征矩阵；
[0012]步骤4，为样本集添加子图像块位置编码：
[0013]生成位置编码矩阵，并将其与带有可学习词符的公路低能见度样本图像特征矩阵进行整合，得到带有子图像块位置编码的公路低能见度样本图像特征矩阵；
[0014]步骤5，构建公路低能见度检测网络编码器：
[0015]搭建多头注意力机制子层，搭建全联接前馈神经网络子层，将以上两个子层合并构成单层注意力变换网络，将多层相同的注意力变换网络串联组成公路低能见度检测网络编码器；
[0016]步骤6，构建公路低能见度分类输出器和检测模型：
[0017]搭建单隐藏层的全连接前馈神经网络，将分类输出器添加在最终的注意力变换网络编码器之后，形成完整的公路低能见度检测模型；
[0018]步骤7，训练并调整检测模型：
[0019]将训练样本集作为输入进行检测模型的训练和调整；
[0020]步骤8，测试检测模型并输出能见度分类等级：
[0021]将测试样本集作为训练并调整后的检测模型的输入，输出公路低能见度分类等级检测结果。
[0022]进一步地，所述步骤2具体包括：
[0023]步骤2.1，针对步骤1得到的样本集，将样本图像进行像素统一化处理至h
×
w像素，之后按照p
×
p像素的要求对样本图像进行均匀等比分割，生成多个子图像块；
[0024]步骤2.2，按照以单张公路能见度图像原图中最左上角的子图像块作为开头，最右下的子图像块作为结尾的顺序，将n＝h
·
w/p2个有效的子图像块按照从右到左从上到下的顺序依次排列，形成子图像块序列；
[0025]步骤2.3，对子图像块序列进行线性投影，按照从开头到结尾的顺序将每个子图像块转换为一个长度为l的图像块特征向量C
p
；
[0026]步骤2.4，将所有子图像块的特征向量进行组合形成单张样本图像维度是p2×
l的特征矩阵X
patch
。
[0027]进一步地，步骤3具体包括：
[0028]步骤3.1，通过随机数值初始化生成可学习词符向量X
learn
，该向量长度等同于图像块特征向量的长度l；
[0029]步骤3.2，将可学习词符向量作为第一排添加至单张样本图像的特征矩阵，形成带有可学习词符的样本图像特征矩阵，该矩阵维度为(p2+1)
×
l，其表达式为：
[0030]Y＝[X
learn
||X
patch
][0031]式中，Y为带有可学习词符的公路低能见度样本图像特征矩阵，X
learn
为可学习词符向量，X
patch
为单张样本图像的特征矩阵。
[0032]进一步地，步骤4具体包括：
[0033]步骤4.1，按照单张样本子图像块拆分的顺序生成位置编码矩阵X
posit
，该矩阵的维
度(p2+1)
×
l与对应的带有学习词符样本图像特征矩阵相同，计算公式为：
[0034][0035][0036]式中，PE为位置信息，pos为子图像块实际位置编号，i为位置编码的当前维度，d
model
为样本图像特征矩阵的维度；
[0037]步骤4.2，将位置编码矩阵X
posit
与对应的带有学习词符的公路低能见度样本图像特征矩阵组合，形成包含可学习词符与位置信息的样本图像特征矩阵Y
input
，其维度为(p2+1)
×
l，其表达式如下：
[0038]Y
input
＝[X
learn
||X
patch
]+X
posit
[0039]式中，Y
input
为包含可学习词符与位置信息的样本图像特征矩阵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力变换网络的公路低能见度检测方法，其特征在于，所述方法包含如下步骤：步骤1，构建公路低能见度图像样本集：收集公路低能见度的样本数据，筛选剔除不符合检测需求的样本，形成公路低能见度总样本集，之后将该样本集划分为训练样本集和测试样本集，并对训练样本集中的样本逐一进行类别标注；步骤2，公路低能见度样本图像预处理：基于步骤1得到的样本集，对每张样本进行像素大小统一化处理，并将图像样本均匀等比分割，之后按设定顺序排列被分割出的子图像块，并通过线性投影转换为向量表示，将所有子图像块的向量表示转换为一个矩阵表示；步骤3，为样本集加可学习特征词符：生成可学习词符向量，将其添加在步骤2得到的样本图像矩阵的首排，形成带有可学习词符的公路低能见度样本图像特征矩阵；步骤4，为样本集添加子图像块位置编码：生成位置编码矩阵，并将其与带有可学习词符的公路低能见度样本图像特征矩阵进行整合，得到带有子图像块位置编码的公路低能见度样本图像特征矩阵；步骤5，构建公路低能见度检测网络编码器：搭建多头注意力机制子层，搭建全联接前馈神经网络子层，将以上两个子层合并构成单层注意力变换网络，将多层相同的注意力变换网络串联组成公路低能见度检测网络编码器；步骤6，构建公路低能见度分类输出器和检测模型：搭建单隐藏层的全连接前馈神经网络，将分类输出器添加在最终的注意力变换网络编码器之后，形成完整的公路低能见度检测模型；步骤7，训练并调整检测模型：将训练样本集作为输入进行检测模型的训练和调整；步骤8，测试检测模型并输出能见度分类等级：将测试样本集作为训练并调整后的检测模型的输入，输出公路低能见度分类等级检测结果。2.根据权利要求1所述的基于注意力变换网络的公路低能见度检测方法，其特征在于，步骤1中对样本逐一进行类别标注时，具体按照《GBT 31444
‑
2015雾天公路通行条件预警分级》中对于雾情描述的定义进行标注，包括能见度小于50m、能见度大于等于50m且小于200m、能见度大于等于200m且小于500m、能见度大于等于500m四种分类方式。3.根据权利要求1所述的基于注意力变换网络的公路低能见度检测方法，其特征在于，所述步骤2具体包括：步骤2.1，针对步骤1得到的样本集，将样本图像进行像素统一化处理至h
×
w像素，之后按照p
×
p像素的要求对样本图像进行均匀等比分割，生成多个子图像块；步骤2.2，按照以单张公路能见度图像原图中最左上角的子图像块作为开头，最右下的子图像块作为结尾的顺序，将n＝h
·
w/p2个有效的子图像块按照从右到左从上到下的顺序依次排列，形成子图像块序列；
步骤2.3，对子图像块序列进行线性投影，按照从开头到结尾的顺序将每个子图像块转换为一个长度为l的图像块特征向量C
p
；步骤2.4，将所有子图像块的特征向量进行组合形成单张样本图像维度是p2×
l的特征矩阵X
patch
。4.根据权利要求3所述的基于注意力变换网络的公路低能见度检测方法，其特征在于，步骤3具体包括：步骤3.1，通过随机数值初始化生成可学习词符向量X
learn
，该向量长度等同于图像块特征向量的长度l；步骤3.2，将可学习词符向量作为第一排添加至单张样本图像的特征矩阵，形成带有可学习词符的样本图像特征矩阵，该矩阵维度为(p2+1)
×
l，其表达式为：Y＝[X
learn
||X
patch
]式中，Y为带有可学习词符的公路低能见度样本图像特征矩阵，X
learn
为可学习词符向量，X
patch
为单张样本图像的特征矩阵。5.根据权利要求4所述的基于注意力变换网络的公路低能见度检测方法，其特征在于，步骤4具体包括：步骤4.1，按照单张样本子图像块拆分的顺序生成位置编码矩阵X
posit
，该矩阵的维度(p2+1)
×
l与对应的带有学习词符样本图像特征矩阵相同，计算公式为：l与对应的带有学习词符样本图像特征矩阵相同，计算公式为：式中，PE为位置信息，pos为子图像块实际位置编号，i为位置编码的当前维度，d
model
为样本图像特征矩阵的维度；步骤4.2，将位置编码矩阵X
posit
与对应的带有学习词符的公路低能见度样本图像特征矩阵组合，形成包含可学习词符与位置信息的样本图像特征矩阵Y
input
，其维度为(p2+1)
×
l，其表达式如下：Y
input
＝[X
learn
||X
patch
]+X
posit
式中，Y
input
为包含可学习词符与位置信息的样本图像特征矩阵，即带有子图像块位置编码的公路低能见度样本图像特征矩阵，X
learn
为可学习词符向量，X
patch
为单张样本图像的特征矩阵，X
posit
为位置编码矩阵。6.根据权利要求5所述的基于注意力变换网络的公路低能见度检测方法，其特征在于，步骤5具体包括：步骤5.1，搭建标准化子层，首先计算样本平均值，利用平均值计算输出标准差，最后通过点积运算得到被标准化的输出，计算方式如下：LN
h
＝g
⊙
N(x)+bN(x)+b
式中，x为输入维度为H的向量，x
i
为向量中的第i个特征，LN
h
为标准化子层的输出，
⊙
为点积运...

【专利技术属性】
技术研发人员：王川，穆明浩，毕海崧，王福海，刘新强，马宇飞，王峥，张霁扬，钱成多，丁闪闪，崔建，万剑，徐宁，
申请(专利权)人：华设设计集团股份有限公司，
类型：发明
国别省市：