一种基于多模态融合的路面状态及状态转移起始点检测方法技术

本发明专利技术公开了一种基于多模态融合的路面状态及状态转移起始点检测方法，所述方法包括：从路面区域中获取路面状态的像素级分割结果，基于路面状态的像素级分割结果计算路面状态的概率分布，基于热成像温度数据计算当前时刻的路面状态转移概率，并通过路面状态概率分布对其进行后向融合，将得到的路面状态转移向量和温湿度通过支持向量机进行分类，预测出路面状态转移的起始点。本发明专利技术包括具有非接触、低延迟特性的数据采集模块，具有双模态输入的路面状态分割模块，具有长短期记忆能力的路面状态转移预测模块，具有多维感知的后向融合模块。本发明专利技术充分利用多模态特征同时预测路面状态和路面状态转移的起始点，预测更加准确、鲁棒，时效性更强。时效性更强。时效性更强。

【技术实现步骤摘要】
一种基于多模态融合的路面状态及状态转移起始点检测方法


[0001]本专利技术涉及路面状态检测领域，特别是涉及一种基于多模态融合的路面状态及状态转移起始点检测方法。

技术介绍

[0002]结冰、降雪天气会对行车安全产生严重影响，特别是在夜间和凌晨，路面结冰、积水、积雪等不利因素极易诱发交通事故。据中国国家应急广播发布的数据显示，冰雪天气条件下，交通事故发生概率是正常天气的3至4倍，其中，每百万车辆每公里发生碰撞、刮擦事故5.86起，是非雪天0.41起的13倍之多。据道路交通事故年报统计，2009至2014年我国高速公路上21.43％的交通事故与湿滑、泥泞、积雪、结冰的路面有关。
[0003]目前主流的路面状态检测方法包括以下几种：
[0004]近红外光谱法：该方法利用水吸收光谱范围内敏感的波段，使用单点像素红外探测器来区分路面状态，当路面为干燥、潮湿或结冰时，探测器收到的反射光的光学特性存在较大差异，以此来达到检测目的。但该方法只能探测单点的状态，无法针对大面积的复杂路面情况。
[0005]气象预测法：该方法通过实时监控大气温度、空气湿度、空气露点温度、风速风向等气象参数以及降水情况和地表温度等地面参数，通过数学分析对大量气象数据进行整合，判断出可能的路面状态。该方法对于不同地区都需要大量该地区的气象数据才能进行分析，泛用性较差。
[0006]光学偏振法：光经过非金属材料的反射，垂直偏振光相对于水平偏振光的数量会有所减少，该方法主要利用这个特性分析当前路面的情况。但在实际应用过程中，设备庞杂，安装约束较多，操作困难，不适合长期定点进行监测任务。
[0007]雷达技术：该方法利用电磁波经过路面的水层、冰、雪的反射或散射后，电磁波的强度会发生改变来区分不同的路面状态。然而，商用雷达单元的价格昂贵，使得这一技术难以投入实际应用。
[0008]图像分析法：该方法对相机拍摄的路面照片或监控视频中截取的图片进行特征提取，使用支持向量机、人工神经网络、K最近邻、线性判别、贝叶斯分类器等方法对路面状态进行分类。该方法成本低廉，但由于大部分图像分析法使用的是单帧彩色图像，信息来源单一，且无法在视频图像序列中针对路面状态的转变进行有效预警。

技术实现思路

[0009]为克服上述现有技术存在的不足，本专利技术之目的在于提供一种基于多模态融合的路面状态及状态转移起始点检测方法。本专利技术利用多模态信息，不仅可以计算得到单帧的路面状态，而且可以在连续的路面视频图像序列中计算得到路面状态转移的起始点，相较于其他路面状态检测方法，该方法充分利用了当前时刻之前的有效信息来预测当前时刻的状态转移，因而准确性更高、鲁棒性更强。
[0010]为了达到上述及其他目的，本专利技术提出一种基于多模态融合的路面状态及状态转移起始点检测方法，具有从路面视频序列中预测路面状态及路面状态转移起始点的功能；包括多模态数据采集模块、路面状态分割模块、路面状态转移预测模块、后向融合模块：
[0011]所述的多模态数据采集模块获取路面的图像信息以及温湿度信息，作为后续路面状态分割模块以及路面状态转移预测模块的信息源；图像信息包括彩色图像、近红外图像以及热成像图像，其中热成像图像由热成像相机获取，表示路面像素的温度信息；
[0012]所述的路面状态分割模块首先对多模态数据采集模块获取的彩色图像和近红外图像进行预处理，然后将预处理后的彩色图像和近红外图像送入共享权重的编码器进行特征提取，并进行双流特征的堆叠，最后进行解码，得到路面状态的语义分割结果；
[0013]所述的路面状态转移预测模块循环获取当前时刻之前一段时间内的热成像温度矩阵序列，通过特征提取层、多个级联的LSTM以及单层全连接神经网络从温度序列中计算出当前时刻的路面状态转移概率，给出当前时刻路面状态发生转变的初步概率估计；
[0014]所述的后向融合模块首先通过路面状态分割模块得到的语义分割结果计算路面状态概率分布，然后将路面状态概率分布和路面状态转移概率进行后向融合，计算出路面状态转移向量，最后将路面状态转移向量和当前时刻的温湿度通过支持向量机计算出最终的路面状态转移信号。
[0015]优选地，所述的图像采集模块至少包括彩色相机一台，近红外相机一台，热成像相机一台，温湿度传感器一个，并且三种相机的安装位置应当位于同一高度的水平线，三种相机的镜头应当对准路面区域的同一位置。
附图说明
[0016]图1为本专利技术一种基于多模态融合的路面状态及状态转移起始点检测方法的原理框图；
[0017]图2为本专利技术实施例的路面状态转移预测模块示意图。
具体实施方式
[0018]以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。
[0019]如图1所示，基于多模态融合的路面状态及状态转移起始点检测方法由多模态数据采集模块1、路面状态分割模块2、路面状态转移预测模块3、后向融合模块4组成。
[0020]多模态数据采集模块1由数据采集单元5及其他配套硬件组成，数据采集单元5同步生成分辨率相同并且已通过单应性变换到同一投影平面上的RGB图像6、近红外图像7、热成像数据13，以及温湿度数据18。记第t帧RGB图像为第t帧近红外图像为第t帧近红外图像为第t帧热成像数据为第t帧的温湿度数据分别为为T
t
、H
t
，其中H表示图像的高，W表示图像的宽。
[0021]路面状态分割模块2由RGB图像6、近红外图像7、编码单元8、编码单元9、堆叠单元10、解码单元11以及路面状态12组成。
[0022]其中，编码单元8、9由共享权重且结构相同的一系列卷积、池化、激活层构成，此外还包含了mini
‑
inception和膨胀卷积的特殊设计；堆叠单元10将两个编码器的输出进行堆叠操作，得到解码单元11的输入；解码单元11的每一层的输出结果由上一层的输出和编码单元对应层的输出进行元素级相加得到，最终输出结果如公式(1)所示。
[0023]G
t
＝Seg(I
t
，N
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0024]其中Seg表示路面状态分割模块2中的路面状态分割网络的等价映射函数，表示分割的结果，只包含0和1，K表示路面状态类别总数目，1表示当前像素属于此类别，0反之。
[0025]路面状态转移预测模块3由热成像数据13、特征提取单元14以及LSTM单元组成，如图2所示。
[0026]其中，特征提取单元14对热成像数据13进行降维压缩，得到特征向量E(M
t
)，E表示特征提取单元14的等价映射函数；LSTM单元由n个LSTM block级联而成，n同时对应视频图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的路面状态及状态转移起始点检测方法，具有从路面视频序列中预测路面状态及路面状态转移起始点的功能；包括多模态数据采集模块、路面状态分割模块、路面状态转移预测模块、后向融合模块：所述的多模态数据采集模块获取路面的图像信息以及温湿度信息，作为后续路面状态分割模块以及路面状态转移预测模块的信息源；图像信息包括彩色图像、近红外图像以及热成像图像，其中热成像图像由热成像相机获取，表示路面像素的温度信息；所述的路面状态分割模块首先对多模态数据采集模块获取的彩色图像和近红外图像进行预处理，然后将预处理后的彩色图像和近红外图像送入共享权重的编码器进行特征提取，并进行双流特征的堆叠，最后进行解码，得到路面状态的语义分割结果；所述的路面状态转移预测模块循环获取当前时刻之前一段时间内的热成像温度矩阵序列，通过特征提取层、多个级联的LSTM以及单层全连接神经网络从温度序列中计算出当前时刻的路面状态转移概率，给出当前时刻路面状态发生转变的初步概...

【专利技术属性】
技术研发人员：李杨，都思丹，陆天昊，王之渊，
申请(专利权)人：南京大学，
类型：发明
国别省市：