【技术实现步骤摘要】
本专利技术涉及列车信号控制系统，尤其是涉及一种基于红外和可见光动态权重融合视频感知方法及系统。
技术介绍
1、随着现代轨道交通的发展，无人驾驶已经成为现在轨道交通行业的新兴趋势。为了解决无人驾驶条件下的异物侵限问题，视频识别技术被广泛应用于轨道交通障碍物探测场景，障碍物检测主要是采用单一可见光相机结合传统或者深度学习算法来进障碍物检测，此种方法受可见光相机设备和算法本身安全的限制，如果是在雨雾天气和昏暗场景则可见光相机捕获的图像质量较差，障碍物检测效果较差。此外还有采用多传感器融合的方式，如采用可见光相机与激光雷达传感器来对前方场景进行障碍物检测，但此种方案对主机设备性能要求较高，造成系统整体成本增加，同时不同维度传感器的标定工作较难，并且在列车运行中标定关系可能随着运行过程中的振动而改变，造成识别错误。另外有采用可见光相机和红外相机进行障碍物检测的方案，可见光相机能够捕捉到场景中的色彩和形状信息，而红外相机能够捕捉到场景中的热辐射信息。两个通道的检测结果输出会不相同，如何确定最终输出结果，是一个难题。
2、经过检索中国专利公开号cn116486367a公开了一种轨道交通障碍物检测方法、设备及介质，具体公开了包括以下步骤：步骤s1，通过红外和可见光摄像头分别捕获列车前方实时画面；步骤s2，基于多尺度特征融合的多源图像融合目标检测模型msod-mff对红外和可见光图像进行特征层融合，输出障碍物检测结果；步骤s3，基于障碍物类别进行分级预警。但是该现有专利对于融合红外和可见光的方式属于前融合，这种融合方式还是存在检测精度
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于红外和可见光动态权重融合视频感知方法及系统，针对不同的场景动态调整双通道的检测结果融合权重，形成高效的输出，降低误报率。
2、本专利技术的目的可以通过以下技术方案来实现：
3、根据本专利技术的第一方面，提供了一种基于红外和可见光动态权重融合视频感知方法，该方法首先通过可见光相机和红外相机分别获取到视频流并进行轨行区识别和障碍物检测，然后对障碍物目标是否侵限进行判断得到初步识别结果，最后采用根据不同时期图像质量动态调节双通道的检测结果融合权重，得到最终的障碍物检测结果并进行输出。
4、作为优选的技术方案，该方法具体包括以下步骤：
5、步骤s1，采用可见光相机和红外相机同时进行数据采集，实时获取前方行车进路视频数据；
6、步骤s2，判断两台相机是否都正确获取到了视频数据，如果有一路相机没有获取到视频流，则进行告警输出；否则执行步骤s3；
7、步骤s3，构建轨行区识别模型和障碍物检测模型；
8、步骤s4，轨行区识别模型识别可见光相机视频流和红外相机视频流中的轨行区；
9、步骤s5，障碍物检测模型识别可见光相机视频流和红外相机视频流中的障碍物目标；
10、步骤s6，根据轨行区和障碍物目标检测结果判断目标是否侵入轨行区，并且输入障碍物侵限结果；
11、步骤s7，构建图像质量识别模型；
12、步骤s8，将步骤s6的障碍物侵限结果结合步骤s7的图像质量识别模型，得到最终结果并输出。
13、作为优选的技术方案，所述步骤s2通过视频流读取算法来判断相机是否正确获取到了视频数据。
14、作为优选的技术方案，所述步骤s3具体为：
15、采用列车前方数据集对语义分割和目标检测网络进行训练，得到轨行区识别模型和障碍物检测模型，并不断进行数据集迭代更新。
16、作为优选的技术方案，所述步骤s7，构建图像质量识别模型具体为：
17、根据影响因素将同时采集的可见光图像和红外做成图像对，并且根据图像质量设定图像质量置信度分数，根据图像质量置信度分数为标签训练出图像质量识别模型。
18、作为优选的技术方案，所述影响因素包括时间、季节、天气和图像清晰度。
19、作为优选的技术方案，所述图像质量置信度分数设定如下：
20、在白天天气好的场景夏，可见光相机清晰的识别出前方场景，则可见光相机的图像置信度分数较高；
21、在夜晚昏暗场景、雨雾天气场景下，红外相机清晰的识别出前方场景，则此时红外相机的图像置信度分数较高。
22、作为优选的技术方案，所述步骤s8具体包括：
23、将步骤s6的障碍物侵限结果结合步骤s7的模型对图像质量进行识别，得到图像质量置信度权重，图像质量置信度权重乘以障碍物侵限结果，选择大于设定阈值的一路障碍物识别结果进行系统告警输出。
24、根据本专利技术的第二方面，提供了一种用于所述基于红外和可见光动态权重融合视频感知方法的系统，所述系统包括可见光相机、红外相机和车载设备，所述车载设备分别与可见光相机、红外相机连接，所述车载设备包括：
25、第一轨行区识别模块，与红外相机连接，用于识别红外相机采集数据中的轨行区；
26、第一障碍物识别模块，与第一轨行区识别模块连接，用于识别红外相机采集数据中的障碍物；
27、第二轨行区识别模块，与可见光相机连接，用于识别可见光相机采集数据中的轨行区；
28、第二障碍物识别模块，与第二轨行区识别模块连接，用于识别可见光相机采集数据中的障碍物；
29、动态权重调整输出模块，分别与可见光相机、红外相机、第一障碍物识别模块和第二障碍物识别模块连接，用于对图像质量进行识别，并输出最终结果。
30、作为优选的技术方案，所述动态权重调整输出模块分别与双通道图像对输入模块和告警输出模块连接，所述双通道图像对输入模块分别与可见光相机、红外相机连接。
31、根据本专利技术的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现所述的方法。
32、根据本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现所述的方法。
33、与现有技术相比，本专利技术具有以下优点：
34、1)本专利技术提出采用调节权重的方式来对红外和可见光图像进行图像质量判断，动态调整红外通道和可见光通道检测结果的置信度，增加了检测结果的准确度，降低误报率；
35、2)本专利技术在恶劣天气比如雨雾、夜晚、昏暗条件下表现效果较好，受自然场景限制较少；
36、3)本专利技术识别距离远，采用相机本身使用的光学原理进行识别，同时具有较高的识别精度，给列车留出充足的安全保证距离；
37、4)本专利技术采用技术前沿算法，且算法性能稳定，在解决实际问题中的识别精度较高，算法的扩展性和可维护性较强；
38、5)本专利技术运行速度快，对采用的深度学习模型进行加速处理，同时保持高准确度，降低了运算成本，极大的保证了算法的实时性；
39、6)本专利技术运行稳定，识别完全本文档来自技高网...
【技术保护点】
1.一种基于红外和可见光动态权重融合视频感知方法，其特征在于，该方法首先通过可见光相机和红外相机分别获取到视频流并进行轨行区识别和障碍物检测，然后对障碍物目标是否侵限进行判断得到初步识别结果，最后采用根据不同时期图像质量动态调节双通道的检测结果融合权重，得到最终的障碍物检测结果并进行输出。
2.根据权利要求1所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，该方法具体包括以下步骤：
3.根据权利要求2所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，所述步骤S2通过视频流读取算法来判断相机是否正确获取到了视频数据。
4.根据权利要求2所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，所述步骤S3具体为：
5.根据权利要求2所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，所述步骤S7，构建图像质量识别模型具体为：
6.根据权利要求5所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，所述影响因素包括时间、季节、天气和图像清晰度。
7.根据权利
8.根据权利要求2所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，所述步骤S8具体包括：
9.一种用于权利要求1所述基于红外和可见光动态权重融合视频感知方法的系统，其特征在于，所述系统包括可见光相机、红外相机和车载设备，所述车载设备分别与可见光相机、红外相机连接，所述车载设备包括：
10.根据权利要求9所述的系统，其特征在于，所述动态权重调整输出模块分别与双通道图像对输入模块和告警输出模块连接，所述双通道图像对输入模块分别与可见光相机、红外相机连接。
11.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。
...【技术特征摘要】
1.一种基于红外和可见光动态权重融合视频感知方法，其特征在于，该方法首先通过可见光相机和红外相机分别获取到视频流并进行轨行区识别和障碍物检测，然后对障碍物目标是否侵限进行判断得到初步识别结果，最后采用根据不同时期图像质量动态调节双通道的检测结果融合权重，得到最终的障碍物检测结果并进行输出。
2.根据权利要求1所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，该方法具体包括以下步骤：
3.根据权利要求2所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，所述步骤s2通过视频流读取算法来判断相机是否正确获取到了视频数据。
4.根据权利要求2所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，所述步骤s3具体为：
5.根据权利要求2所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，所述步骤s7，构建图像质量识别模型具体为：
6.根据权利要求5所述的一种基于红外和可见光动态权重融合视频感知方法，其特征在于，所述影响因素包括时间、季节、天...
【专利技术属性】
技术研发人员：刘懂懂，王向阳，张中坤，吴争展，崔洪州，魏军，王思远，吴鸣晢，施裕斌，徐健，
申请(专利权)人：卡斯柯信号有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。