基于多模态的物流清障车规范工作识别方法、设备及介质技术

本发明专利技术公开了基于多模态的物流清障车规范工作识别方法、设备及介质，包括收集少量的清障车车载视频，进行前期的处理；在构建模型前期加入视频前处理算法，通过RGB直方图法，找到光线暗的视频，然后使用DeepUPE模型进行暗光图像增强；搭建多模态CLIP网络结构检测，设置合适的参数；进行模型训练，得到清障车规范工作识别模型；使用测试集进行清障车规范工作识别；本发明专利技术通过视觉算法来判断，输入清障车的车载视频，使用多模态CLIP模型来识别视频中的清障车上是否有车辆，排查清障车是否正常工作，从而给运输提供保障。考虑到夜间行车的频繁性，同时引入视频前处理算法提取夜间光线暗的视频，使用DeepUPE模型进行暗光图像增强，提高了算法识别的准确率。

【技术实现步骤摘要】

本专利技术涉及视频监测识别，具体为基于多模态的物流清障车规范工作识别方法、设备及介质。

技术介绍

1、道路清障车，又称拖车、道路救援车、拖拽车，具有起吊、拽拉和托举牵引等多项功能，清障车主要用于道路故障车辆，城市违章车辆及抢险救援等，这使得清障车在物流运输中起着越来越重要的作用。排查清障车的车板上是否存在被救援车显得格外必要，现有的操作方法主要是通过联系清障车驾驶员，然而在驾驶员行驶过程中，频繁接打电话存在一定的安全隐患。现在通过视觉算法来判断，输入清障车的车载视频，使用多模态clip(contrastivelanguage–imagepre-training)模型来识别视频中的清障车上是否有车辆，排查清障车是否正常工作，从而给运输提供保障。考虑到夜间行车的频繁性，同时引入视频前处理算法提取夜间光线暗的视频，使用deepupe模型进行暗光图像增强，能大大提高算法识别的准确率。

技术实现思路

1、针对现有技术的不足，本专利技术公开了基于多模态的物流清障车规范工作识别方法、设备及介质，以解决上述
技术介绍
中提出的问本文档来自技高网...

【技术保护点】

1.基于多模态的物流清障车规范工作识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态的物流清障车规范工作识别方法，其特征在于：步骤S1中，具体包括如下：

3.根据权利要求1所述的基于多模态的物流清障车规范工作识别方法，其特征在于：步骤S2中，所述RGB直方图法具体包括：

4.根据权利要求3所述的基于多模态的物流清障车规范工作识别方法，其特征在于：步骤S2中，所述DeepUPE模型包括网络结构包含一个local和一个global的模块，能够获取不同尺度的信息，然后因为输出尺寸的比较小，进而保证效率的问题，具体步骤包括：

...

【技术特征摘要】

1.基于多模态的物流清障车规范工作识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态的物流清障车规范工作识别方法，其特征在于：步骤s1中，具体包括如下：

3.根据权利要求1所述的基于多模态的物流清障车规范工作识别方法，其特征在于：步骤s2中，所述rgb直方图法具体包括：

4.根据权利要求3所述的基于多模态的物流清障车规范工作识别方法，其特征在于：步骤s2中，所述deepupe模型包括网络结构包含一个local和一个global的模块，能够获取不同尺度的信息，然后因为输出尺寸的比较小，进而保证效率的问题，具体步骤包括：

5.根据权利要求1所述的基于多模态的物流清障车规范工作识别方法，其特征在于：步骤s3中，搭建的多模态...

【专利技术属性】
技术研发人员：徐梦佳，李斯，杨周龙，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：