当前位置: 首页 > 专利查询>郑州大学专利>正文

基于多模态的实时图像增强方法及系统技术方案

技术编号:41114005 阅读:48 留言:0更新日期:2024-04-25 14:05
本发明专利技术涉及智慧交通中数据增强技术领域,特别涉及一种基于多模态的实时图像增强方法及系统,通过获取交通监控中多模态图像数据,所述多模态图像数据包括原始红外图像数据和原始RGB图像数据;对多模态图像数据进行特征提取及预处理,利用跨模态注意力机制对提取的数据特征进行特征融合,利用多层感知机制获取三维查找表权重;利用原始RGB图像并通过三维查找表对特征融合结果进行三线性插值计算,得到颜色增强后的目标图像;对原始RGB图像和原始红外图像进行结构一致性特征对齐,通过一层卷积对对齐特征进行融合,并与目标图像进行跳跃连接细化,获取最终增强图像。本发明专利技术能够对多模态实时交通图像进行增强处理,提高交通监控系统性能和效果。

【技术实现步骤摘要】

本专利技术涉及智慧交通中数据增强,特别涉及一种基于多模态的实时图像增强方法及系统


技术介绍

1、实时交通监控图像增强是通过对原始交通图像进行采集后,并利用算法对图像进行处理,使得处理后的图像更为清晰和色彩丰富。传统的图像增强技术主要包括直方图均衡化、仿射变换、曲线拟合函数和3-dimensional lookup table(3d lut)等。然而,在交通监控领域,对采集的图像进行实时增强和回传是一项具有挑战性的任务。传统的图像增强算法往往只能处理单一来源的图像,无法满足实时性要求。同时,结合神经网络的算法虽然在图像增强方面取得了一定的成果,但其计算复杂度较高,无法满足实时交通监控的需求。因此,目前的图像增强算法无法满足实时交通监控的要求。


技术实现思路

1、为此,本专利技术提供一种基于多模态的实时图像增强方法及系统,解决实时交通监控中图像质量低下的问题,基于多模态实时交通图像增强,提高交通监控系统的性能和效果。

2、按照本专利技术所提供的设计方案,一方面,提供一种基于多模态的实时图像增强方法,本文档来自技高网...

【技术保护点】

1.一种基于多模态的实时图像增强方法,其特征在于,包含:

2.根据权利要求1所述的基于多模态的实时图像增强方法,其特征在于,通过分辨率特征对齐及通道压缩对多模态图像数据特征进行特征提取及预处理,包含:

3.根据权利要求1或2所述的基于多模态的实时图像增强方法,其特征在于,利用跨模态注意力机制对提取的数据特征进行特征融合,包含:

4.根据权利要求1所述的基于多模态的实时图像增强方法,其特征在于,利用多层感知机制获取三维查找表权重,包含:

5.根据权利要求1或4所述的基于多模态的实时图像增强方法,其特征在于,利用原始RGB图像并通过三维查找表对...

【技术特征摘要】

1.一种基于多模态的实时图像增强方法,其特征在于,包含:

2.根据权利要求1所述的基于多模态的实时图像增强方法,其特征在于,通过分辨率特征对齐及通道压缩对多模态图像数据特征进行特征提取及预处理,包含:

3.根据权利要求1或2所述的基于多模态的实时图像增强方法,其特征在于,利用跨模态注意力机制对提取的数据特征进行特征融合,包含:

4.根据权利要求1所述的基于多模态的实时图像增强方法,其特征在于,利用多层感知机制获取三维查找表权重,包含:

5.根据权利要求1或4所述的基于多模态的实时图像增强方法,其特征在于,利用原始rgb图像并通过三维查找表对特征融合结果进行三线性插值计算,包含:

6.根据权利要求1所述的基于多模态的实时图像增强方法,其特征在于,对原始rgb图像和原始红外图像进行结构一致性特征对齐,包含:

【专利技术属性】
技术研发人员:李凯江李浩刘向前张晓芳郭纯一吴漫王博
申请(专利权)人:郑州大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1