【技术实现步骤摘要】
本专利技术涉及智慧交通中数据增强，特别涉及一种基于多模态的实时图像增强方法及系统。
技术介绍
1、实时交通监控图像增强是通过对原始交通图像进行采集后，并利用算法对图像进行处理，使得处理后的图像更为清晰和色彩丰富。传统的图像增强技术主要包括直方图均衡化、仿射变换、曲线拟合函数和3-dimensional lookup table(3d lut)等。然而，在交通监控领域，对采集的图像进行实时增强和回传是一项具有挑战性的任务。传统的图像增强算法往往只能处理单一来源的图像，无法满足实时性要求。同时，结合神经网络的算法虽然在图像增强方面取得了一定的成果，但其计算复杂度较高，无法满足实时交通监控的需求。因此，目前的图像增强算法无法满足实时交通监控的要求。
技术实现思路
1、为此，本专利技术提供一种基于多模态的实时图像增强方法及系统，解决实时交通监控中图像质量低下的问题，基于多模态实时交通图像增强，提高交通监控系统的性能和效果。
2、按照本专利技术所提供的设计方案，一方面，提供一种基于多模态的实时图像增强方法，包含：
3、获取交通监控中多模态图像数据，所述多模态图像数据包括原始红外图像数据和原始rgb图像数据；
4、通过分辨率特征对齐及通道压缩对多模态图像数据进行特征提取及预处理，利用跨模态注意力机制对提取的数据特征进行特征融合，并利用多层感知机制获取三维查找表权重；
5、利用原始rgb图像并通过三维查找表对特征融合结果进行三线性插值计算，得到颜色
6、对原始rgb图像和原始红外图像进行结构一致性特征对齐，通过一层卷积对对齐特征进行融合，利用融合后的特征与目标图像进行跳跃连接细化，以获取最终融合红外特征的增强图像。
7、作为本专利技术基于多模态的实时图像增强方法，进一步地，通过分辨率特征对齐及通道压缩对多模态图像数据特征进行特征提取及预处理，包含：
8、首先，利用插值方式将图像数据缩放至固定分辨率，并通过转换操作将图像数据的空间信息按预设倍数进行通道变换，以将红外图像和rgb图像两种模态下的图像数据分辨率进行特征对齐；
9、然后，针对特征对齐后的两种模态下的图像特征，利用共享参数卷积进行通道压缩，以获取预处理后的各模态下图像数据特征。
10、作为本专利技术基于多模态的实时图像增强方法，进一步地，利用跨模态注意力机制对提取的数据特征进行特征融合，包含：
11、首先，针对rgb图像数据特征，采用3m倍的通道进行扩展并通过块拆分成获取对应的q、k、v特征向量，对q、k、v特征向量进行自注意力特征提取并获取rgb图像目标特征；针对红外图像数据特征，采用2m倍的通道进行扩展并通过块拆分获取对应的k、v特征向量；
12、然后，将rgb图像目标特征作为query，与红外图像的的k、v特征向量记性跨模态通道注意力特征融合，并利用多层感知机制获取三维查找表权重。
13、作为本专利技术基于多模态的实时图像增强方法，进一步地，利用多层感知机制获取三维查找表权重，包含：
14、使用平均池化及卷积操作对特征融合结果进行处理，并通过全连接层实现权重预测。
15、作为本专利技术基于多模态的实时图像增强方法，进一步地，利用原始rgb图像并通过三维查找表对特征融合结果进行三线性插值计算，包含：
16、针对原始rgb图像中目标坐标的点，确定其在三维查找表空间中的位置，并将rgb值映射到三维查找表空间中；在三维查找表空间中寻找离目标位置最近的控制像素点，对于每个控制像素点，采用欧几里得距离与三维查找表权重计算其综合权重，并将控制像素点加权平均后的颜色值作为最终的插值结果。
17、作为本专利技术基于多模态的实时图像增强方法，进一步地，对原始rgb图像和原始红外图像进行结构一致性特征对齐，包含：
18、通过共享参数的膨胀卷积对原始红外图像和rgb图像两者特征在像素级别上进行结构一致性对齐。
19、作为本专利技术基于多模态的实时图像增强方法，进一步地，利用融合后的特征与三维查表后的图像进行跳跃连接细化的过程表示为：
20、其中，gv,gir分别为原始红外图像和rgb图像经结构一致性对齐后的图像特征，ilut为颜色增强后的目标图像，为最终融合红外特征的增强图像。
21、再一方面，本专利技术还提供一种基于多模态的实时图像增强系统，包含：数据获取模块、数据处理模块、颜色增强模块和增强输出模块，其中，
22、数据获取模块，用于获取交通监控中多模态图像数据，所述多模态图像数据包括原始红外图像数据和原始rgb图像数据；
23、数据处理模块，用于通过分辨率特征对齐及通道压缩对多模态图像数据进行特征提取及预处理，利用跨模态注意力机制对提取的数据特征进行特征融合，并利用多层感知机制获取三维查找表权重；
24、颜色增强模块，用于利用原始rgb图像并通过三维查找表对特征融合结果进行三线性插值计算，得到颜色增强后的目标图像；
25、增强输出模块，用于对原始rgb图像和原始红外图像进行结构一致性特征对齐，通过一层卷积对对齐特征进行融合，利用融合后的特征与目标图像进行跳跃连接细化，以获取最终融合红外特征的增强图像。
26、又一方面，本专利技术还提供一种基于多模块的实时交通监控系统，包含：兼具多模态图像采集功能用于实时收集交通多模态图像数据的交通图像采集端，与交通图像采集端连接用于对交通图像增强处理的上位机，与上位机连接用于交通数据集中存储的中央监控服务器集群，及与中央监控服务器集群连接用于依据交通数据进行实时监控分析的监控客户端，其中，上位机上存储有计算机程序，所述计算机程序被执行时，能够实现如上述的方法。
27、本专利技术的有益效果：
28、本专利技术通过高效的三维查找表与轻量级跨模态神经网络的结合，既能够满足交通监控的实时要求，又能够使得增强后的图像具有更高的质量；采用细化处理来进行图像融合，特别是在夜间场景下，通过网络细化处理可以根据红外图像的温度敏感性，使得增强后的图像在细节上呈现更加真实和清晰的效果。并进一步通过实验数据证明，本案方案能够在保证图像增强效果的同时，大幅减少模型参数的数量，对于480p的图像，仅需要4.6k的模型参数就能够完成多模态的交通图像增强任务，能够满足智慧交通领域中的应用部署。
本文档来自技高网...【技术保护点】
1.一种基于多模态的实时图像增强方法，其特征在于，包含：
2.根据权利要求1所述的基于多模态的实时图像增强方法，其特征在于，通过分辨率特征对齐及通道压缩对多模态图像数据特征进行特征提取及预处理，包含：
3.根据权利要求1或2所述的基于多模态的实时图像增强方法，其特征在于，利用跨模态注意力机制对提取的数据特征进行特征融合，包含：
4.根据权利要求1所述的基于多模态的实时图像增强方法，其特征在于，利用多层感知机制获取三维查找表权重，包含：
5.根据权利要求1或4所述的基于多模态的实时图像增强方法，其特征在于，利用原始RGB图像并通过三维查找表对特征融合结果进行三线性插值计算，包含：
6.根据权利要求1所述的基于多模态的实时图像增强方法，其特征在于，对原始RGB图像和原始红外图像进行结构一致性特征对齐，包含：
7.根据权利要求1所述的基于多模态的实时图像增强方法，其特征在于，利用融合后的特征与目标图像进行跳跃连接细化的过程表示为：
8.一种基于多模态的实时图像增强系统，其特征在于，包含：数据获取模块、数
9.一种基于多模块的实时交通监控系统，其特征在于，包含：兼具多模态图像采集功能用于实时收集交通多模态图像数据的交通图像采集端，与交通图像采集端连接用于对交通图像增强处理的上位机，与上位机连接用于交通数据集中存储的中央监控服务器集群，及与中央监控服务器集群连接用于依据交通数据进行实时监控分析的监控客户端，其中，上位机上存储有计算机程序，所述计算机程序被执行时，能够实现如权利要求1～7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，
...【技术特征摘要】
1.一种基于多模态的实时图像增强方法，其特征在于，包含：
2.根据权利要求1所述的基于多模态的实时图像增强方法，其特征在于，通过分辨率特征对齐及通道压缩对多模态图像数据特征进行特征提取及预处理，包含：
3.根据权利要求1或2所述的基于多模态的实时图像增强方法，其特征在于，利用跨模态注意力机制对提取的数据特征进行特征融合，包含：
4.根据权利要求1所述的基于多模态的实时图像增强方法，其特征在于，利用多层感知机制获取三维查找表权重，包含：
5.根据权利要求1或4所述的基于多模态的实时图像增强方法，其特征在于，利用原始rgb图像并通过三维查找表对特征融合结果进行三线性插值计算，包含：
6.根据权利要求1所述的基于多模态的实时图像增强方法，其特征在于，对原始rgb图像和原始红外图像进行结构一致性特征对齐，包含：
【专利技术属性】
技术研发人员：李凯江，李浩，刘向前，张晓芳，郭纯一，吴漫，王博，
申请(专利权)人：郑州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。