图像增强方法和图像增强装置制造方法及图纸

一种应用于图像增强装置的图像增强方法，包括从第一光谱图像中获取第一边缘特征以及从第二光谱图像中获取第二边缘特征，分析第一边缘特征和第二边缘特征之间的相似性以对齐第一光谱图像与第二光谱图像，从第一光谱图像中获取至少一个第一细节特征，从第二光谱图像中获取至少一个第二细节特征，比较第一边缘特征和第二边缘特征以生成第一权重和第二权重，将由第一权重加权的第一细节特征与由第二权重加权的第二细节特征进行融合，生成融合图像。第一光谱图像和第二光谱图像在同一时间点采集。采集。采集。

【技术实现步骤摘要】
图像增强方法和图像增强装置
[0001]相关引用
[0002]本专利技术要求美国临时申请号63/126,582(于2020年12月17日提交)的美国临时申请的优先权，其全部内容以引用方式并入本文。


[0003]本专利技术涉及图像处理，尤其涉及图像增强方法和图像增强装置。

技术介绍

[0004]监控摄像头可以在街角、高速公路或房屋前安装，以捕捉监控图像。监控摄像头回应于光照环境启动可见光谱接收器来采集可见监控图像，以及响应于黑暗环境进一步启动不可见光谱接收器来采集不可见监控图像。不可见监控图像可能是绿色或其他色彩，看起来不像是各种色彩和正确亮度的视觉图像。因此，设计一种能够提供目标物体的准确形状和正确色彩和亮度的图像的监控摄像机是图像处理行业中的一个重要问题。

技术实现思路

[0005]本专利技术提供一种在微光条件下获取清晰图像的图像增强方法及相关图像增强装置，以解决上述问题。
[0006]根据所要求保护的专利技术，一种图像增强方法包括从第一光谱图像中获取第一边缘特征和从第二光谱图像中获取第二边缘特征，分析第一边缘特征和第二边缘特征之间的相似性以对齐第一光谱图像与第二光谱图像，从第一光谱图像中获取至少一个第一细节特征，从第二光谱图像中获取至少一个第二细节特征，比较第一边缘特征和第二边缘特征以生成第一权重和第二权重，将由第一权重加权的第一细节特征与由第二权重加权的第二细节特征融合，生成融合图像。第一光谱图像和第二光谱图像在同一时间点采集。
[0007]根据所要求保护的专利技术，从第一光谱图像中获取第一边缘特征的步骤包括：提取梯度域中第一光谱图像的相邻像素的至少一个梯度值作为第一边缘特征。
[0008]根据所要求保护的专利技术，从第一光谱图像中获取第一边缘特征的步骤包括：提取相邻像素在不同方向的两个梯度值，以定义第一边缘特征的角度。
[0009]根据所要求保护的专利技术，图像增强方法还包括通过基于边缘的区块匹配算法分析第一边缘特征和第二边缘特征以计算相似度，从而生成匹配结果。
[0010]根据所要求保护的专利技术，图像增强方法还包括通过基于边缘的区块匹配算法搜索多个预定方向的边缘相似度，以找出第一边缘特征与第二边缘特征的匹配点，以获取相似度。
[0011]根据所要求保护的专利技术，图像增强方法还包括通过遮挡处理算法(occlusion handling algorithm)和一致性检查算法(consistency check algorithm)来细化匹配结果。
[0012]根据所要求保护的专利技术，图像增强方法还包括如果第一边缘特征和第二边缘特征
interpolation)，以降低噪声和保留可靠的边缘特征，以及被用来以着色方式填充色彩到融合图像和生成自然的视觉色彩图像，其具有丰富的图像细节、提高的视觉识别能力和增强的识别准确率。
[0022]此外，图像增强装置可以采用主动式光源或不采用主动式光源来实现。图像增强方法可以通过硬件或软件实现，也可以近实时或实时地在移动设备或监控摄像头或夜视设备或其他摄像头设备上实现，或通过互联网传输相关数据在云服务器上实现。图像增强装置可以安装在街角、高速公路或房屋前，通过本专利技术的图像增强方法，图像增强装置的图像质量可被增强，不受雾气或极度黑暗环境干扰以使目标物体清晰。
[0023]在阅读了在各个附图和附图中示出的优选实施例的以下详细描述之后，本专利技术的这些和其他目的对于所属
中普通技术人员来说无疑将变得显而易见。
附图说明
[0024]图1示出根据本专利技术实施例的图像增强装置的功能框图。
[0025]图2示出根据本专利技术实施例的图像增强方法的流程图。
[0026]图3示出根据本专利技术实施例的基于边缘的局部对齐的流程图。
[0027]图4示出本专利技术实施例融合第一光谱图像和第二光谱图像的流程图。
[0028]图5示出根据本专利技术实施例的色彩恢复的流程图。。
具体实施方式
[0029]图1示出根据本专利技术实施例的图像增强装置10的功能框图。图像增强装置10可用于物体跟踪、特征识别和特征解读，广泛应用于家庭安全、交通事故跟踪和车牌识别。图像增强装置10可以优选地在正常光照条件下工作；当环境变暗时，图像增强装置10可收集特定光谱光所撷取的图像，使目标物在微光条件下被看到。
[0030]例如，可见光捕获的视觉图像可能具有清晰的色彩但目标物体的边缘模糊，而不可见光捕获的图像，例如近红外图像或热图像，可能具有准确的目标物体边缘，但没有色彩，也没有正确的亮度。因此，图像增强装置10可以获取两个或更多的光谱图像，然后融合多光谱图像的强度和信息，使目标物体清晰分明，从而使得即使图像增强装置10在极暗的环境中工作，融合图像中目标物体的外观看起来像人类的视觉。
[0031]接收图像增强装置10可包括第一图像接收器12、第二图像接收器14及运算处理器16。第一图像接收器12可接收第一图像传感器所撷取的至少一个第一光谱图像，或可直接撷取至少一个第一光谱图像。第二图像接收器14可接收第二图像传感器所撷取的至少一个第二光谱图像，或可直接撷取至少一个第二光谱图像。第一图像传感器与第二图像传感器未在图1中示出。第一光谱图像和第二光谱图像在同一时间点采集，以及可以分别是不可见光谱图像和可见光谱图像。
[0032]图2示出根据本专利技术实施例的图像增强方法的流程图。图2所示的图像增强方法可适用于图1所示的图像增强装置10的运算处理器16。首先，步骤S100可被执行以获取至少一个第一光谱图像和至少一个第二光谱图像。若第一光谱图像与第二光谱图像的数量为多个，以及多个第一光谱图像与多个第二光谱图像分别对应图像增强装置10的监控区域的不同部分，则步骤S102可被选择性地执行以拼接多个第一光谱图像以形成第一全景图像，和
进一步拼接多个第二光谱图像以形成第二全景图像。例如，多个第一光谱图像可以包括两个或两个以上的近红外图像，多个第二光谱图像可以包括两个或两个以上的色彩图像。近红外图像和色彩图像可以按照基于边缘的局部对齐、图像融合和色彩恢复的步骤进行拼接，下面分别进行说明。
[0033]第一光谱图像和第二光谱图像在不同的视角下获取，因此步骤S104可以执行基于边缘的局部对齐来扭曲(warp)第一光谱图像以与第二光谱图像对齐。第一光谱图像为细节最丰富且目标物体边缘准确的不可见光谱图像，第二光谱图像为细节较少且目标物体边缘准确的可见光谱图像，因此步骤S106可以调整第一光谱图像的权重，然后根据第一光谱图像的权重调整来进一步调整第二光谱图像的权重，以融合第一光谱图像和第二光谱图像以生成融合图像。最后，步骤S108可被执行以使用色彩提取算法通过任一适用的着色方法来获得融合图像的正确色彩信息。
[0034]图3示出本专利技术实施例步骤S104中基于边缘的局部对齐的流程图。首先，步骤S200可被执行，以从第一光谱图像(或第一全景图像)中获取至少一个第一边缘特征以及从第二光谱图像(或第二全景图像)中获取至少一个第二边缘特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强方法，包括：从第一光谱图像中获取第一边缘特征，从第二光谱图像中获取第二边缘特征，其中所述第一光谱图像和所述第二光谱图像在同一时间点采集；分析所述第一边缘特征与所述第二边缘特征之间的相似度，以将所述第一光谱图像与所述第二光谱图像对齐；从所述第一光谱图像中获取至少一个第一细节特征，从所述第二光谱图像中获取至少一个第二细节特征；比较所述第一边缘特征与所述第二边缘特征以产生第一权重与第二权重；以及将由所述第一权重加权的所述至少一个第一细节特征与由所述第二权重加权的所述至少一个第二细节特征进行融合生成融合图像。2.如权利要求1所述的图像增强方法，其特征在于，从所述第一光谱图像中获取所述第一边缘特征包括：提取梯度域中所述第一光谱图像的多个相邻像素的至少一个梯度值作为所述第一边缘特征。3.如权利要求2所述的图像增强方法，其特征在于，从所述第一光谱图像中获取所述第一边缘特征包括：提取所述多个相邻像素的多个不同方向的两个梯度值来定义所述第一边缘特征的角度。4.如权利要求1所述的图像增强方法，其特征在于，所述方法进一步包括：通过基于边缘的区块匹配算法分析所述第一边缘特征和所述第二边缘特征以计算所述相似度，从而生成匹配结果。5.如权利要求4所述的图像增强方法，其特征在于，所述方法进一步包括：通过所述基于边缘的区块匹配算法搜索多个预定方向的边缘相似度，找出所述第一边缘特征和所述第二边缘特征的匹配点，以获得所述相似度。6.如权利要求4所述的图像增强方法，其特征在于，所述方法进一步包括：通过遮挡处理算法和一致性检查算法来细化所述匹配结果。7.如权利要求1所述的图像增强方法，其特征在于，所述方法进一步包括：如果所述第一边缘特征和所述第二边缘特征的所述匹配结果是稀疏的，则利用双边求解器类算法将匹配结果的稀疏视差图插值为密集视差图；以及根据插值后的所述视差图以像素移位的方式扭曲所述第一光谱图像以与所述第二光谱图像对齐。8.如权利要求1所述的图像增强方法，其特征在于，所述方法进一步包括：通过边缘特征符号标记所述第一光谱图像和/或所述第二光谱图像内的像素或区域以用于边缘失配。9.如权利要求8所述的图像增强方法，其特征在于，所述方法进一步包括：根据所述边缘特征符号，基于所述第一边缘特征匹配于所述第二边缘特征，分别分配所述第一权重和所述第二权重。10.如权利要求1所述的图像增强方法，其特征在于，所述第一光谱图像为不可见光谱图像，所述第二光谱图像为可见光谱图像，以及所述第一权重大于所述第二权重。
11.如权利要求1所述的图像增强方法，其特征在于，所根据特定属性，所述第一光谱图像和所述第二光谱图像均包括多个层，一个以上的所述第一细节特征和所述第二细节特征分别从所述第一光谱图像和所述第二光谱图像中获取，以及所述特定属性是所述第一光谱图像和所述第二光谱图像的频率分布或分辨率。12.如权利要求1所述的图像增强方法，其特征在于，所述方法进一步包括：缩小所述第二光谱图像；以及将边缘保留平滑算法应用于缩小的所述第二光谱图像。13.如权利要求1所述的图像增强方法，进一步包括：设置置信度图；通过所述置信度图对所述第二光谱图像进行变换，以获取稀疏色彩图像；以及使用所述稀疏色彩图像对所述融合图像进行着色以生成自然的视觉色彩图像。14.如权利要求13所述的图像增强方法，其特征在于，所述稀疏色彩图像的稀疏色彩信息被填充到所述融合图像的对应区域中，以及被传播到所述对应区域周围的相邻区域，以生成所述自然的视觉色彩图像。15.一种图像增强装置，包括：第一图像接收器，适于接收第一光谱图像；第二图像接收器，适于接收第二光谱图像，其中所述第一光谱图像和所述...

【专利技术属性】
技术研发人员：林育如，林品仲，葛竑志，郭嘉辉，王绍洋，李克聪，陈颖睿，朱启诚，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：