暗图像增强制造技术

本发明专利技术涉及暗图像增强，尤其涉及增强用于计量应用的图像的方法。传感器图像用初始计量信息表示关注场景，以确定其中至少一个对象的位置和/或取向。传感器图像具有传感器图像几何正确性。传感器图像通过与对传感器图像进行评估的评分函数相关联的图像参数描述。还提供从传感器图像生成的增强图像。增强图像通过具有增强图像参数值的图像参数描述。增强图像具有低于传感器图像几何正确性的经处理的图像几何正确性。该方法包括：提供几何校正图像，其具有比经处理的图像几何正确性高的图像几何正确性并示出关注场景的至少一部分；通过将增强图像与几何校正图像融合至少部分地减少失真的计量信息中初始计量信息的丢失。真的计量信息中初始计量信息的丢失。真的计量信息中初始计量信息的丢失。

【技术实现步骤摘要】
暗图像增强


[0001]本专利技术涉及一种方法、计算机程序产品和系统。

技术介绍

[0002]人眼感知为暗的图像通常是在昏暗或快速变化的环境中获取的，其中，快速变化可能来自快速摄像机移动。在第二种情况下，可能需要拍摄图像的摄像机的短曝光时间以避免模糊图像；然而，短曝光时间会导致人类观察者认为图像较暗。这种暗图像可能另外还包括大量的噪声。因此，在进一步处理之前改进暗图像可能是有益的，例如，使人类观察者能够识别图像中的对象并从所识别的对象推断出计量信息。对于低信噪比(SNR)的图像，用于增强图像的算法优选是非线性的，因为非线性可能有助于将信号与噪声分离并选择性地仅放大信号。
[0003]图像通常被呈现给人类观察者和/或机器。人类观察者和/或机器从图像提取信息。EP15176238提供了一个基于图像的计量示例。所提取的信息在本质上通常是空间的，并且涉及例如两个对象到彼此的距离信息或相对位置。
[0004]例如，对于对象的三角测量，可以使用所述对象的两个图像来推断对象的空间位置。已知提供两个图像的摄像机之间的基本距离时，两个图像中的对应特征(例如特征是对象的角部)可以被检测并用于确定对象的对应于所检测的对应特征的部分的3D位置。使用对应特征的三角测量需要精确确定两个图像中的特征。例如，如果检测到的特征远离它们在两个图像中的真实位置偏移，则对象将无法被正确地三角测量。
[0005]特征检测准确度通常取决于所分析的图像的SNR。在昏暗或快速变化的环境中获取的图像通常具有低SNR的特征。对于这样的图像，特征检测会产生很多错误，并且使用部分错误特征的随后的三角测量将提供三角测量的对象的错误3D位置。因此，在进一步处理之前可能需要增强具有低SNR的图像。
[0006]例如，在地面激光扫描应用或移动测绘(mapping)应用中，由激光扫描器获取的点云数据可以使用由彩色分辨摄像机提供的彩色图像进行着色。如果在昏暗或快速变化的环境中获取彩色图像，则产生的彩色图像通常具有低SNR的特征。由于彩色点云中的测量通常取决于彩色点云的颜色，因此可能有必要在对点云着色之前增强彩色图像，以改进彩色点云中的后续测量。用户还可以根据颜色信息选择彩色点云中的单个点或区域，例如用于进一步检查。例如，在对点云着色之前，可能还有必要提高颜色保真度(对应于白平衡)和/或使颜色更鲜艳。
[0007]例如，颜色的鲜艳度可以在色相
‑
饱和度
‑
亮度(HSL：hue
‑
saturation
‑
lightness)颜色空间中限定。可以使用饱和度分量来测量鲜艳度。例如，如果从HSL圆柱的中心移出到HSL圆柱的边缘，颜色会变得更加鲜艳。
[0008]理想地，诸如图像中对象的边缘或角的位置之类属性应在图像增强后保持不变，即理想地，图像中对象的边缘或角的位置应在图像增强前后相同。由于所提到的特性随后可能用于三角测量，例如，所提到的要保持的特性是计量特性。对于计量应用，理想地，图像
中对象轮廓或类似细节应在图像增强后保持不变，因为从图像确定计量信息通常需要由图像中对象轮廓或类似细节编码的信息。
[0009]作为计量应用的示例，可以使用移动测绘平台(例如基于汽车的测绘平台)来进行测绘城市环境。测绘城市环境的目的是获得城市中房屋、树木、道路资产和其它至少暂时静止的对象的密集3D重建。例如，用于测绘城市环境的汽车可能配备有激光雷达和摄像机。摄像机的图像传感器的像素通常对应于边长在亚厘米范围内的正方形区域。因此，城市环境中在亚厘米范围中的结构通常被测绘到一个像素上。汽车可能会穿过高楼林立的狭窄街道行驶，高楼阻挡直射阳光，从而导致昏暗的环境，尤其是在峰值日光状况之前或之后。基于汽车的测绘系统通常以10米每秒至30米每秒的速度移动。昏暗的城市环境和所需的短曝光时间
‑
以避免由于汽车移动导致的模糊图像
‑
组合导致低SNR图像，该低SNR图像较暗。关于昏暗环境的相似考虑通常也适用于室内环境。
[0010]作为计量应用示例的环境的静态测绘也可能受到昏暗或快速变化的环境的影响。对于配备有彩色分辨摄像机的地面激光扫描器的情况，所提供的彩色图像可能有噪声并且具有低SNR。
[0011]暗图像的亮度增强是一经过充分研究的问题。最近，Chen等人的两个出版物(Chen,C.,Chen,Q.,Xu,J.,&Koltun,V.(2018).Learning to see in the dark.In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(pp.3291
‑
3300)以及Chen,C.,Chen,Q.,Do,M.N.,&Koltun,V.(2019).Seeing motion in the dark.In Proceedings of the IEEE International Conference on Computer Vision(pp.3185
‑
3194))研究了增强暗图像的问题。两个文章中的第一个文章提出了一种用于增强单个图像的技术，而两个文章中的第二个文章提出了一种用于增强视频的技术。两个文章均使用深度学习方法，即，使用包含暗图像和对应的亮地面真实图像的输入/输出训练数据来学习从暗图像到增强亮图像的映射。由于非线性和在学习的卷积神经网络中编码的先验知识的使用，与提供给卷积神经网络以进行增强的暗图像相比，增强的亮图像的SNR通常被提高。Chen等人在两个文章中研究的技术未考虑图像的计量特性，即该算法被明确设计成仅增强输入图像，而与计量学没有任何关系或没有考虑计量学。
[0012]如果应用于有噪声的图像，深度学习方法也可以用于降低噪声，或提高图像的分辨率，或提高图像的颜色保真度，或将图像的颜色变换成更鲜艳的颜色。神经网络还可以被训练成提供上述功能的组合，即，例如，神经网络可以联合地提高图像的分辨率和提高图像的亮度。

技术实现思路

[0013]因此，本专利技术的一个目的是提供一种在保持计量特性的同时增强图像的方法。
[0014]本专利技术的另一目的是提供一种在保持计量特性的同时增强由移动或静态测绘平台获得的图像的方法。
[0015]本专利技术的又一目的是提供一种在保持计量特性的同时增强由测绘城市环境的移动或静态测绘平台获得的图像的方法。
[0016]这些目的是通过实现独立权利要求的特征来实现的。在从属专利权利要求中描述了以另选方式或有利方式进一步发展本专利技术的特征。
[0017]本专利技术涉及一种增强用于计量应用的图像的方法。所提供的传感器图像利用初始计量信息表示关注场景，以确定所关注场景内至少一个对象的位置和/或取向。传感器图像具有传感器图像几何正确性。传感器图像通过由对所述传感器图像进行评估的评分函数提供的图像参数来描述，所述图像参数尤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强用于计量应用的图像的方法，所述方法具有以下步骤：
‑
提供传感器图像(3、3a)，所述传感器图像(3、3a)：利用初始计量信息来表示关注场景(10)，以确定所述关注场景(10)内至少一个对象的位置和/或取向，具有传感器图像几何正确性，并且是通过由针对所述传感器图像(3、3a)评估的评分函数提供的图像参数来描述的，所述图像参数尤其涉及所述传感器图像(3、3a)的亮度和/或噪声和/或分辨率和/或颜色保真度和/或颜色的鲜艳度，所述图像参数具有初始图像参数值，
‑
提供根据所述传感器图像(3、3a)生成的增强图像(8)，所述增强图像(8)：是通过具有增强图像参数值的图像参数来描述的，所述增强图像参数值尤其涉及比所述传感器图像(3、3a)高的亮度和/或降低的噪声和/或高的分辨率和/或高的颜色保真度和/或更鲜艳的颜色，并且具有经处理的图像几何正确性，所述经处理的图像几何正确性涉及失真的计量信息，所述失真的计量信息表示因利用神经网络(5)的图像处理引起的初始计量信息的丢失，所述经处理的图像几何正确性低于所述传感器图像几何正确性，其特征在于，
‑
提供几何校正图像(4、4a、4b、14)，所述几何校正图像(4、4a、4b、14)：具有比所述经处理的图像几何正确性高的图像几何正确性，示出所述关注场景(10)的至少一部分，
‑
通过将所述增强图像(8)与所述几何校正图像(4、4a、4b、14)融合(6)来至少部分地减少所述失真的计量信息中初始计量信息的所述丢失。2.根据权利要求1所述的方法，其特征在于，所述传感器图像(3、3a)是彩色分辨的，尤其是通过具有拜耳模式的彩色分辨摄像机(1)获得的。3.根据权利要求2所述的方法，其特征在于，所述几何校正图像(4a、4b)是通过所述传感器图像(3)的颜色通道的线性组合使用所述传感器图像(3)生成的，尤其是通过在所述线性组合之前将伽马扩展和/或直方图均衡化应用到所述颜色通道。4.根据权利要求1或2所述的方法，其特征在于，所述几何校正图像(4a、4b)是由单色摄像机(2)提供的。5.根据权利要求1或2所述的方法，其特征在于，所述几何校正图像(4a、14)是使用激光雷达成像系统(11)提供的，其中，接收到的电磁脉冲的强度(13)用于得出所述几何校正图像(4a、14)。6.根据前述权利要求中任一项所述的方法，其特征在于，所述增强图像(8)被所述神经网络(5)上采样，其中，经上采样的图像的分辨率高于所
述传感器图像(3a)的分辨率。7.根据前述权利要求中任一项所述...

【专利技术属性】
技术研发人员：伯恩哈德，
申请(专利权)人：莱卡地球系统公开股份有限公司，
类型：发明
国别省市：