【技术实现步骤摘要】
【国外来华专利技术】
本专利技术大体上涉及高动态范围(high dynamic range，hdr)成像；并且更具体地，涉及事件辅助高动态范围(high dynamic range，hdr)成像设备。
技术介绍
1、传统上，现实世界的动态范围非常大，通常超过五个数量级。因此，日常场景的动态范围可能很难被传统的传感器记录下来。因此，图片的某些部分可能会曝光过度或曝光不足。近年来，高动态范围(high dynamic range，hdr)成像技术可以通过组合同一场景的多次曝光(包围曝光)来重建覆盖整个动态范围的辐射亮度图。此外，这些技术通常估计相机响应函数，然后进一步估计每个像素的辐射亮度。
2、需要说明的是，当前的hdr方案可以分为：仅依赖于标准图像传感器的单曝光和多曝光方法；仅使用事件传感器的基于事件的方法；使用标准图像传感器和事件传感器的混合方法。首先，单曝光方法从单个ldr图像推理hdr图像或一堆不同程度曝光的ldr图像，因此可以应用于旧的ldr内容。但是，它们本质上仍然会使饱和区域中的细节与周围的非饱和背景产生幻觉，因此不适合商业应用。其次，对齐问题的简单方案是拒绝移动对象像素或使用鲁棒的曝光融合。但是，这些方法通常无法标识移动对象，并且无法以hdr重建它们。需要说明的是，基于事件的方法使用深度学习根据事件重建强度帧。此外，这些方法并不明确地针对hdr成像，而是通过使用事件重建类似hdr的图像。但是，根据图像的空间梯度重建图像是一个不适定问题，特别是在考虑对比度阈值的不稳定性时。因此，基于事件的方法经常会使图像的全局对比度不正确。另
3、因此，根据上述讨论，需要克服与传统hdr成像方法相关联的上述缺点。
技术实现思路
1、本专利技术旨在提供一种高动态范围(high dynamic range，hdr)成像设备。本专利技术旨在提供一种关于低动态范围(low dynamic range，ldr)图像的对齐的现有问题的方案，所述现有问题例如光流估计所需的明度恒常性以及饱和度、模糊和噪声。本专利技术的目的是提供一种方案，该方案至少部分地克服现有技术中遇到的问题，并提供一种改进的hdr成像设备。
2、本专利技术的目的是通过所附独立权利要求中提供的方案实现的。在从属权利要求中进一步限定本专利技术的有利实现方式。
3、在一个方面中，本专利技术提供了一种高动态范围(high dynamic range，hdr)成像设备，所述hdr成像设备包括：图像传感器，用于捕获多个低动态范围(low dynamic range，ldr)图像；具有像素的对齐事件传感器，用于捕获所述多个ldr图像之间的多个事件，其中，每个像素用于当所述像素的强度变化超过阈值时触发事件；图像编码器模块，用于基于所述ldr图像中的每个ldr图像生成图像特征表示；事件编码器模块，用于基于所述多个事件的子集生成事件特征表示，所述多个事件的所述子集与所述ldr图像中的每个ldr图像相关联；特征对齐模块，用于：基于每个ldr图像的所述图像特征表示和所述事件特征表示，估计指定ldr图像的图像特征表示与每个其它ldr图像的图像特征表示之间的每像素偏移，通过基于所述估计的偏移对每个其它ldr图像的所述图像特征表示应用可变形卷积或特征扭曲来生成多个对齐特征表示；融合模块，用于生成融合特征表示，其中，每个像素是从所述多个对齐特征表示中的一个或多个对齐特征表示中局部或非局部地选择的；图像解码器模块，用于基于所述融合特征表示生成hdr图像。
4、有利的是，这种布置可以根据ldr图像的饱和部分的实际测量恢复结构和色彩，而不会产生幻觉。此外，这种布置能够通过组合来自图像和事件的信息来估计真实的(相机和场景)运动，使其对重影伪影和模糊更加鲁棒。此外，还可以产生高质量和高空间分辨率的hdr rgb图像，因为这种布置组合了事件传感器与高质量的rgb相机，该rgb相机可以捕获一组包围曝光的图像。此外，本专利技术组合来自图像和事件的运动信息，并在特征级执行金字塔式的、迭代的可变形卷积对齐。
5、在一种实现方式中，所述图像传感器用于生成一组三个ldr图像，所述三个ldr图像依次包括中度曝光ldr图像、短曝光ldr图像和长曝光ldr图像，其中，所述指定ldr图像是所述中度曝光ldr图像。
6、有利的是，这能够实现在需要高曝光的最暗的阴影中显示图像的细节，同时在需要非常低曝光的非常明亮的情况下保留细节。
7、在一种实现方式中，所述图像传感器和所述对齐事件传感器使用分光器对齐，或者，所述图像传感器和所述对齐事件传感器集成在混合传感器中。
8、有利的是，这种布置有助于在特征级执行金字塔式的、迭代的可变形卷积对齐。此外，本专利技术中使用分光器对齐或集成在混合传感器中是在时间上同步并在光学上(包括焦点和视场)对齐。
9、在一种实现方式中，还包括预处理模块，所述预处理模块用于基于所述多个事件的所述关联子集对每个ldr图像进行去噪和/或去模糊处理。
10、有利的是，ldr图像的去模糊是从模糊的ldr图像中恢复锐利的潜在ldr图像的恢复过程。
11、在一种实现方式中，所述图像编码器模块和所述事件编码器模块在多个尺度上生成特征表示。
12、有利的是，这使得早期的层能够学习低尺度空间特征，如纹理、边缘或边界等，而使深层能够学习接近所提供标签的高尺度语义特征。
13、在一种实现方式中，所述图像编码器模块和所述事件编码器模块在三个尺度上生成所述特征表示。
14、有利的是，高尺度、中尺度和低尺度语义特征有助于准确定位相机或尺度运动。此外，它们还提供围绕相机或尺度运动的空间上下文信息。
15、在一种实现方式中，所述事件编码器模块包括用于每个尺度的卷积lstm模块，每个卷积lstm模块用于集成所述指定ldr图像与每个其它ldr图像之间的所述事件特征表示。
16、有利的是，在金字塔事件编码器模块的末尾有卷积lstm模块，每个尺度一个，该卷积lstm模块集成时间帧之间的每尺度事件特征表示，从而将低曝光ldr图像和高曝光ldr图像与中度曝光ldr图像对齐。此外，组合了卷积神经网络(convolutional neural network，cnn)和长短期记忆(long short-term memory，lstm)的优点，前者可以从数据中提取有效特征，后者可以检测与相机或场景运动相关联的跨时间的长距离依赖性。
17、在一种实现方式中，所述特征对齐模块首先针对最小尺度估计偏移并生成对齐特征表示，并且用于至少部分地基于针对之前尺度的偏移估计针对每个后续尺度的偏移。
18、有利的是，以这种方式估计针对不同尺度的偏移可以确保以从粗到细的方式执行对齐，并在较大运动的情况下增加网络的感受野。本文档来自技高网...
【技术保护点】
1.一种高动态范围(high dynamic range，HDR)成像设备(100)，其特征在于，包括：
2.根据权利要求1所述的HDR成像设备(100)，其特征在于，所述图像传感器(102)用于生成一组三个LDR图像，所述三个LDR图像依次包括中度曝光LDR图像(122、302)、短曝光LDR图像(124、304)和长曝光LDR图像(126、306)，其中，所述指定LDR图像是所述中度曝光LDR图像。
3.根据权利要求1或2所述的HDR成像设备(100)，其特征在于，所述图像传感器(102)和所述对齐事件传感器(106)使用分光器对齐，或者
4.根据上述权利要求中任一项所述的HDR成像设备(100)，其特征在于，还包括预处理模块，所述预处理模块用于基于所述多个事件(108)的所述关联子集对每个LDR图像进行去噪和/或去模糊处理。
5.根据上述权利要求中任一项所述的HDR成像设备(100)，其特征在于，所述图像编码器模块(110)和所述事件编码器模块(112)在多个尺度(210A、210B、212A、212B)上生成特征表示。>
6.根据权利要求5所述的HDR成像设备(100)，其特征在于，所述图像编码器模块(110)和所述事件编码器模块(112)在三个尺度上生成所述特征表示。
7.根据权利要求5或6所述的HDR成像设备(100)，其特征在于，所述事件编码器模块(112)包括用于每个尺度的卷积LSTM模块，每个卷积LSTM模块用于集成所述指定LDR图像与每个其它LDR图像之间的所述事件特征表示。
8.根据权利要求5至7中任一项所述的HDR成像设备(100)，其特征在于，所述特征对齐模块(114、200)首先针对最小尺度估计偏移并生成对齐特征表示(206A、206B)，并且用于至少部分地基于针对之前尺度的偏移估计针对每个后续尺度的偏移。
9.根据上述权利要求中任一项所述的HDR成像设备(100)，其特征在于，所述特征对齐模块(114、200)用于：使用查找网络估计所述偏移，所述查找网络用于提取多个每像素特征(218)；为所有像素对构建多尺度4D相关体积(220)；对所述相关体积迭代地执行查找，以使用所述偏移的值更新流场。
10.根据上述权利要求中任一项所述的HDR成像设备(100)，其特征在于，所述图像编码器模块(110)和所述事件编码器模块(112)是金字塔编码器模块，每个金字塔编码器模块包括1至5个残差块。
11.根据上述权利要求中任一项所述的HDR成像设备(100)，其特征在于，所述特征对齐模块(114、200)用于以从粗到细的方式应用特征级变形或扭曲。
12.根据上述权利要求中任一项所述的HDR成像设备(100)，其特征在于，所述特征对齐模块(114、200)是通过在所述多个尺度(210A、210B、212A、212B)上生成辅助重建(216)并将针对每个尺度的所述辅助重建与地面真值HDR图像进行比较来监督的。
13.根据上述权利要求中任一项所述的HDR成像设备(100)，其特征在于，所述图像解码器模块(118)包括5至10个残差块。
14.根据上述权利要求中任一项所述的HDR成像设备(100)，其特征在于，所述图像解码器模块(118)包括所述指定LDR图像的所述图像特征表示的跳跃连接，其中，所述图像特征表示来自所述图像编码器模块(110)。
15.一种生成高动态范围(high dynamic range，HDR)图像的方法(400)，其特征在于，包括：
16.根据权利要求15所述的方法(400)，其特征在于，所述图像传感器(102)用于生成一组三个LDR图像，所述三个LDR图像依次包括中度曝光LDR图像(122、302)、短曝光LDR图像(124、304)和长曝光LDR图像(126、306)，其中，所述指定LDR图像是所述中度曝光LDR图像。
17.根据权利要求15或16所述的方法(400)，其特征在于，所述图像传感器(102)和所述对齐事件传感器(106)使用分光器对齐，或者
18.根据权利要求15至17中任一项所述的方法(400)，其特征在于，还包括预处理模块，所述预处理模块用于基于所述多个事件(108)的所述关联子集对每个LDR图像进行去噪和/或去模糊处理。
19.根据权利要求15至18中任一项所述的方法(400)，其特征在于，所述图像编码器模块(110)和所述事件编码器模块(112)在多个尺度(210A、210B、212A、212B)上生成特征表示。
20.根据权利要求19所述的方法...
【技术特征摘要】
【国外来华专利技术】
1.一种高动态范围(high dynamic range，hdr)成像设备(100)，其特征在于，包括：
2.根据权利要求1所述的hdr成像设备(100)，其特征在于，所述图像传感器(102)用于生成一组三个ldr图像，所述三个ldr图像依次包括中度曝光ldr图像(122、302)、短曝光ldr图像(124、304)和长曝光ldr图像(126、306)，其中，所述指定ldr图像是所述中度曝光ldr图像。
3.根据权利要求1或2所述的hdr成像设备(100)，其特征在于，所述图像传感器(102)和所述对齐事件传感器(106)使用分光器对齐，或者
4.根据上述权利要求中任一项所述的hdr成像设备(100)，其特征在于，还包括预处理模块，所述预处理模块用于基于所述多个事件(108)的所述关联子集对每个ldr图像进行去噪和/或去模糊处理。
5.根据上述权利要求中任一项所述的hdr成像设备(100)，其特征在于，所述图像编码器模块(110)和所述事件编码器模块(112)在多个尺度(210a、210b、212a、212b)上生成特征表示。
6.根据权利要求5所述的hdr成像设备(100)，其特征在于，所述图像编码器模块(110)和所述事件编码器模块(112)在三个尺度上生成所述特征表示。
7.根据权利要求5或6所述的hdr成像设备(100)，其特征在于，所述事件编码器模块(112)包括用于每个尺度的卷积lstm模块，每个卷积lstm模块用于集成所述指定ldr图像与每个其它ldr图像之间的所述事件特征表示。
8.根据权利要求5至7中任一项所述的hdr成像设备(100)，其特征在于，所述特征对齐模块(114、200)首先针对最小尺度估计偏移并生成对齐特征表示(206a、206b)，并且用于至少部分地基于针对之前尺度的偏移估计针对每个后续尺度的偏移。
9.根据上述权利要求中任一项所述的hdr成像设备(100)，其特征在于，所述特征对齐模块(114、200)用于：使用查找网络估计所述偏移，所述查找网络用于提取多个每像素特征(218)；为所有像素对构建多尺度4d相关体积(220)；对所述相关体积迭代地执行查找，以使用所述偏移的值更新流场。
10.根据上述权利要求中任一项所述的hdr成像设备(100)，其特征在于，所述图像编码器模块(110)和所述事件编码器模块(112)是金字塔编码器模块，每个金字塔编码器模块包括1至5个残差块。
11.根据上述权利要求中任一项所述的hdr成像设备(100)，其特征在于，所述特征对齐模块(114、200)用于以从粗到细的方式应用特征级变形或扭曲。
12.根据上述权利要求中任一项所述的hdr成像设备(100)，其特征在于，所述特征对齐模块(114、200)是通过在所述多个尺度(210a、210b、212a、212b)上生成辅助重建(216)并将针对每个尺度的所述辅助重建与地面真值hdr图像进行比较来监督的。
13.根据上述权利要求中任一项所述的hdr成像设备(100)，其特征在于，所述图像解码器模块(118)包括5至10个残差块。
14.根据上述权利要求中任一项所述的hdr成像设备(100)，其特征在于，所述图像解码器模块(118)包括所述指定ldr图像的所述图像特征表示的跳跃连接，其中，所述图像特征表示来自所述图像编码器模块(110)。
15.一种生成高动态范围(high dynam...
【专利技术属性】
技术研发人员：斯塔马提奥斯·格奥尔古利斯，尼科·梅西科默，斯捷潘·图利亚科夫，朱利叶斯·埃尔巴赫，阿尔弗雷多·博奇奇奥，丹尼尔·格里格，李远友，大卫·斯卡拉穆扎，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。