图像增强模型的训练、图像增强方法及电子设备技术

本发明专利技术涉及图像处理技术领域，具体涉及图像增强模型的训练、图像增强方法及电子设备，该方法包括获取样本图像组，所述样本图像组包括双目相机采集的样本图像以及基准图像，所述样本图像为双目相机在第一照度下进行近红外补光后采集的RGB图像和NIR图像，所述基准图像为双目相机在第二照度下采集的RGB图像，所述第一照度低于第二照度；将RGB图像以及NIR图像输入图像增强模型中，以利用图像增强模型对RGB图像以及NIR图像进行视场对齐以及增强重建处理，得到图像增强预测图像；基于图像增强预测图像与基准图像进行损失计算，以对图像增强模型的参数进行更新，确定目标图像增强模型。该方法解决了低照度环境下的成像问题。该方法解决了低照度环境下的成像问题。该方法解决了低照度环境下的成像问题。

【技术实现步骤摘要】
图像增强模型的训练、图像增强方法及电子设备


[0001]本专利技术涉及图像处理
，具体涉及图像增强模型的训练、图像增强方法及电子设备。

技术介绍

[0002]低照度下的高质量成像是一项具有挑战性但意义重大的任务。一方面，它在许多领域中发挥着至关重要的作用，例如监控、汽车驾驶、智能手机摄影等。另一方面，由于低照度环境下的曝光和照明，从而导致极低的信噪比(SNR)和相应的成像质量严重下降。针对该问题，最常见的一类方法是使用补光灯，但会导致光污染及行人和司机的眩晕感，而且低照度下不合理的灯光会给人体造成不适感。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了一种图像增强模型的训练、图像增强方法及电子设备，以解决低照度环境下的成像问题。
[0004]根据第一方面，本专利技术实施例提供了一种图像增强方法，包括：
[0005]获取样本图像组，所述样本图像组包括双目相机采集的样本图像以及基准图像，所述样本图像为所述双目相机在第一照度下进行近红外补光后采集的图像，所述样本图像包括RGB图像和NIR图像，所述RGB图像和所述NIR图像位于所述双目相机的不同视场，所述基准图像为所述双目相机在第二照度下采集的RGB图像，所述第一照度低于第二照度；
[0006]将所述RGB图像以及所述NIR图像输入图像增强模型中，以利用所述图像增强模型对所述RGB图像以及所述NIR图像进行视场对齐以及增强重建处理，得到图像增强预测图像，其中，所述视场对齐是将所述RGB图像和所述NIR图像在亮度通道上的特征相似关系作用于所述RGB图像和/或所述NIR图像实现的；
[0007]基于所述图像增强预测图像与所述基准图像进行损失计算，以对所述图像增强模型的参数进行更新，确定目标图像增强模型。
[0008]本专利技术实施例提供的图像增强模型的训练方法，通过采集双目相机在第一照度下的RGB图像以及NIR图像作为样本图像，第二照度下的RGB图像作为基准图像，将样本图像与基准图像组成样本组，即，通过构建样本图像组的方式对图像增强模型进行训练，得到目标图像增强模型，同时，在训练过程中的视场对齐是通过将样本图像的亮度通道上的特征相似关系作用于样本图像后实现的，由于在亮度通道上的特征之间计算特征相似关系能够去除色彩带来的差异，将其作用于RGB图像和/或NIR图像能够保证较好的视场对齐效果，因此利用该图像增强模型实现了双目相机的RGB
‑
NIR的图像融合，从而解决了低光照环境下的成像问题。
[0009]在一些实施方式中，所述将所述RGB图像以及所述NIR图像输入图像增强模型中，以利用所述图像增强模型对所述RGB图像以及所述NIR图像进行视场对齐，包括：
[0010]利用所述图像增强模型中的两个特征提取单元分别对所述RGB图像以及所述NIR
图像进行亮度通道上的特征提取得到第一参考特征和第二参考特征；
[0011]利用所述图像增强模型中的两个语义特征提取单元分别对所述RGB图像以及所述NIR图像进行语义特征提取得到第一语义特征和第二语义特征，所述特征提取单元与所述语义特征提取单元的结构相同且参数不同；
[0012]利用所述图像增强模型计算所述第一参考特征和第二参考特征间的特征相似关系，并基于所述特征相似关系对所述第一语义特征和/或所述第二语义特征进行预设视场下的特征对齐得到对齐特征以实现所述视场对齐。
[0013]本专利技术实施例提供的图像增强模型的训练方法，NIR图像三个通道都是一样的没有色彩，RGB是含有色彩的，所以只在亮度通道上做相似度计算能够去除色彩带来的差异；同时使用不同的特征提取单元及语义特征提取单元分别进行相似度计算及特征聚合，来完成双目视图对齐，能够克服RGB与NIR图像存在着明显的色彩差异对双目对齐带来的困难。
[0014]在一些实施方式中，所述计算所述第一参考特征和第二参考特征间的特征相似关系，并基于所述特征相似关系对所述第一语义特征和/或所述第二语义特征进行预设视场下的特征对齐得到对齐特征以实现所述视场对齐，包括：
[0015]计算所述第一参考特征和所述第二参考特征间的相似度，得到相似度矩阵；
[0016]将所述相似度矩阵内元素的值映射为预设范围内的值，确定所述特征相似关系。
[0017]本专利技术实施例提供的图像增强模型的训练方法，对于视场对齐可能仍存在不准确的地方，导致最终聚合后的图像存在伪影。针对该情况，利用先计算两个参考特征间的相似度得到相似度矩阵，再将相似度矩阵映射为预设范围内的权重值，得到特征相似关系，该处理过程是利用注意力机制的处理思想来抑制经过视场对齐后仍存在的结构不一致的地方，以此来指导后续融合重建过程。
[0018]在一些实施方式中，所述计算所述第一参考特征和第二参考特征间的特征相似关系，包括：
[0019]获取所述RGB图像的第一参考特征中第一像素点所在的目标行；
[0020]从所述NIR图像的第二参考特征中提取与所述目标行对应的行的第二像素点；
[0021]计算所述第一像素点与所述第二像素点的之间的相似度，确定所述特征相似关系。
[0022]本专利技术实施例提供的图像增强模型的训练方法，基于双摄系统极线约束，即双目视觉世界中同一点在两台相机图像中的像素坐标位于同一行，基于此仅计算某一视图下的特征点与另一视图下同一行的特征点之间的相似度，而非另一视图下的所有特征点，大大地减少计算量。
[0023]在一些实施方式中，所述对齐特征包括所述第一语义特征对应的第一对齐特征以及所述第二语义特征对应的第二对齐特征，所述图像增强模型包括结构相同且参数不同的第一增强重建单元以及第二增强重建单元，所述以利用所述图像增强模型对所述RGB图像以及所述NIR图像进行视场对齐以及增强重建处理，得到图像增强预测图像，包括：
[0024]利用所述第一增强重建单元对所述第一对齐特征与所述第二语义特征聚合后的特征进行增强重建处理，得到第一图像增强预测图像；
[0025]利用所述第二增强重建单元对所述第二对齐特征与所述第一语义特征聚合后的特征进行增强重建处理，得到第二图像增强预测图像。
[0026]本专利技术实施例提供的图像增强模型的训练方法，经过视角对其处理不能保证图像每一处像素点都是准确对齐的，这会导致上述两路学习的难易程度不一样，所以对两路同时增强，而非单独增强，可以更好的进行监督学习。为了充分利用双目相机的两个视角提供的互补信息，同时对左右两个视场下的图像进行增强重建，能够在结合左右图互补信息的同时又能保持对单图信息的充分利用，从而进一步提升重建性能。
[0027]在一些实施方式中，所述基准图像包括第一基准图像以及第二基准图像，所述第一基准图像和所述第二基准图像位于所述双目相机的不同视场，所述基于所述图像增强预测图像与所述基准图像进行损失计算，以对所述图像增强模型的参数进行更新，确定目标图像增强模型，包括：
[0028]基于所述第一基准图像以及所述第一图像增强预测图像进行第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强模型的训练方法，其特征在于，包括：获取样本图像组，所述样本图像组包括双目相机采集的样本图像以及基准图像，所述样本图像为所述双目相机在第一照度下进行近红外补光后采集的图像，所述样本图像包括RGB图像和NIR图像，所述RGB图像和所述NIR图像位于所述双目相机的不同视场，所述基准图像为所述双目相机在第二照度下采集的RGB图像，所述第一照度低于第二照度；将所述RGB图像以及所述NIR图像输入图像增强模型中，以利用所述图像增强模型对所述RGB图像以及所述NIR图像进行视场对齐以及增强重建处理，得到图像增强预测图像，其中，所述视场对齐是将所述RGB图像和所述NIR图像在亮度通道上的特征相似关系作用于所述RGB图像和/或所述NIR图像实现的；基于所述图像增强预测图像与所述基准图像进行损失计算，以对所述图像增强模型的参数进行更新，确定目标图像增强模型。2.根据权利要求1所述的方法，其特征在于，所述将所述RGB图像以及所述NIR图像输入图像增强模型中，以利用所述图像增强模型对所述RGB图像以及所述NIR图像进行视场对齐，包括：利用所述图像增强模型中的两个特征提取单元分别对所述RGB图像以及所述NIR图像进行亮度通道上的特征提取得到第一参考特征和第二参考特征；利用所述图像增强模型中的两个语义特征提取单元分别对所述RGB图像以及所述NIR图像进行语义特征提取得到第一语义特征和第二语义特征，所述特征提取单元与所述语义特征提取单元的结构相同且参数不同；利用所述图像增强模型计算所述第一参考特征和第二参考特征间的特征相似关系，并基于所述特征相似关系对所述第一语义特征和/或所述第二语义特征进行预设视场下的特征对齐得到对齐特征以实现所述视场对齐。3.根据权利要求2所述的方法，其特征在于，所述计算所述第一参考特征和第二参考特征间的特征相似关系，并基于所述特征相似关系对所述第一语义特征和/或所述第二语义特征进行预设视场下的特征对齐得到对齐特征以实现所述视场对齐，包括：计算所述第一参考特征和所述第二参考特征间的相似度，得到相似度矩阵；将所述相似度矩阵内元素的值映射为预设范围内的值，确定所述特征相似关系。4.根据权利要求2所述的方法，其特征在于，所述计算所述第一参考特征和第二参考特征间的特征相似关系，包括：获取所述RGB图像的第一参考特征中第一像素点所在的目标行；从所述NIR图像的第二参考特征中提取与所述目标行对应的行的第二像素点；计算所述第一像素点与所述第二像素点的之间的相似度，确定所述特征相似关系。5.根据权利要求2所述的方法，其特征在于，所述对齐特征包括所述第一语义特征对应的第一对齐特征以及所述第二语义特征对应的第二对齐特征，...

【专利技术属性】
技术研发人员：张艳丽，李瑮，毛晓蛟，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：