本申请提出一种深度图像的确定方法、装置和电子设备，其中方法包括：获取针对同一个场景的红外图像和可见光图像；根据可见光图像，确定场景的第一环境光亮度值；通过深度图像生成模型的图像特征提取层对红外图像和可见光图像进行特征提取，以得到红外图像的第一图像特征和可见光图像的第二图像特征；在深度图像生成模型的融合层中，基于第一环境光亮度值对第一图像特征和第二图像特征进行融合以得到融合特征；在深度图像生成模型的解码层中，基于融合特征确定出场景的深度图像。由此，通过该场景下的环境光亮度，对该场景下的红外图像和可见光图像两种模态数据进行有效结合，可方便、快捷地生成了该场景所对应的深度图像。快捷地生成了该场景所对应的深度图像。快捷地生成了该场景所对应的深度图像。
【技术实现步骤摘要】
深度图像的确定方法、装置和电子设备
[0001]本申请涉及图像处理
，尤其涉及一种深度图像的确定方法、装置和电子设备。
技术介绍
[0002]深度图像有助于理解物体与环境之间的几何关系，在即时定位与地图构建(Simultaneous Localization and Mapping，简称SLAM)、在聚焦、目标检测及辅助盲人感知环境等领域具有重要作用。相关技术中通常基于电子设备中的深度相机来得到对应场景的深度图像。然而，在户外光线条件较差时，深度相机也无法获得可用的深度图，因此，如何以便捷地方式得到一个场景的深度图像是目前亟需解决的技术问题。
技术实现思路
[0003]本申请旨在至少在一定程度上解决相关技术中的技术问题。
[0004]根据本申请的第一方面，提供了一种深度图像的确定方法，所述方法包括：获取针对同一个场景的红外图像和可见光图像；根据所述可见光图像，确定所述场景的第一环境光亮度值；通过深度图像生成模型的图像特征提取层对所述红外图像和可见光图像进行特征提取，以得到所述红外图像的第一图像特征和所述可见光图像的第二图像特征；在所述深度图像生成模型的融合层中，基于所述第一环境光亮度值对所述第一图像特征和所述第二图像特征进行融合以得到融合特征；在所述深度图像生成模型的解码层中，基于所述融合特征确定出所述场景的深度图像。
[0005]在本申请的一个实施例中，所述根据所述可见光图像，确定所述场景的第一环境光亮度值，包括：确定所述可见光图像中各个像素点的亮度值；对所述可见光图像中各个像素点的亮度值进行求平均处理；将求平均处理所得到的亮度平均值作为所述场景的第一环境光亮度值。
[0006]在本申请的一个实施例中，所述在所述深度图像生成模型的融合层中，基于所述第一环境光亮度值对所述第一图像特征和所述第二图像特征进行融合以得到融合特征，包括：在所述深度图像生成模型的融合层中，根据所述第一环境光亮度值，确定所述第一图像特征对应的第一融合权重和所述第二图像特征对应的第二融合权重；在所述深度图像生成模型的融合层中，对所述第一融合权重与所述第一图像特征的乘积以及所述第二融合权重与所述第二图像特征的乘积进行相加处理，以得到所述融合特征。
[0007]在本申请的一个实施例中，在所述第一环境光亮度小于预设亮度阈值的情况下，所述第一融合权重大于所述第二融合权重；在所述第一环境光亮度值大于预设亮度阈值的情况下，所述第二融合权重大于所述第一融合权重。
[0008]在本申请的一个实施例中，所述深度图像生成模型是通过下述方式训练得到的：获取样本场景的第二环境光亮度值、可见光样本图像以及深度样本图像；确定所述可见光样本图像的红外样本图像；将所述第二环境光亮度、所述可见光样本图像和所述红外样本
图像作为所述深度图像生成模型的输入，并将所述深度样本图像为所述深度图像生成模型的输出，对所述深度图像生成模型进行训练。
[0009]在本申请的一个实施例中，所述确定所述可见光样本图像的红外样本图像，包括：根据预先训练好的循环生成对抗网络，对所述可见光样本图像进行转换，以得到所述可见光样本图像的红外样本图像。
[0010]本申请实施例提供的深度图像的确定方法，获取针对同一个场景的红外图像和可见光图像；根据可见光图像，确定场景的第一环境光亮度值；通过深度图像生成模型的图像特征提取层对红外图像和可见光图像进行特征提取，以得到红外图像的第一图像特征和可见光图像的第二图像特征；在深度图像生成模型的融合层中，基于第一环境光亮度值对第一图像特征和第二图像特征进行融合以得到融合特征；在深度图像生成模型的解码层中，基于融合特征确定出场景的深度图像。由此，通过该场景下的环境光亮度，对该场景下的红外图像和可见光图像两种模态数据进行有效结合，可方便、快捷地生成了该场景所对应的深度图像。
[0011]根据本申请实施例的第二方面，提供了一种深度图像的确定装置，包括：获取模块，用于获取针对同一个场景的红外图像和可见光图像；第一确定模块，用于根据所述可见光图像，确定所述场景的第一环境光亮度值；特征提取模块，用于通过深度图像生成模型的图像特征提取层对所述红外图像和可见光图像进行特征提取，以得到所述红外图像的第一图像特征和所述可见光图像的第二图像特征；融合模块，用于在所述深度图像生成模型的融合层中，基于所述第一环境光亮度值对所述第一图像特征和所述第二图像特征进行融合以得到融合特征；第二确定模块，用于在所述深度图像生成模型的解码层中，基于所述融合特征确定出所述场景的深度图像。
[0012]在本申请的一个实施例中，所述第一确定模块，具体用于：确定所述可见光图像中各个像素点的亮度值；对所述可见光图像中各个像素点的亮度值进行求平均处理；将求平均处理所得到的亮度平均值作为所述场景的第一环境光亮度值。
[0013]在本申请的一个实施例中，所述融合模块，具体用于：在所述深度图像生成模型的融合层中，根据所述第一环境光亮度值，确定所述第一图像特征对应的第一融合权重和所述第二图像特征对应的第二融合权重；在所述深度图像生成模型的融合层中，对所述第一融合权重与所述第一图像特征的乘积以及所述第二融合权重与所述第二图像特征的乘积进行相加处理，以得到所述融合特征。
[0014]在本申请的一个实施例中，在所述第一环境光亮度小于预设亮度阈值的情况下，所述第一融合权重大于所述第二融合权重；在所述第一环境光亮度值大于预设亮度阈值的情况下，所述第二融合权重大于所述第一融合权重。
[0015]在本申请的一个实施例中，所述装置还包括：获取模块，用于获取样本场景的第二环境光亮度值、可见光样本图像以及深度样本图像；第三确定模块，用于确定所述可见光样本图像的红外样本图像；训练模块，用于将所述第二环境光亮度、所述可见光样本图像和所述红外样本图像作为所述深度图像生成模型的输入，并将所述深度样本图像为所述深度图像生成模型的输出，对所述深度图像生成模型进行训练。
[0016]在本申请的一个实施例中，所述第三确定模块，具体用于：根据预先训练好的循环生成对抗网络，对所述可见光样本图像进行转换，以得到所述可见光样本图像的红外样本
图像。
[0017]本申请实施例提供的深度图像的确定装置，获取针对同一个场景的红外图像和可见光图像；根据可见光图像，确定场景的第一环境光亮度值；通过深度图像生成模型的图像特征提取层对红外图像和可见光图像进行特征提取，以得到红外图像的第一图像特征和可见光图像的第二图像特征；在深度图像生成模型的融合层中，基于第一环境光亮度值对第一图像特征和第二图像特征进行融合以得到融合特征；在深度图像生成模型的解码层中，基于融合特征确定出场景的深度图像。由此，通过该场景下的环境光亮度，对该场景下的红外图像和可见光图像两种模态数据进行有效结合，可方便、快捷地生成了该场景所对应的深度图像。
[0018]根据本申请的第三方面，提供了一种电子设备，包括：存储器；处理器；存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种深度图像的确定方法，其特征在于，所述方法包括：获取针对同一个场景的红外图像和可见光图像；根据所述可见光图像，确定所述场景的第一环境光亮度值；通过深度图像生成模型的图像特征提取层对所述红外图像和可见光图像进行特征提取，以得到所述红外图像的第一图像特征和所述可见光图像的第二图像特征；在所述深度图像生成模型的融合层中，基于所述第一环境光亮度值对所述第一图像特征和所述第二图像特征进行融合以得到融合特征；在所述深度图像生成模型的解码层中，基于所述融合特征确定出所述场景的深度图像。2.如权利要求1所述的方法，其特征在于，所述根据所述可见光图像，确定所述场景的第一环境光亮度值，包括：确定所述可见光图像中各个像素点的亮度值；对所述可见光图像中各个像素点的亮度值进行求平均处理；将求平均处理所得到的亮度平均值作为所述场景的第一环境光亮度值。3.如权利要求1所述的方法，其特征在于，所述在所述深度图像生成模型的融合层中，基于所述第一环境光亮度值对所述第一图像特征和所述第二图像特征进行融合以得到融合特征，包括：在所述深度图像生成模型的融合层中，根据所述第一环境光亮度值，确定所述第一图像特征对应的第一融合权重和所述第二图像特征对应的第二融合权重；在所述深度图像生成模型的融合层中，对所述第一融合权重与所述第一图像特征的乘积以及所述第二融合权重与所述第二图像特征的乘积进行相加处理，以得到所述融合特征。4.如权利要求3所述的方法，其特征在于，在所述第一环境光亮度小于预设亮度阈值的情况下，所述第一融合权重大于所述第二融合权重；在所述第一环境光亮度值大于预设亮度阈值的情况下，所述第二融合权重大于所述第一融合权重。5.如权利要求1
‑
4中任一项所述的方法，其特征在于，所述深度图像生成模型是通过下述方式训练得到的：获取样本场景的第二环境光亮度值、可见光样本图像以及深度样本图像；确定所述可见光样本图像的红外样本图像；将所述第二环境光亮度、所述可见光样本图像和所述红外样本图像作为所述深度图像生成模型的输入，并将所述深度样本图像为所述深度图像生成模型的输出，对所述深度图像生成模型进行训练。6.如权利要求5所述的方法，其特征在于，所述确定所述可见光样本图像的红外样本图像，包括：根据预先训练好的循环生成对抗网络，对所述可见光样本图像进行转换，以得到所述可见光样本图像的红外样本图像。7.一种深度图像的确定装置，其特征在于，所述装置包括：获取模块，用于获取针对同一个场景的红外图像和可见光图像；第一确定模块，用于根据所述可见光图像，确定所述场景的第一环境光亮度值；...
【专利技术属性】
技术研发人员：刘建伟，
申请(专利权)人：爱芯元智半导体上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。