深度相机宽动态方法、系统、计算机设备和存储介质技术方案

本申请涉及一种深度相机宽动态方法、系统、计算机设备和存储介质。方法包括以下步骤：确定当前的曝光脉冲频率并记录当前的帧图像作为关键帧图像；以关键帧图像频率为基准分别取若干不同比例的脉冲频率的图像和关键帧图像组成图像合成序列；根据图像合成序列及对应的曝光脉冲频率序列估算相机响应函数；根据相机响应函数计算宽动态范围图像，输出到显示设备。本发明专利技术以当前曝光脉冲强度下的图像作为关键帧，分别在不同比例脉冲强度下得到一幅图像，最后利用得到的多张图像合成当前输出图像合成序列，通过图像合成序列及对应的曝光脉冲频率序列计算得到宽动态范围图像，提高后续算法的工作精度。法的工作精度。法的工作精度。

【技术实现步骤摘要】
深度相机宽动态方法、系统、计算机设备和存储介质


[0001]本申请涉及深度相机
，特别是涉及一种深度相机宽动态方法、系 统、计算机设备和存储介质。

技术介绍

[0002]随着深度相机应用的普及，深度相机在使用过程中，遇到了越来越多的问 题，其中一个非常突出的问题是，在深度相机量程范围内，处于不同量程刻度 上的物体由于距离差异进而会产生不同距离刻度上的曝光差异，同时这种曝光 差异会影响IR(近红外)以及Depth的图像成像质量以及后续的判断处理；例 如在相机的激光光源阵列较低工作脉冲下，靠近相机的距离刻度上的物体可能 处于正常或欠曝状态，较远距离刻度上的物体可能就完全处于没有曝光的状态 (深度传感器接受量为零)，反映在8bit的IR图像上为近处物体细节模糊或较 暗而较远处物体完全不可见，Depth图像仅有近处的物体存在一部分深度信息 而远处物体深度信息全为零，在基于IR和Depth图像的识别、环境模型构建任 务中由于图像细节或部分信息缺失将会影响算法的工作精度。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种深度相机宽动态方法、系统 、计算机设备和存储介质。
[0004]一种深度相机宽动态方法，包括以下步骤：
[0005]确定当前的曝光脉冲频率并记录当前的帧图像作为关键帧图像；
[0006]以关键帧图像频率为基准分别取若干不同比例的脉冲频率和关键帧图像频 率组成曝光脉冲序列，同时获取若干不同比例的脉冲频率的图像和关键帧图像 组成图像合成序列；
[0007]根据图像合成序列及对应的曝光脉冲频率序列估算相机响应函数；
[0008]根据相机响应函数计算宽动态范围图像，输出到显示设备。
[0009]作为一种实施方式，所述关键帧图像包括IR图像和Depth图像，所述图像 合成序列包括IR图像合成序列和Depth图像合成序列。
[0010]作为一种实施方式，还包括以下步骤：
[0011]根据IR图像合成序列获取Depth图像合成序列中Depth图像融合的权重矩阵 ；
[0012]根据权重矩阵对Depth图像进行融合，完成Depth的宽动态范围图像。
[0013]作为一种实施方式，所述根据IR图像合成序列获取Depth图像合成序列中D epth图像融合的权重矩阵，根据权重矩阵对Depth图像进行融合，完成Depth的 宽动态范围图像，具体包括以下步骤：
[0014]对IR图像合成序列中的若干IR图像进行归一化处理；
[0015]计算各自IR图像的亮度，生成与IR图像对应的亮度图序列；
[0016]结合亮度图序列、高曝光图像阈值及低曝光图像阈值生成多张权重图；
[0017]根据多张权重图融合生成Depth的宽动态范围图像。
[0018]作为一种实施方式，所述根据图像合成序列及对应的曝光脉冲频率序列估 算相机响应函数，具体包括以下步骤：
[0019]根据预先的采样点和图像像素、曝光量估算相机响应函数；
[0020]计算相机响应函数的反向函数完成IR的宽动态范围图像。
[0021]作为一种实施方式，所述曝光脉冲频率序列包括5个脉冲频率，分别为0.2 5f、0.5f、1f、1.5f、1.75f。
[0022]一种深度相机宽动态系统，包括：
[0023]序列曝光控制单元，用于确定当前的曝光脉冲频率并记录当前的帧图像作 为关键帧图像；
[0024]序列曝光图像记录单元，用于以关键帧图像频率为基准分别取若干不同比 例的脉冲频率和关键帧图像频率组成曝光脉冲序列，同时获取若干不同比例的 脉冲频率的图像和关键帧图像组成图像合成序列；
[0025]CRF估算单元，用于根据图像合成序列及对应的曝光脉冲频率序列估算相 机响应函数；
[0026]宽动态输出单元，用于根据相机响应函数计算宽动态范围图像，输出到显 示设备。
[0027]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序， 其特征在于，所述处理器执行所述计算机程序时实现深度相机宽动态方法中任 一项所述方法的步骤。
[0028]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处 理器执行时实现权利深度相机宽动态方法中任一项所述的方法的步骤。
[0029]上述深度相机宽动态方法、系统、计算机设备和存储介质,以当前曝光脉 冲强度下的图像作为关键帧，分别在不同比例脉冲强度下得到一幅图像，最后 利用得到的多张图像合成当前输出图像合成序列，通过图像合成序列及对应的 曝光脉冲频率序列计算得到宽动态范围图像，提高后续算法的工作精度。
[0030]在不更改相机配置的情况下，提升相机的成像成像质量。
[0031]采用IR图像的光照信息取指导Depth曝光序列图像的融合，相比于一般的 线性融合效果更好。
附图说明
[0032]图1为一个实施例中深度相机宽动态方法的应用环境图；
[0033]图2为一个实施例中深度相机宽动态方法的流程示意图；
[0034]图3为一个实施例中深度相机宽动态系统的结构框图；
[0035]图4为一个实施例中计算机设备的内部结构图。
具体实施方式
[0036]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用以解释本申请，
并不用于限定本申请。
[0037]本申请提供的深度相机宽动态方法，可以应用于如图1所示的应用环境中 。其中，终端102通过网络与服务器104通过网络进行通信。其中，终端102可 以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等，服务器 104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0038]在一个实施例中，如图2所示，提供了一种深度相机宽动态方法，包括以 下步骤：
[0039]S100：确定当前的曝光脉冲频率并记录当前的帧图像作为关键帧图像；
[0040]确定当前的曝光脉冲频率f，其定义为当前时间的单位时间内方波的高电 位个数F的倒数，高电位时值为1代表开启激光光源发射阵列，低电位时值为0 代表关闭激光光源发射阵列。
[0041]S200：以关键帧图像频率为基准分别取若干不同比例的脉冲频率和关键帧 图像频率组成曝光脉冲序列，同时获取若干不同比例的脉冲频率的图像和关键 帧图像组成图像合成序列；
[0042]在一实施例中，曝光脉冲频率序列包括5个脉冲频率，分别为0.25f、0.5f 、1f、1.5f、1.75f。曝光脉冲频率序列中的脉冲频率个数由曝光脉冲频率f决 定，曝光脉冲序列中的脉冲频率个数是不定的，可以根据实际实验结果与工程 要求修改，也就说不一定是5个，也可以是4个，脉冲频率也不是确定的，在本 实施例中列出的5个脉冲频率只是为了高频段与低频段各有覆盖。曝光脉冲频 率与曝光脉冲次数的关系为v＝本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度相机宽动态方法，其特征在于，包括以下步骤：确定当前的曝光脉冲频率并记录当前的帧图像作为关键帧图像；以关键帧图像频率为基准分别取若干不同比例的脉冲频率和关键帧图像频率组成曝光脉冲序列，同时获取若干不同比例的脉冲频率的图像和关键帧图像组成图像合成序列；根据图像合成序列及对应的曝光脉冲频率序列估算相机响应函数；根据相机响应函数计算宽动态范围图像，输出到显示设备。2.根据权利要求1所述的深度相机宽动态方法，其特征在于，所述关键帧图像包括IR图像和Depth图像，所述图像合成序列包括IR图像合成序列和Depth图像合成序列。3.根据权利要求2所述的深度相机宽动态方法，其特征在于，还包括以下步骤：根据IR图像合成序列获取Depth图像合成序列中Depth图像融合的权重矩阵；根据权重矩阵对Depth图像进行融合，完成Depth的宽动态范围图像。4.根据权利要求3所述的深度相机宽动态方法，其特征在于，所述根据IR图像合成序列获取Depth图像合成序列中Depth图像融合的权重矩阵，根据权重矩阵对Depth图像进行融合，完成Depth的宽动态范围图像，具体包括以下步骤：对IR图像合成序列中的若干IR图像进行归一化处理；计算各自IR图像的亮度，生成与IR图像对应的亮度图序列；结合亮度图序列、高曝光图像阈值及低曝光图像阈值生成多张权重图；根据多张权重图融合生成...

【专利技术属性】
技术研发人员：方利红，任彬，
申请(专利权)人：杭州艾芯智能科技有限公司，
类型：发明
国别省市：