一种深度图像置信度计算方法、设备及计算机可读存储介质技术

本发明专利技术公开了一种深度图像置信度计算方法、设备及计算机可读存储介质，其中，该方法包括：在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集；在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息；以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型。实现了一种基于ToF，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。用户的相机使用体验。用户的相机使用体验。

【技术实现步骤摘要】
一种深度图像置信度计算方法、设备及计算机可读存储介质


[0001]本专利技术涉及移动通信领域，尤其涉及一种深度图像置信度计算方法、设备及计算机可读存储介质。

技术介绍

[0002]现有技术中，随着智能终端设备的不断发展，手机等移动端的景深拍摄功能越来越受用户的欢迎。
[0003]但是，受成像原理所限，通过ToF深度相机的传感器捕获的深度图像往往具有较为严重的噪声和较差的稳定性，甚至存在局部深度信息缺失(深度图像存在孔洞)等现象。
[0004]上述特性严重限制了基于ToF的深度图像的进一步应用。现有方案中，对ToF捕获的深度图像进行降噪等处理往往需要先逐像素点估计其置信度。而传统的ToF深度图像置信度估计方法，往往需要结合高精度深度图像传感器进行数据采集。高精度传感器价格昂贵，集成困难，且采集到的高精度深度图像需要与ToF捕获的深度图像配准后才可用于ToF深度图像置信度估计，无论是从硬件上还是软件上，研发流程均较为复杂，成本高昂，不利于终端设备的集成化应用。

技术实现思路

[0005]为了解决现有技术中的上述技术缺陷，本专利技术提出了一种深度图像置信度计算方法，该方法包括：
[0006]在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集。
[0007]在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息。
[0008]以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型。
[0009]将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。
[0010]可选地，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，包括：
[0011]在同一拍摄场景和同一拍摄角度下，采集一帧彩色图像，及所述一帧彩色图像采集期间对应的连续的多帧深度图像。
[0012]在多个拍摄场景或多个拍摄角度下，采集多组所述一帧彩色图像和对应的所述多帧深度图像，组成深度图像集。
[0013]可选地，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，还包括：
[0014]在所述深度图像集中，确定每一个所述拍摄场景或每一个所述拍摄角度下采集的
深度图像序列。
[0015]获取所述深度图像序列对应的标签数据，将所述深度图像集和所述标签数据组成所述数据集。
[0016]可选地，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，包括：
[0017]获取所述深度图像在所述像素点位的所述深度值。
[0018]根据所述彩色图像和所述深度图像的分辨率获取所述彩色图像在所述像素点位的所述彩色值。
[0019]可选地，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，还包括：
[0020]获取所述深度图像在所述像素点位的所述导向信息和所述边缘信息。
[0021]根据所述深度值、所述彩色值、所述径向距离、所述导向信息以及所述边缘信息建立逐像素点的所述特征集合。
[0022]可选地，所述以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型，包括：
[0023]使用所述数据集对所述网络模型进行训练，直至所述损失函数满足预设的约束条件。
[0024]将所述网络模型的结构和参数进行固化保存。
[0025]可选地，所述将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数，包括：
[0026]恢复经固化保存的所述网络模型的结构和参数。
[0027]获取所述单帧深度图像和所述单帧深度图像对应的多帧彩色图像的像素点位的特征信息。
[0028]可选地，所述将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数，还包括：
[0029]将所述特征信息输入至经恢复后的所述网络模型。
[0030]将所述网络模型的网络输出作为所述单帧深度图像的像素点位的置信度参数。
[0031]本专利技术还提出了一种深度图像置信度计算设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的深度图像置信度计算方法的步骤。
[0032]本专利技术还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有深度图像置信度计算程序，深度图像置信度计算程序被处理器执行时实现如上述任一项所述的深度图像置信度计算方法的步骤。
[0033]实施本专利技术的深度图像置信度计算方法、设备及计算机可读存储介质，通过在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集；在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息；以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所
述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型；将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。实现了一种基于ToF，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。
附图说明
[0034]下面将结合附图及实施例对本专利技术作进一步说明，附图中：
[0035]图1是本专利技术涉及的一种移动终端的硬件结构示意图；
[0036]图2是本专利技术实施例提供的一种通信网络系统架构图；
[0037]图3是本专利技术深度图像置信度计算方法第一实施例的流程图；
[0038]图4是本专利技术深度图像置信度计算方法第二实施例的流程图；
[0039]图5是本专利技术深度图像置信度计算方法第三实施例的流程图；
[0040]图6是本专利技术深度图像置信度计算方法第四实施例的流程图；
[0041]图7是本专利技术深度图像置信度计算方法第五实施例的流程图；
[0042]图8是本专利技术深度图像置信度计算方法第六实施例的流程图；
[0043]图9是本专利技术深度图像置信度计算方法第七实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图像置信度计算方法，其特征在于，所述方法包括：在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集；在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息；以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型；将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。2.根据权利要求1所述的深度图像置信度计算方法，其特征在于，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，包括：在同一拍摄场景和同一拍摄角度下，采集一帧彩色图像，及所述一帧彩色图像采集期间对应的连续的多帧深度图像；在多个拍摄场景或多个拍摄角度下，采集多组所述一帧彩色图像和对应的所述多帧深度图像，组成深度图像集。3.根据权利要求2所述的深度图像置信度计算方法，其特征在于，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，还包括：在所述深度图像集中，确定每一个所述拍摄场景或每一个所述拍摄角度下采集的深度图像序列；获取所述深度图像序列对应的标签数据，将所述深度图像集和所述标签数据组成所述数据集。4.根据权利要求3所述的深度图像置信度计算方法，其特征在于，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，包括：获取所述深度图像在所述像素点位的所述深度值；根据所述彩色图像和所述深度图像的分辨率获取所述彩色图像在所述像素点位的所述彩色值。5.根据权利要求4所述的深度图像置信度计算方法，其特征在于，所述在所述数...

【专利技术属性】
技术研发人员：王秀琳，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：