一种基于卷积神经网络的单目结构光深度成像方法技术

本发明专利技术实施例提供一种基于卷积神经网络的单目结构光深度成像方法，该方法包括：S1，对单目结构光成像硬件系统进行视觉标定；S2，生成合成训练数据集；S3，数据增广和预处理；S4，构建卷积神经网络；S5，确定损失函数；S6，设置优化器；S7，训练卷积神经网络；S8，测试卷积神经网络。本发明专利技术实施例提供的方法用于训练卷积神经网络的合成训练数据集中包含有人脸数据，针对人脸识别进行了特定的优化提升，提高了采用单目结构光深度成像进行人脸识别时的成像效果和识别准确率，减少了网络计算量，提高了在高精度和高分辨率的成像质量要求下的实时性。

【技术实现步骤摘要】
一种基于卷积神经网络的单目结构光深度成像方法
本专利技术涉及机器视觉
，具体涉及一种基于卷积神经网络的单目结构光深度成像方法。
技术介绍
深度感知成像技术一直是机器视觉领域的重要研究方向与课题。其中，基于空间编码结构光的单目深度成像技术是近距离深度成像最为主流的方向之一，广泛应用于消费电子、体感游戏、安防等场景中。现有的单目结构光深度成像算法无法针对人脸识别进行特定的优化提升，人脸识别准确率低，无法满足当前人脸识别应用对深度成像效果日益提高的质量要求。同时，针对嵌入式平台上的人脸识别应用，现有的单目结构光深度成像算法网络计算量较大，在高精度和高分辨率的成像质量要求下实时性较差。
技术实现思路
本专利技术实施例提供一种基于卷积神经网络的单目结构光深度成像方法，用以解决采用现有的单目结构光深度成像方法进行人脸识别时成像效果差和识别准确率低，在高精度和高分辨率的成像质量要求下实时性较差的问题。本专利技术实施例提供一种基于卷积神经网络的单目结构光深度成像方法，包括：S1，对单目结构光成像硬件系统进行视觉标定：获取所述单目结构光成像硬件系统的内部参数和外部参数；基于所述内部参数和外部参数，获取移至无穷远处的散斑参考图；其中，所述单目结构光成像硬件系统包括红外相机和红外散斑投射器，所述内部参数包括相机焦距和主点坐标，所述外部参数包括相机与投射器之间的旋转矩阵和平移矩阵；S2，生成合成训练数据集：基于物品三维模型数据集和人脸三维模型数据集，获取合成三维模型数据集；基于所述内部参数和外部参数，设置三维模型渲染程序中的所用到的模拟相机和模拟投射器的参数；基于所述三维模型渲染程序和所述合成三维模型数据集，获取合成训练数据集，所述合成训练数据集包括散斑场景图、散斑参考图、视差真值数据和无效区域掩膜数据；S3，数据增广和预处理：对所述散斑场景图和所述散斑参考图进行数据增广和数据预处理；其中，所述数据增广包括随机图像亮度增强/减弱、随机图像对比度增强/减弱、随机高斯噪声、随机高斯模糊和随机裁剪，所述数据预处理包括局部对比度归一化；S4，构建卷积神经网络：所述卷积神经网络包括特征提取部分、匹配代价卷构建部分、视差聚合部分和视差回归部分；其中，所述特征提取部分用于对所述散斑场景图和所述散斑参考图进行特征提取，得到特征图；所述匹配代价卷构建部分用于对所述特征图进行循环剪裁和连接操作，得到匹配代价卷；所述视差聚合部分用于对所述匹配代价卷进行视差聚合计算，得到视差相似度矩阵；所述视差回归部分用于对所述视差相似度矩阵进行Softargmin操作和线性变换，得到深度图；S5，确定损失函数：基于视差回归损失函数和视差平滑损失函数，确定损失函数；其中，所述视差回归损失函数表征预测视差图和真实视差图的差距；所述视差平滑损失函数表征预测视差图中各像素点的视差梯度；S6，设置优化器：设置优化器，动态调整所述卷积神经网络训练的学习率；S7，训练卷积神经网络：基于所述合成训练数据集，确定训练样本集和验证样本集；基于所述训练样本集、所述验证样本集、所述损失函数和所述优化器，训练所述卷积神经网络；基于所述损失函数和精度指标，按照设定步长保存所述卷积神经网络的参数模型，确定所述卷积神经网络的参数模型集合；S8，测试卷积神经网络：将真实拍摄的各个距离下平面场景图与参考图输入所述卷积神经网络，得到平面深度图；使用平面精密度指标对所述平面深度图进行评估，得到最终卷积神经网络；其中，所述最终卷积神经网络为所述参数模型集合中精度最高的卷积神经网络；所述最终卷积神经网络用于对真实采集的人脸数据进行成像效果测试。可选地，所述物品三维模型数据集从公开数据集ShapeNet中挑选特定数量的物品三维模型；所述人脸三维模型数据集根据高精度三维扫描仪获取。可选地，所述基于所述三维模型渲染程序和所述合成三维模型数据集，获取合成训练数据集，具体包括：调整三维模型渲染程序中的所用到的模拟相机和模拟投射器的外部参数；基于调整后的三维模型渲染程序和所述合成三维模型数据集，得到包含存在随机行偏差的散斑场景图和散斑参考图的合成训练数据集。可选地，所述特征提取部分是基于DenseNet-BC结构实现的。可选地，所述匹配代价卷为4维张量矩阵。可选地，所述视差聚合部分用于对所述匹配代价卷进行视差聚合计算，得到视差相似度矩阵，包括：采用抛弃上下采样操作的堆叠沙漏结构进行视差聚合。可选地，所述视差聚合部分用于对所述匹配代价卷进行视差聚合计算，得到视差相似度矩阵，包括：使用ShuffleNet-V2版本的卷积单元结构替换普通二维卷积层。可选地，所述基于视差回归损失函数和视差平滑损失函数，确定损失函数，包括：采用所述视差回归损失函数和所述视差平滑损失函数加权结合的配置作为损失函数，计算公式如下：Ltotal＝α·Ldr+β·Lds式中，Ltotal为所述损失函数，α为所述视差回归损失函数的权值，β为所述视差平滑损失函数的权值，Ldr为所述视差回归损失函数，Lds为所述视差平滑损失函数。可选地，所述基于所述合成训练数据集，确定训练样本集和验证样本集，包括：选取所述合成训练数据集中80％的数据样本作为参与前后向迭代学习的训练样本集；将所述合成训练数据集中其余20％作为训练过程中验证网络泛化性和精度的验证样本集；设置2个随机值使得每次抽取到的训练样本或验证样本是无序且均匀分布的。本专利技术实施例提供的基于卷积神经网络的单目结构光深度成像方法，通过物品三维模型数据集和人脸三维模型数据集生成合成训练数据集，对合成训练数据集进行数据增广和预处理，提升训练样本的多样性和稳定性；构建卷积神经网络，通过损失函数和优化器，对卷积神经网络进行训练和测试，进而确定了参数模型集合中精度最高的卷积神经网络。该方法用于训练卷积神经网络的合成训练数据集中包含有人脸数据，针对人脸识别进行了特定的优化提升，提高了采用单目结构光深度成像进行人脸识别时的成像效果和识别准确率，减少了网络计算量，提高了在高精度和高分辨率的成像质量要求下的实时性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的基于卷积神经网络的单目结构光深度成像方法的流程示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的单目结构光深度成像方法，其特征在于，包括：/nS1，对单目结构光成像硬件系统进行视觉标定：/n获取所述单目结构光成像硬件系统的内部参数和外部参数；/n基于所述内部参数和外部参数，获取移至无穷远处的散斑参考图；/n其中，所述单目结构光成像硬件系统包括红外相机和红外散斑投射器，所述内部参数包括相机焦距和主点坐标，所述外部参数包括相机与投射器之间的旋转矩阵和平移矩阵；/nS2，生成合成训练数据集：/n基于物品三维模型数据集和人脸三维模型数据集，获取合成三维模型数据集；/n基于所述内部参数和外部参数，设置三维模型渲染程序中的所用到的模拟相机和模拟投射器的参数；/n基于所述三维模型渲染程序和所述合成三维模型数据集，获取合成训练数据集，所述合成训练数据集包括散斑场景图、散斑参考图、视差真值数据和无效区域掩膜数据；/nS3，数据增广和预处理：/n对所述散斑场景图和所述散斑参考图进行数据增广和数据预处理；/n其中，所述数据增广包括随机图像亮度增强/减弱、随机图像对比度增强/减弱、随机高斯噪声、随机高斯模糊和随机裁剪，所述数据预处理包括局部对比度归一化；/nS4，构建卷积神经网络：/n所述卷积神经网络包括特征提取部分、匹配代价卷构建部分、视差聚合部分和视差回归部分；/n其中，所述特征提取部分用于对所述散斑场景图和所述散斑参考图进行特征提取，得到特征图；/n所述匹配代价卷构建部分用于对所述特征图进行循环剪裁和连接操作，得到匹配代价卷；/n所述视差聚合部分用于对所述匹配代价卷进行视差聚合计算，得到视差相似度矩阵；/n所述视差回归部分用于对所述视差相似度矩阵进行Soft argmin操作和线性变换，得到深度图；/nS5，确定损失函数：/n基于视差回归损失函数和视差平滑损失函数，确定损失函数；/n其中，所述视差回归损失函数表征预测视差图和真实视差图的差距；所述视差平滑损失函数表征预测视差图中各像素点的视差梯度；/nS6，设置优化器：/n设置优化器，动态调整所述卷积神经网络训练的学习率；/nS7，训练卷积神经网络：/n基于所述合成训练数据集，确定训练样本集和验证样本集；/n基于所述训练样本集、所述验证样本集、所述损失函数和所述优化器，训练所述卷积神经网络；/n基于所述损失函数和精度指标，按照设定步长保存所述卷积神经网络的参数模型，确定所述卷积神经网络的参数模型集合；/nS8，测试卷积神经网络：/n将真实拍摄的各个距离下平面场景图与参考图输入所述卷积神经网络，得到平面深度图；/n使用平面精密度指标对所述平面深度图进行评估，得到最终卷积神经网络；/n其中，所述最终卷积神经网络为所述参数模型集合中精度最高的卷积神经网络；所述最终卷积神经网络用于对真实采集的人脸数据进行成像效果测试。/n...

【技术特征摘要】
1.一种基于卷积神经网络的单目结构光深度成像方法，其特征在于，包括：
S1，对单目结构光成像硬件系统进行视觉标定：
获取所述单目结构光成像硬件系统的内部参数和外部参数；
基于所述内部参数和外部参数，获取移至无穷远处的散斑参考图；
其中，所述单目结构光成像硬件系统包括红外相机和红外散斑投射器，所述内部参数包括相机焦距和主点坐标，所述外部参数包括相机与投射器之间的旋转矩阵和平移矩阵；
S2，生成合成训练数据集：
基于物品三维模型数据集和人脸三维模型数据集，获取合成三维模型数据集；
基于所述内部参数和外部参数，设置三维模型渲染程序中的所用到的模拟相机和模拟投射器的参数；
基于所述三维模型渲染程序和所述合成三维模型数据集，获取合成训练数据集，所述合成训练数据集包括散斑场景图、散斑参考图、视差真值数据和无效区域掩膜数据；
S3，数据增广和预处理：
对所述散斑场景图和所述散斑参考图进行数据增广和数据预处理；
其中，所述数据增广包括随机图像亮度增强/减弱、随机图像对比度增强/减弱、随机高斯噪声、随机高斯模糊和随机裁剪，所述数据预处理包括局部对比度归一化；
S4，构建卷积神经网络：
所述卷积神经网络包括特征提取部分、匹配代价卷构建部分、视差聚合部分和视差回归部分；
其中，所述特征提取部分用于对所述散斑场景图和所述散斑参考图进行特征提取，得到特征图；
所述匹配代价卷构建部分用于对所述特征图进行循环剪裁和连接操作，得到匹配代价卷；
所述视差聚合部分用于对所述匹配代价卷进行视差聚合计算，得到视差相似度矩阵；
所述视差回归部分用于对所述视差相似度矩阵进行Softargmin操作和线性变换，得到深度图；
S5，确定损失函数：
基于视差回归损失函数和视差平滑损失函数，确定损失函数；
其中，所述视差回归损失函数表征预测视差图和真实视差图的差距；所述视差平滑损失函数表征预测视差图中各像素点的视差梯度；
S6，设置优化器：
设置优化器，动态调整所述卷积神经网络训练的学习率；
S7，训练卷积神经网络：
基于所述合成训练数据集，确定训练样本集和验证样本集；
基于所述训练样本集、所述验证样本集、所述损失函数和所述优化器，训练所述卷积神经网络；
基于所述损失函数和精度指标，按照设定步长保存所述卷积神经网络的参数模型，确定所述卷积神经网络的参数模型集合；
S8，测试卷积神经网络：
将真实拍摄的各个距离下平面场景图与参考图输入所述卷积神经网络，得到平面深度图；
使用平面精密度指标对所述平面深度图进行评估，得到最终卷积神经网络；
其中，所述最终卷积神经网络为所述参数模型集合中精度最高的卷积神经网...

【专利技术属性】
技术研发人员：户磊，王亚运，王海彬，曹天宇，薛远，
申请(专利权)人：合肥的卢深视科技有限公司，
类型：发明
国别省市：安徽;34