一种深度图人像边缘优化方法及处理装置制造方法及图纸

本发明专利技术提出了一种深度图人像边缘优化方法及处理装置，包括深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；深度图像采集模块获取到人像的深度图与原图，将深度图以及原图传输给置信度估计模块；置信度估计模块将深度图像转化为三元图，原图与三元图传输到深度学习模块中，得到修正后的三元图，然后三元图与原图传输给人像特征训练模块对原图上前景背景上的点进行分类训练，再将分类模型以及原图传递给边缘优化模块；边缘优化模块根据获取到分类模型对三元图上的未知区域内的点进行预测和深度填充，最终得到优化后的人像深度图像。

【技术实现步骤摘要】
一种深度图人像边缘优化方法及处理装置
本专利技术涉及视觉及图像处理
，尤其涉及一种深度图人像边缘优化方法及处理装置。
技术介绍
随着科学技术的发展，目前双摄算法已基本成为智能手机的标配之一，很多智能手机厂商都纷纷推出自己的人像背景虚化效果，以期望在手机上获得与单反相机近似的背景虚化效果，提升人像拍摄的美学效果。但是，因受到双摄摄像头成像效果不一致、运动模糊、光噪声等影响，获取到深度图像中，人像深度图中的人像边缘往往是不完整的，人像边缘的深度信息准确性比较低，并不能很好的贴近人像的真实边界，直接使用这种深度图直接对背景进行虚化，会造成人像边缘有锯齿、部分人像被虚化，部分背景未虚化等问题，在某些场景下的虚化效果不理想，这为用户的使用带来了不便。
技术实现思路
本专利技术提出的一种深度图人像边缘优化方法及处理装置，以优化人像深度图人像边缘，使得人像的边缘更完整。根据本专利技术的第一方面，提出一种深度图人像边缘优化处理装置，包括：深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；所述深度图像采集模块获取人像的深度图与原图；所述置信度估计模块将所述深度图像转化为包括前景、背景、未知的三元图；所述深度学习模块结合原图对所述三元图进行估计与修正，得到修正后的三元图；所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练，获得分类模型；以及所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。根据本专利技术的第二方面，提供一种深度图人像边缘优化方法，包括步骤：深度图像采集模块获取人像的深度图与原图，将深度图以及原图传输给置信度估计模块；所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中；所述深度学习模块对所述三元图进行估计与修正，得到修正后的三元图，然后将所述修正后的三元图与原图传输给人像特征训练模块；所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点；以及所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。本专利技术实施例中，可以快速准确的对人像深度图边缘进行优化，提高人像深度图的边缘深度信息的准确性，能更好的逼近人像的真实边界。另外，根据本专利技术的一个实施例，所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测包括：将所述未知区域准确的分为前景与背景。另外，根据本专利技术的一个实施例，所述深度图像采集模块利用包括双摄模组或rgbd摄像头获取到人像的深度图与原图。可见，本专利技术可以应用于成像效果不一致、运动模糊、光噪声的摄像头中，从而具有更好的应用范围。另外，根据本专利技术的一个实施例，所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中的步骤包括：定义深度图D的宽度为w，高度为h，统计深度图中心部分宽度为2*p*w，高度为2*p*h的区域的平均深度d，p的取值范围在0.1到0.9之间；x，y表示图的坐标位置，即第x行第y列；以d+th为阈值将深度图二值化得到二值化图H，其中th为设定的经验值，th取值范围在10cm到60cm之间，建立三元图S1，将二值化图H上为0的点在三元图标记为255，将二值化图H为1的点标记为0；将三元图S1进行边缘检测得到边缘图B，将三元图S1上距离边缘小于sp的点标记为127，并认为是未知区域，得到过渡图S2，其中sp为设定的经验值，sp取值范围在图像宽度的1/30至1/15之间；将过渡图S2与原图叠加为4通道图送入所述深度学习模块中，从而在所述深度学习模块中得到修正后的三元图S3。另外，根据本专利技术的一个实施例，所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型包括：a、对原图，使用网络进行前向处理，得到预测结果S4，在修正后的三元图S3不等于127的点与预测结果S4中对应的点之间计算欧氏距离损失，得到损失值loss，然后求损失值loss的均值lossaveb、定义学习率为lr，对网络进行反向传播，逐层的更新参数，定义：，w1为网络中的一个参数，求解出lossave对w1的偏导数，则w1更新后的结果w1-new为c、重复a与b，直到得到的lossave达到稳定，波动小于设定阈值，则保存此时的参数，作为训练好的分类模型。另外，根据本专利技术的一个实施例，所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像包括：使用获取到的分类模型对修正后的三元图S3与原图的叠加图进行前背景预测，得到预测结果S；利用预测结果S对深度图D进行优化，得到优化后的深度图Dnew其中dnear为预测结果S上等于0的点集中距离点（x,y）最近的点的深度。附图说明图1为本专利技术实施例中深度图人像边缘优化处理装置的示意图；图2为本专利技术实施例中深度图人像边缘优化方法的流程示意图；图3为本专利技术实施例中深度图人像边缘优化方法的示意图一；图4为本专利技术实施例中深度图人像边缘优化方法的示意图二。具体实施方式下面将结合示意图对本专利技术的深度图人像边缘优化方法及处理装置进行更详细的描述，其中表示了本专利技术的优选实施例，应该理解本领域技术人员可以修改在此描述的本专利技术，而仍然实现本专利技术的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本专利技术的限制。实施例1本专利技术实施例1提供了一种深度图人像边缘优化处理装置。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的示意图可参考图1，包括：深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；所述深度图像采集模块获取人像的深度图与原图；所述置信度估计模块将所述深度图像转化为包括前景、背景、未知的三元图；所述深度学习模块结合原图对所述三元图进行估计与修正，得到修正后的三元图；所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练，获得分类模型；以及所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。由此，本专利技术实施例对人像深度图人像边本文档来自技高网...

【技术保护点】
1.一种深度图人像边缘优化处理装置，其特征在于，包括：/n深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；/n所述深度图像采集模块获取人像的深度图与原图；/n所述置信度估计模块将所述深度图像转化为包括前景、背景、未知的三元图；/n所述深度学习模块结合原图对所述三元图进行估计与修正，得到修正后的三元图；/n所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练，获得分类模型；以及/n所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。/n

【技术特征摘要】
1.一种深度图人像边缘优化处理装置，其特征在于，包括：
深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；
所述深度图像采集模块获取人像的深度图与原图；
所述置信度估计模块将所述深度图像转化为包括前景、背景、未知的三元图；
所述深度学习模块结合原图对所述三元图进行估计与修正，得到修正后的三元图；
所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练，获得分类模型；以及
所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。


2.如权利要求1所述的深度图人像边缘优化处理装置，其特征在于，所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测包括：将所述未知区域准确的分为前景与背景。


3.一种深度图人像边缘优化方法，包括步骤：
深度图像采集模块获取人像的深度图与原图，将深度图以及原图传输给置信度估计模块；
所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中；
所述深度学习模块对所述三元图进行估计与修正，得到修正后的三元图，然后将所述修正后的三元图与原图传输给人像特征训练模块；
所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点；以及
所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。


4.如权利要求3所述的深度图人像边缘优化方法，其特征在于，所述深度图像采集模块利用包括双摄模组或rgbd摄像头获取到人像的深度图与原图。


5.如权利要求3所述的深度图人像边缘优化方法，其特征在于，所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中的步骤包括：
定义深度图D的宽度为w，高度为h，统计深度图中心部分宽度为2*p*w，高度为2*p*h的区域的平均深度...

【专利技术属性】
技术研发人员：赵晓刚，王永滨，江南，余维学，
申请(专利权)人：上海海栎创微电子有限公司，
类型：发明
国别省市：上海;31