一种基于tof相机软分割的人像头部背景虚化方法技术

本发明专利技术公开了一种基于tof相机软分割的人像头部背景虚化方法，包括步骤S1：分析人像头部噪声，步骤S2：提取tof相机下的基于深度学习的语义信息，步骤S3：进行基于tof相机下的头部软分割，步骤S4：利用所述软分割权重和tof参数的高斯卷积对整张照片卷积处理，实现人像背景的虚化。本发明专利技术利用软分割技术(alpha matting)来大大优化人像模式的效果。利用本发明专利技术的技术可以把人像边缘的发丝信息全部保留，而虚化不属于人部分的背景信息。把本发明专利技术的算法集成到手机显卡中之后，拍摄虚化速度和苹果手机拍摄速度基本相同。

A Soft Segmentation Method for Image Head Background Virtualization Based on Tof Camera

【技术实现步骤摘要】
一种基于tof相机软分割的人像头部背景虚化方法
本专利技术涉及计算机视觉领域，尤其涉及一种基于tof相机软分割的人像头部背景虚化方法。
技术介绍
目前众多手机和专业摄像机厂商都推出了各自的人像拍摄系统。比如小米华为苹果手机都对于单独拍摄人物有着自己的优化算法。但是无论是前置高清摄像头还是后置双摄或者三摄，都不能很好地对人物边缘进行很好的优化。本专利技术对比实验了目前市面上各大手机相机厂商对于相同人物进行拍摄获得的结果发现，更多的手机算法是利用模拟大光圈技术做到背景虚化功能或者利用人脸识别技术进行人物美颜。但是这样的技术很容易造成人物边缘细节的丢失。特别是对人物头部边缘放大之后，更多的头部边缘已经和背景一起虚化融合进去。造成了对于照片真实度以及美感的丢失。现有人像背景虚化功能很容易造成人物边缘细节的丢失，从而造成画面的不真实。因此，本领域的技术人员致力于开发一种基于tof相机软分割的人像头部背景虚化方法，利用基于tof的头部软分割技术实现的人像背景虚化功能，可以做到精确到头发丝级别的人像背景虚化功能。头部软分割技术具体指的是，单独对头发部分进行alphamatte值的计算，即头发的每一个像素点都会获得一个0到1的浮点型值。其中越接近1说明是头发的概率就越大。这种计算方法不同于单纯地区分前后景进行人像分割(CN103871051B，CN108154465A，CN108154466A)，这些方法每一个像素值不是0就是1，并没有中间的浮点数值。单纯只区分前后景，并没有毛发边缘的渐变效果，对背景进行高斯滤波后，会造成头发边缘部分异常模糊，不利于人像模式美感。专利技术内容有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是克服现有技术中人像背景不能精确虚化的问题。为实现上述目的，本专利技术提供了一种基于tof相机软分割的人像头部背景虚化方法，包括以下步骤：步骤S1：分析人像头部噪声，利用tof相机对所述人像头发部分进行连续实验分析，最后得出所述人像头发部分在tof相机下的噪声特征；步骤S2：提取tof相机下的基于深度学习的语义信息，采集人像不同角度的照片，使用手工标注的方式对人像头部进行分割，每张照片包括tof深度信息，将RGBD信息输入神经网络，并输出为头发遮蔽层信息；在对所述神经网络训练后，把所述神经网络的编码器中的第二层和解码器部分的倒数第二层提出，合并为语义信息；利用度量学习对所述神经网络进行二次学习，使得属于同类的语义信息更加接近，不同类的语义信息距离更加远，最终得到多维语义信息；步骤S3：基于tof相机下的头部软分割，构建整张图片的拉普拉斯矩阵，融合图片的低维特征信息、高维图片语义信息以及tof相机的噪声信息，在求解头发软分割参数，最后结合tof相机获取面部以及身体信息，得到最终软分割结果，即人像中每一个像素的软分割权重；步骤S4：利用所述软分割权重和tof参数的高斯卷积对整张照片卷积处理，实现人像背景的虚化。进一步地，所述噪声特征的提取需要对每一个像素点的噪声特征进行提取，所述每一个像素点的噪声特征通过4维特征向量体现，所述4维特征向量为：其中，V为8*8核下的方差信息。进一步地，所述神经网络中的噪声检测模块是通过利用所述神经网络两层之间相减实现的。进一步地，所述步骤S3基于tof相机下的头部软分割，还包括以下步骤：步骤S3-1、获得低维度图片特征信息：对所述人像照片进行超像素的分割，得到多个超像素值，对每一个超像素求得超像素平均值，然后获取低维度图片特征信息，即颜色矩阵；步骤S3-2、获得高维度语义信息：利用训练好的特征提取神经网络，对所述人像照片的每一个像素值映射为一个15维的语义信息，最后求得语义权重矩阵；步骤S3-3、获得tof噪声信息：对所述人像照片进行噪声特征提取，提取后，每一个像素值都可以被映射为一个所述4维的特征向量，最后求得噪声权重矩阵；步骤S3-4、获得优化矩阵和优化方程：联合以上所述颜色矩阵、语义权重矩阵、噪声权重矩阵，以及所述软分割基础矩阵，得到最终优化矩阵形式，再联合多种约束，得到最终的优化方程。进一步地，所述图片颜色矩阵为：其中，Cs和Ct为两个超像素值的颜色平均，a和b均为可调节参数，erf为高斯距离方差。进一步地，所述语义权重矩阵为：其中，f为神经网络提取的15维度信息，a和b为可调节参数。进一步地，所述噪声权重矩阵：其中，g为四维噪声权重信息，a和b为可调节参数。进一步地，所述优化矩阵为：所述优化方程为：E＝EL+ES+λEC其中，El代表软分割基本方程；Ec代表又有预测透明度的权重之和为1；Es代表每一个透明度很大概率接近1或者0。进一步地，所述软分割权重为0到1的float型参数，所述像素软分割权重为1代表是人物，软分割权重为0代表是背景，所述像素软分割权重在0和1之间，则为人像的边缘。进一步地，所述卷积处理的公式为：其中，Di为以像素i为中心的宽度为w×w的tof深度权重窗口；Ai为以像素i为中心的宽度为w×w的软分割权重窗口；Gi为以像素i为中心的宽度为w×w的高斯权重窗口；I(x,y)为位置为x，y的照片RGB信息；ri为像素i的最终结果。本专利技术利用最新的软分割技术(alphamatting)来大大优化人像模式的效果。通过图3可以非常明显地看出，利用本专利技术的技术可以把人像边缘的发丝信息全部保留，而虚化不属于人部分的背景信息。把本专利技术的算法集成到手机显卡中之后，拍摄虚化速度和苹果手机拍摄速度基本相同。以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。附图说明图1是本专利技术的一个较佳实施例的人像头部背景虚化流程示意图；图2是本专利技术的一个较佳实施例的人像头部不同位置的方差分布图；图3是本专利技术的一个较佳实施例的深度学习网络结构示意图；图4是本专利技术的一个较佳实施例的人像头部背景虚化效果对比图。具体实施方式以下参考说明书附图介绍本专利技术的多个优选实施例，使其
技术实现思路
更加清楚和便于理解。本专利技术可以通过许多不同形式的实施例来得以体现，本专利技术的保护范围并非仅限于文中提到的实施例。在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本专利技术并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。如图1所示，本专利技术的人像拍摄解决方案，创新性地结合tof相机，对人像头发部分进行噪声分析，从而优化人像头发部分的软分割技术。最后结合tof对人像的深度信息和头部软分割结果，实现人像背景虚化功能。步骤S1，人像头部噪声分析。本专利技术利用tof相机对人像头发部分进行大量连续的实验分析，最后得出人像头发部分在tof相机下具有特别的噪声性质。头发部分不同位置的方差分布不同，但是都明显高于人像其他位置部分的方差。如图2所示，经过多次实验表明，对于1920*1080的照片选择8*8的核计算方差的效果最佳。同时，为了有效计算头发位置下的噪声，本专利技术对每一个像素点进行噪声特征提取，对于每一个像素点本专利技术都能够获取一个4*1的向量。其中，V为8*8核下的方差信息。步骤S2，tof相机下的基于深度学习技术的语义信息提取本专利技术对人像不同角度(上半身占本文档来自技高网...

【技术保护点】
1.一种基于tof相机软分割的人像头部背景虚化方法，其特征在于，包括以下步骤：步骤S1：分析人像头部噪声，利用tof相机对所述人像头发部分进行连续实验分析，最后得出所述人像头发部分在tof相机下的噪声特征；步骤S2：提取tof相机下的基于深度学习的语义信息，采集人像不同角度的照片，使用手工标注的方式对人像头部进行分割，每张照片包括tof深度信息，将RGBD信息输入神经网络，并输出为头发遮蔽层信息；在对所述神经网络训练后，把所述神经网络的编码器中的第二层和解码器部分的倒数第二层提出，合并为语义信息；利用度量学习对所述神经网络进行二次学习，使得属于同类的语义信息更加接近，不同类的语义信息距离更加远，最终得到多维语义信息；步骤S3：基于tof相机下的头部软分割，构建整张图片的拉普拉斯矩阵，融合图片的低维特征信息、高维图片语义信息以及tof相机的噪声信息，在求解头发软分割参数，最后结合tof相机获取面部以及身体信息，得到最终软分割结果，即人像中每一个像素的软分割权重；步骤S4：利用所述软分割权重和tof参数的高斯卷积对整张照片卷积处理，实现人像背景的虚化。

【技术特征摘要】
1.一种基于tof相机软分割的人像头部背景虚化方法，其特征在于，包括以下步骤：步骤S1：分析人像头部噪声，利用tof相机对所述人像头发部分进行连续实验分析，最后得出所述人像头发部分在tof相机下的噪声特征；步骤S2：提取tof相机下的基于深度学习的语义信息，采集人像不同角度的照片，使用手工标注的方式对人像头部进行分割，每张照片包括tof深度信息，将RGBD信息输入神经网络，并输出为头发遮蔽层信息；在对所述神经网络训练后，把所述神经网络的编码器中的第二层和解码器部分的倒数第二层提出，合并为语义信息；利用度量学习对所述神经网络进行二次学习，使得属于同类的语义信息更加接近，不同类的语义信息距离更加远，最终得到多维语义信息；步骤S3：基于tof相机下的头部软分割，构建整张图片的拉普拉斯矩阵，融合图片的低维特征信息、高维图片语义信息以及tof相机的噪声信息，在求解头发软分割参数，最后结合tof相机获取面部以及身体信息，得到最终软分割结果，即人像中每一个像素的软分割权重；步骤S4：利用所述软分割权重和tof参数的高斯卷积对整张照片卷积处理，实现人像背景的虚化。2.如权利要求1所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述噪声特征的提取需要对每一个像素点的噪声特征进行提取，所述每一个像素点的噪声特征通过4维特征向量体现，所述4维特征向量为：其中，V为8*8核下的方差信息。3.如权利要求1所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述神经网络中的噪声检测模块是通过利用所述神经网络两层之间相减实现的。4.如权利要求2所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述步骤S3基于tof相机下的头部软分割，还包括以下步骤：步骤S3-1、获得低维度图片特征信息：对所述人像照片进行超像素的分割，得到多个超像素值，对每一个超像素求得超像素平均值，然后获取低维度图片特征信息，即颜色矩阵；步骤S3-2、获得高维度语义信息：利用训练好的特征...

【专利技术属性】
技术研发人员：马原曦，王岑，张迎梁，
申请(专利权)人：叠境数字科技上海有限公司，
类型：发明
国别省市：上海,31