一种制造技术

本发明专利技术提供一种

【技术实现步骤摘要】
一种FCN人体皮肤分割矫正摄像头自动白平衡的方法


[0001]本专利技术属于图像信号处理领域和智能视频
，特别涉及一种
FCN
人体皮肤分割矫正摄像头自动白平衡的方法
。

技术介绍

[0002]目前现有自动白平衡方法通常是通过标定一系列标准色温下得到色温曲线，越靠近色温曲线权重越大，再对图像信息进行分块统计，并且进行加权，得到当前自动白平衡的最优参数
。
[0003]人体是图像视频中常见的场景，而当前现有自动白平衡在人体肤色信息时，人体肤色通常靠近色温曲线权重较大，导致人体皮肤部分颜色影响白平衡的最优参数，使得图像偏蓝色，影响视觉效果，目前检测人体皮肤常见的方法有分类，但由于缺少全局信息检测效果较差
。
[0004]此外，现有技术中的常用术语如下：
[0005]全卷积神经网络
FCN
：是从抽象的特征中恢复出每个像素所属的类别
。
即从图像级别的分类进一步延伸到像素级别的分类
。
[0006]人体皮肤分割：对于一张图像，利用算法将图像中属于人体皮肤的像素区分出来的方法
。
[0007]全卷积神经网络
FCN
一般用于图像的分割，要解决的核心问题就是图像像素级别的分类，网络输出一般是和图像大小相同的概率图，如一个像素是皮肤的概率是
0.9
，是非皮肤的概率是
0.1。
[0008]训练：首先设计模型，输入相应数据和标签，使得模型预测结果和标签尽可能接近，训练完成后，模型参数收敛，输入数据后获得预测标签
。
人体皮肤分割是基于训练的方法，而大部分数据占比较小，会存在样本不均衡的问题，会使模型倾向于分割皮肤或背景导致效果较差
。
[0009]白平衡：白平衡是为了还原图像真实的色彩而产生的
。
[0010]自动白平衡：自动白平衡调整功能是大部分摄像头都有的功能，当摄像机对着物体时，随着照明光的色温不同，摄像机的白平衡被自动调整，如果自动白平衡效果较差在图像上的表现是偏色，一般来说是偏红和偏蓝
。

技术实现思路

[0011]为了解决上述问题，本申请的目的在于：在自动白平衡之前，考虑图像全局信息，利用全卷积神经网络进行人体皮肤分割，对图像逐像素分类，进而将人体皮肤区域和非人体皮肤区域区分开，统计图像信息，加权白平衡参数时不考虑皮肤区域信息，使得白平衡参数更加准确，视觉效果好
。
[0012]具体地，本专利技术提供一种
FCN
人体皮肤分割矫正摄像头自动白平衡的方法，所述方法包括以下步骤：
[0013]S1.
收集人体皮肤分割数据；
[0014]S2.
设计卷积神经网络，其满足所述卷积神经网络最后一层为卷积非全连接层；
[0015]S3.
设计训练策略
[0016]S3.1
考虑数据尺寸比例不一，训练时采用
512x512
的分辨率训练，考虑实时性要求，实际使用时采用
480x288
推理；
[0017]S3.2
由于人体皮肤数据面积占比较小，训练中以
512x512
和
800x800
为基准分辨率对图像进行有范围的等比例缩放，用随机裁剪或填充的方式使输入网络尺寸为
512x512
；
[0018]S3.3
针对摄像头自动白平衡效果较差产生偏色情况，训练中采取随机偏色的数据增强；
[0019]S4.
根据设计的全卷积神经网络和训练策略训练获得人体皮肤分割模型，根据实际人体皮肤分割效果设计置信度阈值
T
c
和皮肤区域阈值
T
r
；
[0020]S5.
摄像头自动白平衡标定：
[0021]S5.1
在各个标准色温下拍摄标准色卡图片；
[0022]S5.2
基于标准色卡的灰色卡对
R、G、B
通道进行轿正得到相应矫正参数；
[0023]S5.3
基于矫正参数插值并绘制色温曲线，并且分配色温曲线权重；
[0024]S6.
根据人体皮肤分割结果矫正摄像头自动白平衡：
[0025]S6.1
给定人体皮肤分割分区默认初始值
N
15x15
，为
15x15
大小初始值为的0矩阵，表示非人体皮肤区域；
[0026]S6.2
开启自动白平衡计算和全卷积神经网络人体皮肤分割模型计算；
[0027]S6.3
自动白平衡将图像分为
15x15
同等大小区域，分别统计每块区域的三种颜色信息亮度信息，并且计算当前增益
R
gain
、B
gain
；
[0028]S6.4
若模型计算完成，将人体皮肤分割结果分为
15x15
同等大小区域，根据置信度阈值
T
c
决定当前像素是否是人体皮肤，再根据皮肤区域阈值
T
r
判断每个分区是否为皮肤区域，
[0029]如果是皮肤区域，则自动白平衡计算参数时，当前皮肤区域权重为0，如果不是皮肤区域，则当前皮肤区域权重是原有权重；
[0030]若模型没有计算完成，则使用上一次结果，每个分区的增益
R
gain
、B
gain
结合色温曲线权重计算全局增益即可
。
[0031]所述步骤
S2
进一步包括：
[0032]所设计的卷积神经网络，网络前两层为基础卷积操作，整个网络在前面两层卷积后用跳变连接保持高分辨率特征串联，同时在不同网络深度的高分辨率特征使用卷积进行下采样产生低分辨率分支，低分辨率分支保持相同分辨率用跳变连接串联，低分辨率分支再进行上采样与高分辨率分支进行特征融合后以高分辨率输出，最终高分辨率上采样四倍得到尺寸与原始输入大小一致
。
[0033]所述步骤
S3.3
进一步包括：
[0034]针对摄像头自动白平衡效果较差产生偏色情况，训练中采取随机偏色的数据增强，具体操作如公式
(1)
：
[0035][0036]其中
I
r
、I
g
和
I
b
分别为数据
RGB
通道的值，
r
gain
和
b
gain
分别为随机生成的偏色增益
。
[0037]所述步骤
S6.3
分别统计每块区域的三种颜色信息亮度信息，并且计算当前增益
R
gain
、B
gain
，如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
FCN
人体皮肤分割矫正摄像头自动白平衡的方法，其特征在于，所述方法包括以下步骤：
S1.
收集人体皮肤分割数据；
S2.
设计卷积神经网络，其满足所述卷积神经网络最后一层为卷积非全连接层；
S3.
设计训练策略：
S3.1.
考虑数据尺寸比例不一，训练时采用
512x512
的分辨率训练，考虑实时性要求，实际使用时采用
480x288
推理；
S3.2.
由于人体皮肤数据面积占比较小，训练中以
512x512
和
800x800
为基准分辨率对图像进行有范围的等比例缩放，用随机裁剪或填充的方式使输入网络尺寸为
512x512
；
S3.3.
针对摄像头自动白平衡效果较差产生偏色情况，训练中采取随机偏色的数据增强；
S4.
根据设计的全卷积神经网络和训练策略训练获得人体皮肤分割模型，根据实际人体皮肤分割效果设计置信度阈值
T
c
和皮肤区域阈值
T
r
；
S5.
摄像头自动白平衡标定：
S5.1.
在各个标准色温下拍摄标准色卡图片；
S5.2.
基于标准色卡的灰色卡对
R、G、B
通道进行轿正得到相应矫正参数；
S5.3.
基于矫正参数插值并绘制色温曲线，并且分配色温曲线权重；
S6.
根据人体皮肤分割结果矫正摄像头自动白平衡：
S6.1.
给定人体皮肤分割分区默认初始值
N
15x15
，为
15x15
大小初始值为的0矩阵，表示非人体皮肤区域；
S6.2.
开启自动白平衡计算和全卷积神经网络人体皮肤分割模型计算；
S6.3.
自动白平衡将图像分为
15x15
同等大小区域，分别统计每块区域的三种颜色信息亮度信息，并且计算当前增益
R
gain
、B
gain
；
S6.4
若模型计算完成，将人体皮肤分割结果分为
15x15
同等大小区域，根据置信度阈值
T
c
决定当前像素是否是人体皮肤，再根据皮肤区域阈值
T
γ
判断每个分区是否为皮肤区域，如果是皮肤区域，则自动白平衡计算参数时，当前皮肤区域权重为0，如果不是皮肤区域，则当前皮肤区域权重是原有权重；若模型没有计算完成，则使用上一次结果，每个分区的增益
R
gain
、B
gain
结合色温曲线权重计算全局增益即可
。2.
根据权利要求1所述的一种
FCN
人体皮肤分割矫正摄像头自动白平衡的方法，其特征在于，所述步骤
S2
进一步包括：所设计的卷积神经网络，网络前两层为基础卷积操作，整个网络在前面两层卷积后用跳变连接保持高分辨率特征串联，同时在不同网络深度的高分辨率特征使用卷积进行下采样产生低分辨率分支，低分辨率分支保持相同分辨率用跳变连接串联，低分辨率分支再进行上...

【专利技术属性】
技术研发人员：汪鑫耘，吴慎华，
申请(专利权)人：合肥君正科技有限公司，
类型：发明
国别省市：