抠图方法、摄像设备、装置、会议系统、电子设备及介质制造方法及图纸

本申请公开了一种抠图方法、摄像设备、装置、会议系统、电子设备及介质，其方法包括：获取深度图和彩色图，二者是对齐的；根据预设选通阈值范围，对彩色图进行前景提取，得到前景彩色图；利用目标识别模型，对彩色图进行目标识别并根据识别结果确定目标归属策略；基于目标归属策略，融合彩色图和深度图的像素信息，对前景彩色图进行处理，得到三色图；基于Alpha图法，根据深度图和彩色图，对三色图进行处理，得到第二蒙版；根据第二蒙版对彩色图进行目标分割，得到抠图图像。本申请显著提高了抠图目标的完整性和边界清晰度，极大的提高了抠图的整体效果；且计算量小，硬件资源消耗低，提高了抠图效率。抠图效率。抠图效率。

【技术实现步骤摘要】
抠图方法、摄像设备、装置、会议系统、电子设备及介质


[0001]本申请涉及数字图像处理
，具体涉及一种抠图方法、摄像设备、装置、会议系统、电子设备及介质。

技术介绍

[0002]从图像中提取目标图像，是数字图像处理
很重要的一项技术，有着广泛的应用场景，如随着办公形式的多样化，视频会议的应用越来越广泛，为了适应一些场景需要，人们在视频会议中经常采用虚拟背景的形式，这时需要将人物图像从原始图像中提取出来，与虚拟背景进行融合。
[0003]现有技术中，通常依据深度图中的深度信息进行目标的提取，但是由于深度图是根据激光反射来判断出距离大小，此时与背景颜色相近的物体，便无法在深度图上反应出来，即仅基于深度信息无法把这些物体抠出来，会造成抠图不完全、边界不清晰等很多问题，进而使得与虚拟背景融合效果差、图像失真严重、用户体验感差；且目前大部分精准的抠图方法均存在着计算量大、算力需求高，硬件资源占用率高的缺陷，在某些场景下，甚至会出现卡帧的情况。

技术实现思路

[0004]针对上述问题，本申请实施例提供了一种抠图方法、装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抠图方法，其特征在于，所述方法包括：获取并预处理含有抠图目标的深度图和彩色图，以使所述深度图和所述彩色图对齐；根据预设选通阈值范围，对所述彩色图进行前景提取，得到前景彩色图；利用目标识别模型，对所述彩色图进行目标识别，根据识别结果确定目标归属策略，并基于确定的目标归属策略，融合所述彩色图和所述深度图的像素信息，对所述前景彩色图进行处理，得到三色图；其中，所述目标归属策略包括第一归属策略和第二归属策略；基于Alpha图法，根据所述深度图和所述彩色图，对所述三色图进行处理，得到第二蒙版；根据所述第二蒙版对所述彩色图进行目标分割，得到抠图图像。2.根据权利要求1所述的方法，其特征在于，所述预设选通阈值范围为[第一选通阈值，第二选通阈值]；所述根据预设选通阈值范围，对所述彩色图进行前景提取，得到前景彩色图，包括：若所述深度图中一个像素点的深度值大于等于第一选通阈值且小于等于第二选通阈值，则保持所述彩色图中对应像素点的颜色值不变；否则，则将所述彩色图中对应像素点的深度值赋值为第一预设值；将更新后的彩色图作为所述前景彩色图。3.根据权利要求1所述的方法，其特征在于，所述目标识别模型为基于DNN神经网络形成的人脸识别模型；所述利用目标识别模型，对所述彩色图进行目标识别，并根据识别结果确定目标归属策略，包括：利用目标识别模型对所述彩色图中进行人脸识别，得到识别结果，在所述识别结果中包括至少一个识别框；判断所述识别框中是否存在人脸的至少部分，若是，则确定目标归属策略为所述第一归属策略；否则，则确定目标归属策略为所述第二归属策略。4.根据权利要求3所述的方法，其特征在于，所述目标归属策略为所述第一归属策略；所述基于确定的目标归属策略，融合所述彩色图和所述深度图的像素信息，对所述前景彩色图进行处理，得到三色图，包括：将所述前景彩色图中的至少一个识别框进行扩大；对于扩大后的识别框内的一个像素点，确定所述深度图中对应像素点的深度值是否缺失，若缺失，则确定该像素点的彩度总值所处的预设的彩度总值阈值范围，将该像素点归属于与所处的彩度总值阈值范围对应的部分，并对该像素点赋值为对应的预设值；若所述深度图中对应像素点的深度值不缺失，则确定所述深度图中对应像素点的深度值所处的预设的深度值阈值范围，将该像素点归属于与所处的深度值阈值范围对应的部分，并对该像素点赋值为对应的预设值；将更新后的前景彩色图作为三色图。5.根据权利要求3所述的方法，其特征在于，所述目标归属策略为所述第二归属策略；所述基于确定的目标归属策略，融合所述彩色图和所述深度图的像素信息，对所述前景彩色图进行处理，得到三色图，包括：基于第一核矩阵对第一蒙版进行膨胀处理，以扩大所述第一蒙版的前景部分；其中，所
述第一蒙版是基于预设选通阈值范围，根据所述深度图确定的；对于所述前景彩色图中与所述第一蒙版中扩大的部分对应的一个像素点，确定所述彩色图中对应该像素点的彩度总值所处的预设的彩度总值阈值范围，将该像素点归属于与所处的彩度总值阈值范围对应的部分，并对所述前景彩色值中该像素点赋值为对应的预设值；将更新后的前景彩色图作为三色图。6.根据权利要求3所述的方法，其特征在于，所述目标归属策略为所述第二归属策略；所述基于确定的目标归属策略，融合所述彩色图和所述深度图的像素信息，对所述前景彩色图进行处理，得到三色图，包括：获取上一帧的第二蒙版；确定所述上一帧的第二蒙版与当前帧的第一蒙版的差异部分，并对所述差异部分进行扩大处理，其中，所述第一蒙版是基于预设选通阈值范围，根据所述深度图确定的；对于所述前景彩色图中与扩大后的差异部分对应的一个像素点，确定所述深度图中对应像素点的深度值是否缺失，若缺失，则确定该像素点的彩度总值所处的预设的彩度总值阈值范围，将该像素点归属于与所处的彩度总值阈值范围对应的部分，并对该像素点赋值为对应的预设值；若所述深度图中对应像素点的深度值不缺失，则确定所述深度图中对应像素点的深度值所处的预设的深度值阈值范围，将该像素点归属于与所处的深度值阈值范围对应的部分，并对该像素点赋值为对应的预设值；将更新后的前景彩色图作为三色图。7.根据权利要求4或5或6所述的方法，其特征在于，所述确定该像素点的彩度总值所处的预设的彩度总值阈值范围，将该像素点归属于与所处的彩度总值阈值范围对应的部分，并将该像素点赋值为对应的预设值，包括：若确定该像素点的彩色值处于第一彩度总值阈值范围，则确定该像素点属于前景部分，并将该像素点赋值为第二预设值；若确定该像素点的彩色值处于第二彩度总值阈值范围，则确定该像素点属于模糊边界部分，并将该像素点赋值为第三预设值，其中所述第三预设值不等于所述第二预设值和第一预设值；若确定该像素点的彩色值处于第三彩度总值阈值范围，则确定该像素点属于背景部分，并将该像素点赋值为所述第一预设值。8.根据权利要求7所述的方法，其特征在于，所述第一彩度总值阈值范围为[0，第一彩度总值阈值）；所述第二彩度总值阈值范围...

【专利技术属性】
技术研发人员：秦禹康，张勇，陈瑾，
申请(专利权)人：珠海视熙科技有限公司，
类型：发明
国别省市：