基于深度学习的视频会议背景虚化方法及系统技术方案

本申请涉及图像智能处理领域，具体公开了一种基于深度学习的视频会议背景虚化方法及系统，其首先对当前视频帧进行快速人像区域的初步定位，以满足实时处理的需求。随后，引入了一个独特的边缘细化与稳定机制：该机制并非独立处理每一帧，而是智能地利用前一帧已精细化处理的Alpha掩码作为重要参考，并结合当前帧的初步分割结果。通过结合图像语义理解能力和先验知识的图像边缘细化处理模块，对当前帧的人像掩码进行深度优化，最终生成一个边缘更清晰、细节更丰富且在时间上更加连贯的当前帧Alpha掩码，再利用这个掩码图生成当前帧背景虚化图像。

【技术实现步骤摘要】

本申请涉及图像智能处理领域，且更为具体地，涉及一种基于深度学习的视频会议背景虚化方法及系统。

技术介绍

1、随着远程办公和在线交流的普及，视频会议已成为日常生活和工作中不可或缺的一部分。在视频会议过程中，用户往往希望保护个人隐私、维持专业形象或减少背景环境对会议的干扰，因此背景虚化功能受到了广泛青睐。通过模糊用户身后的背景，可以将视觉焦点集中在发言者身上，有效提升视频会议的体验和专注度。传统的背景虚化方法通常依赖于特定的硬件设备，如深度摄像头或绿幕背景，这些设备在普通用户的日常使用场景中往往不具备，限制了其应用的广泛性。因此，开发一种基于普通摄像头、通过软件算法实现的背景虚化方案具有重要的现实意义和应用价值。

2、目前，已有一些基于深度学习的视频会议背景虚化方案，它们通常采用人像语义分割网络（例如基于u-net、deeplab等架构的模型）来识别视频帧中的人像区域，生成二值化的人像掩码（mask），然后依据此掩码对背景区域施加模糊处理。尽管这些方法在一定程度上能够实现背景虚化，但在实际应用中仍面临诸多挑战和缺陷。首先，现有方法在人像边缘区域的分本文档来自技高网...

【技术保护点】

1.基于深度学习的视频会议背景虚化方法，其特征在于，包括：

2.根据权利要求1所述的基于深度学习的视频会议背景虚化方法，其特征在于，对所述视频会议当前帧图像进行人像语义分割以得到视频会议当前帧人像粗分割掩码图像，包括：将所述视频会议当前帧图像通过基于MobileNet的人像语义分割模块以得到所述视频会议当前帧人像粗分割掩码图像。

3.根据权利要求2所述的基于深度学习的视频会议背景虚化方法，其特征在于，将所述视频会议当前帧人像粗分割掩码图像和所述前帧Alpha掩码图像通过基于先验信息的图像边缘细化处理模块以得到当前帧Alpha掩码图像，包括：p>

4.根据权...

【技术特征摘要】

1.基于深度学习的视频会议背景虚化方法，其特征在于，包括：

2.根据权利要求1所述的基于深度学习的视频会议背景虚化方法，其特征在于，对所述视频会议当前帧图像进行人像语义分割以得到视频会议当前帧人像粗分割掩码图像，包括：将所述视频会议当前帧图像通过基于mobilenet的人像语义分割模块以得到所述视频会议当前帧人像粗分割掩码图像。

3.根据权利要求2所述的基于深度学习的视频会议背景虚化方法，其特征在于，将所述视频会议当前帧人像粗分割掩码图像和所述前帧alpha掩码图像通过基于先验信息的图像边缘细化处理模块以得到当前帧alpha掩码图像，包括：

4.根据权利要求3所述的基于深度学习的视频会议背景虚化方法，其特征在于，从所述视频会议当前帧人像粗分割掩码图像中提取视频会议语义特征以得到视频会议前帧图像语义特征图，包括：将所述视频会议当前帧人像粗分割掩码图像通过基于深度可分离卷积神经网络模型的视频会议语义特征提取器以得到所述视频会议前帧图像语义特征图。

5.根据权利要求4所述的基于深度学习的视频会议背景虚化方法，其特征在于，从所述前帧alpha掩码图像中提取前帧alpha掩码图像语义特征以得到前帧alpha掩码语义特征向量，包括：将所述前帧alpha掩码图像通过基于vit模型的前帧alpha掩码图像语义特征提取器以得到所述前帧alpha掩码语义特征向量。

6.根据权利要求...

【专利技术属性】
技术研发人员：王金华，许立龙，龙凯，
申请(专利权)人：深圳市明日实业有限责任公司，
类型：发明
国别省市：