一种视频会议系统及其沉浸式布局方法和装置制造方法及图纸

本申请公开提供了一种视频会议系统及其沉浸式布局方法和装置，涉及视频会议技术领域，该方法主持终端接收绿幕融合图像，绿幕融合图像是参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，对绿幕融合图像进行绿幕抠像，获取每个参会终端的第二前景图和第二二值化灰度图；将主持端的前景图和Alpha图，以及每个参会终端的前景图和Alpha图按照当前会场布局图进行前景数据和预设背景数据的融合，生成并共享会场视觉图，解决了现有技术中由主持终端对所有参会终端的视频码流进行SEI解析得到压缩后的Alpha通道数据，再根据参会终端的Alpha进行沉浸式融合，开发时间长、耗费人力多且主持终端运行压力大的问题。题。题。

【技术实现步骤摘要】
一种视频会议系统及其沉浸式布局方法和装置


[0001]本专利技术涉及视频会议沉浸式布局
，具体涉及一种视频会议系统及其沉浸式布局方法和装置。

技术介绍

[0002]随着视频会议使用率不断提高，用户对于视频会议功能的需求越来越精细化和个性化，视频会议软件除了保障视频会议基础功能（如音频流畅、视频清晰）外，还需要满足一些如虚拟背景、沉浸式布局、控制道具、添加字幕以及直播问答模式等优化功能。
[0003]关于沉浸式布局的实现，相关技术中，由每个参会终端进行虚人像分割得到相应的Alpha通道，再由参会终端对Alpha进行压缩并塞进视频编码码流的SEI信息中向主持终端发送，由主持终端对收到的所有参会终端的视频码流进行SEI解析得到压缩后的Alpha通道数据，并根据参会终端的Alpha通道数据进行前景和背景的沉浸式融合，完成视频会议的沉浸式布局。
[0004]然而，视频引擎一般只支持3YUV通道，若想对于4通道的支持需要对视频引擎进行较大的改动，且Alpha进行压缩需要Huffman编码和Jpeg压缩，对计算机性能要求较高，个人用计算机一般无法快速高效的完成视频会议沉浸式布局功能供用户使用，大大影响了用户的体验。

技术实现思路

[0005]因此，本专利技术要解决的技术问题在于克服现有技术中由主持终端对所有参会终端的视频码流进行SEI解析得到压缩后的Alpha通道数据，并在根据参会终端的Alpha进行沉浸式融合，该方案开发时间长、耗费人力多且主持终端运行压力大的问题，从而提供一种视频会议系统及其沉浸式布局方法和装置。
[0006]为解决上述技术问题，本专利技术公开实施例至少提供一种视频会议系统及其沉浸式布局方法和装置。
[0007]第一方面，本专利技术公开实施例提供了一种视频会议中沉浸式布局方法，包括：获取主持终端摄像头采集的第一视频图像；对所述第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图；接收每个参会终端发送的绿幕融合图像，所述绿幕融合图像是所述参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，所述第二前景图和第二二值化灰度图是所述参会终端对第二视频图像进行人像抠图得到的，所述第二视频图像是所述参会终端摄像头采集的；对解码后的每个绿幕融合图像进行绿幕抠像，获取每个所述参会终端的所述第二前景图和所述第二二值化灰度图；将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融
合，生成会场视觉图；将所述会场视觉图进行本地渲染和视频编码后，向每个所述参会终端发送。
[0008]可选地，所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合为：通过公式I=alpha*F +(1
‑
alpha)*B，其中，alpha属于[0，1]，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，F表示第二前景图，B表示背景图，I表示融合后的图，alpha表示二值化灰度图，前景图alpha为1，背景alpha为0。
[0009]可选地，在所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合之前，所述方法还包括：基于用户选择的预设背景获取所述预设背景数据。
[0010]可选地，在所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合之前，所述方法还包括：获取所述当前会场布局图。
[0011]第二方面，本专利技术公开实施例还提供另一种视频会议中沉浸式布局方法，包括：获取参会终端摄像头采集的第二视频图像；对所述第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图；将所述第二前景图和所述第二二值化灰度图与绿幕进行融合得到绿幕融合图像；向主持终端发送所述绿幕融合图像，以便所述主持终端通过对解码后的所述绿幕融合图像进行绿幕抠像，来获取所述第二前景图和所述第二二值化灰度图；接收会场视觉图，所述会场视觉图是所述主持终端将第一前景图和第一二值化灰度图，以及每个参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合后生成的，所述第一前景图和所述第一二值化灰度图是所述主持终端对第一视频图像进行人像抠图得到的，所述第一视频图像是所述主持终端的摄像头采集的。
[0012]第三方面，本专利技术公开实施例还提供一种视频会议中沉浸式布局装置，包括：第一视频图像模块，用于获取主持终端摄像头采集的第一视频图像；第一人像抠图模块，用于对所述第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图；绿幕融合图像接收模块，用于接收每个参会终端发送的绿幕融合图像，所述绿幕融合图像是所述参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，所述第二前景图和第二二值化灰度图是所述参会终端对第二视频图像进行人像抠图得到的，所述第二视频图像是所述参会终端摄像头采集的；绿幕抠像模块，用于对解码后的每个绿幕融合图像进行绿幕抠像，获取每个所述参会终端的所述第二前景图和所述第二二值化灰度图；会场视觉融合模块，用于将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景
数据和预设背景数据的融合，生成会场视觉图；会场视觉图发送模块，用于将所述会场视觉图进行本地渲染和视频编码后，向每个所述参会终端发送。
[0013]第四方面，本专利技术公开实施例还提供另一种视频会议中沉浸式布局装置，包括：第二视频图像获取模块，用于获取参会终端摄像头采集的第二视频图像；第二人像抠图模块，用于对所述第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图；绿幕融合图像生成模块，用于将所述第二前景图和所述第二二值化灰度图与绿幕进行融合得到绿幕融合图像；绿幕融合图像发送模块，用于向主持终端发送所述绿幕融合图像，以便所述主持终端通过对解码后的所述绿幕融合图像进行绿幕抠像，来获取所述第二前景图和所述第二二值化灰度图；会场视觉图接收模块，用于接收会场视觉图，所述会场视觉图是所述主持终端将第一前景图和第一二值化灰度图，以及每个参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合后生成的，所述第一前景图和所述第一二值化灰度图是所述主持终端对第一视频图像进行人像抠图得到的，所述第一视频图像是所述主持终端的摄像头采集的。
[0014]第五方面，本专利技术公开实施例还提供一种视频会议系统，包括：至少一个参会终端，获取参会终端摄像头采集的第二视频图像，对所述第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图，将所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频会议中沉浸式布局方法，其特征在于，包括：获取主持终端摄像头采集的第一视频图像；对所述第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图；接收每个参会终端发送的绿幕融合图像，所述绿幕融合图像是所述参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，所述第二前景图和第二二值化灰度图是所述参会终端对第二视频图像进行人像抠图得到的，所述第二视频图像是所述参会终端摄像头采集的；对解码后的每个绿幕融合图像进行绿幕抠像，获取每个所述参会终端的所述第二前景图和所述第二二值化灰度图；将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图；将所述会场视觉图进行本地渲染和视频编码后，向每个所述参会终端发送。2.根据权利要求1所述的视频会议中沉浸式布局方法，其特征在于，所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合为：通过公式I=alpha*F +(1
‑
alpha)*B，其中，alpha属于[0，1]，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，F表示第二前景图，B表示背景图，I表示融合后的图，alpha表示二值化灰度图，前景图alpha为1，背景alpha为0。3.根据权利要求2所述的视频会议中沉浸式布局方法，其特征在于，在所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合之前，所述方法还包括：基于用户选择的预设背景获取所述预设背景数据。4.根据权利要求3所述的视频会议中沉浸式布局方法，其特征在于，在所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合之前，所述方法还包括：获取所述当前会场布局图。5.一种视频会议中沉浸式布局方法，其特征在于，包括：获取参会终端摄像头采集的第二视频图像；对所述第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图；将所述第二前景图和所述第二二值化灰度图与绿幕进行融合得到绿幕融合图像；向主持终端发送所述绿幕融合图像，以便所述主持终端通过对解码后的所述绿幕融合图像进行绿幕抠像，来获取所述第二前景图和所述第二二值化灰度图；接收会场视觉图，所述会场视觉图是所述主持终端将第一前景图和第一二值化灰度图，以及每个参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合后生成的，所述第一前景图和所述第一二值化灰度图是
所述主持终端对第一视频图像进行人像抠图得到的，所述第一视频图像是所述主持终端的摄像头采集的。6.一种视频会议中沉浸式布局装置，其特征在于，包括：第一视频图像模块，用于获取主持终端摄像头采集的第一视频图像；第一人像抠图模块，用于对所述第一视频图像进行人像抠...

【专利技术属性】
技术研发人员：程鹏宇，
申请(专利权)人：全时云商务服务股份有限公司，
类型：发明
国别省市：