视频会议中的背景修改制造技术

用于实时视频处理的方法和系统能用于视频会议以修改背景的图像质量。一种示例方法包括以下步骤：接收包括一系列图像的视频；识别一个或多个所述图像中的至少一个感兴趣的对象(例如面部)；检测所述至少一个感兴趣的对象的特征参考点；以及跟踪所述视频中的所述至少一个感兴趣的对象。所述跟踪可以包括将虚拟面部网格对准一个或多个所述图像中的所述至少一个感兴趣的对象。此外，通过基于所述虚拟面部网格从每个图像中分离出所述至少一个感兴趣的对象，识别所述图像中的背景。然后，通过模糊、改变分辨率、颜色或其它参数，修改每个所述图像中的背景。图像中的背景。图像中的背景。

【技术实现步骤摘要】
视频会议中的背景修改
[0001]本申请是申请号为201680028853.3的中国专利申请的分案申请，原申请的申请日为2016年03月18日，优先权日为2015年03月18日，进入中国国家阶段的日期为2017年11月17日，专利技术名称为“视频会议中的背景修改”。
[0002]优先权要求
[0003]本申请要求2016年1月4日提交的美国申请第14/987,514号的优先权，美国申请第14/987,514号是2015年3月18日提交的美国申请第14/661,367号的延续，它们中的每一者的全部内容通过引用并入本文。


[0004]本公开一般地涉及视频会议，并且更具体地，涉及用于基于识别和跟踪视频中的参与者来修改视频流中的场景背景的系统和方法。

技术介绍

[0005]如今，视频会议和视频电话呼叫是用于执行长距离双向视频和音频通信的流行工具。由于高速网络解决方案的出现、廉价的硬件组件和蜂窝网络的部署，这项技术已经迅速发展。通常，视频会议允许两个或更多个体使用多种软件应用(诸如，视频聊天应用)彼此进行通信，其中参与者能在交谈的同时看见彼此。视频聊天能够作为可下载软件应用或Web服务在通用计算机、移动设备和电视系统上使用。传统视频会议每一方的硬件要求包括：输入音频模块(例如，话筒)、输入视频模块(例如，摄像机)、输出音频模块(例如，扬声器)、输出视频模块(例如，显示器或投影机)、以及计算设备，所述计算设备将输入输出模块绑定在一起、压缩和解压缩音频和视频流、以及经由通信网络发起和保持数据链接。
[0006]尽管视频会议解决方案已经存在很多年了，但视频流仍会存在问题，特别是在拥塞网络的情况下。当特定网络中的服务质量(QoS)显著下降时，视频会议在及时传送视频方面遇到困难，这可能引起不希望的中断或音频和视频质量的显著劣化。因此，在本领域中仍然需要改进视频会议技术。

技术实现思路

[0007]通常，本公开涉及用于视频会议的技术，所述技术跟踪个体的面部，并且以比剩余视频图像更高的质量来传送具有与面部关联的图像部分的视频流。在各种实施例中，所述技术允许修改场景背景(例如，通过模糊)并且使与面部关联的前景保持初始质量。最终，因为经修改的视频具有更低的数据率，所以这导致视频会议所需的网络要求的降低。根据网络拥塞情况，此技术允许改进视频会议解决方案、降低视频流中的中断次数、并且防止视频流劣化。
[0008]根据所述技术的一个方面，提供一种用于实时视频处理的计算机实现的方法。所述方法可以包括：接收包含一系列图像的视频；识别一个或多个所述图像中的至少一个感兴趣的对象；检测所述至少一个感兴趣的对象的特征参考点；以及跟踪所述视频中的所述
至少一个感兴趣的对象。所述跟踪可以包括创建虚拟面部网格(本文为了简单，也称为“网格”)和/或基于所述特征参考点将所述网格对准一个或多个所述图像中的所述至少一个感兴趣的对象。此外，所述方法继续以便：通过基于所述网格从每个图像中分离出所述至少一个感兴趣的对象，识别一个或多个所述图像中的背景；修改每个所述图像中的背景以生成经修改的背景；以及生成包括所述至少一个感兴趣的对象和所述经修改的背景的经修改的视频。
[0009]在一些实施例中，在所述经修改的视频中，所述经修改的背景具有第一图像质量，并且在所述经修改的视频中，所述至少一个感兴趣的对象具有第二图像质量，其中所述第一图像质量低于所述第二图像质量。
[0010]在某些实施例中，识别所述背景的步骤可以包括选择不包括与所述网格关联的像素的图像部分。修改所述背景可以包括以下一个或多个步骤：模糊化；改变一个或多个背景颜色；改变背景分辨率；改变视频点密度；改变色调分离；以及改变所述背景的像素化。在一些实施例中，所述背景的修改可以包括用预定图像替换所述背景或所述背景的一部分。
[0011]在一些实施例中，所述至少一个感兴趣的对象包括至少个体的除人脸以外的部位。在其他实施中，所述至少一个感兴趣的对象包括人脸。
[0012]在某些实施例中，所述特征参考点能包括面部标记。在某些实施例中，所述特征参考点是至少一个指示以下项的点：眉毛竖直位置、眼睛竖直位置、眼睛宽度、眼睛高度、眼睛间距、鼻子竖直位置、鼻子向上、嘴竖直位置、嘴宽度、颏宽度、上唇提起、颌落下、嘴唇延伸、左眉降下、右眉降下、嘴角下撇、以及外侧眉毛提起。
[0013]根据附加实施例，所述方法可以进一步包括压缩所述背景的步骤。所述方法可以进一步包括通过通信网络传送所述经修改的视频的步骤。在其他实施例中，所述方法可以进一步包括接收用于对所述视频的所述背景进行模糊的请求的步骤。
[0014]在一些实施例中，所述方法可以进一步包括：监视与通信网络关联的QoS；以及基于所述监视，生成用于对所述视频的所述背景进行模糊的请求。在其它实施例中，所述方法可以进一步包括：动态地监视与通过通信网络传输所述视频相关联的网络参数；以及在所述网络参数低于预定阈值的情况下，生成用于对所述视频的所述背景进行模糊的请求，或者在所述网络参数高于所述预定阈值的情况下，生成用于传送未经模糊的所述视频的请求。所述网络参数可以包括比特率或网络带宽。
[0015]在某些实施例中，修改所述背景包括对所述背景进行渐进模糊，其中所述渐进模糊的程度取决于所述网络参数。在某些实施例中，识别所述至少一个感兴趣的对象的步骤可以包括对所述图像应用维奥拉
‑
琼斯(Viola
‑
Jones)算法。检测所述特征参考点的步骤可以包括对所述图像的与所述至少一个感兴趣的对象关联的区域应用主动形状模型(ASM)算法。
[0016]在某些实施例中，所述方法可以包括以下步骤：动态地确定与通信网络所关联的QoS相关的值；基于所述确定，在与所述服务质量关联的值在第一预定范围内的情况下，生成用于仅对所述视频的所述背景进行模糊的第一请求；在与所述QoS关联的值在第二预定范围内的情况下，生成用于对所述视频的所述背景和所述视频的不包括用户面部的其他部分进行模糊的第二请求；以及在与所述QoS关联的值在第三预定范围内的情况下，不生成用于对所述背景进行模糊的请求。此处，所述第一范围与所述第二范围和所述第三范围不同，
并且所述第二范围与所述第三范围和所述第一范围不同。
[0017]在更多的实施例中，识别所述背景的步骤可以包括：形成与所述至少一个感兴趣的对象关联的二元掩模；将所述二元掩模对准到每个图像上的所述网格；以及通过反转所述二元掩模创建经反转的二元掩模。形成所述二元掩模可以包括：确定每个所述图像中的多个图像段的灰度值强度，其中所述多个图像段与所述网格相关联；通过将每个所述图像段的灰度值强度与参考值相比较，确定与所述感兴趣的对象关联的目标像素；对所述目标像素应用二元形态闭合算法(binary morphological closing algorithm)；以及从所述网格中移除多余的像素集合体(conglomerate)。将所述二元掩模对准所述网格可以包括：将所述网格投影到参考栅格(refe本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于实时视频处理的计算机实现的方法，所述方法包括：接收包括一系列图像的视频；确定网络参数至少是预定阈值，所述网络参数对应于通过其传输所述视频的通信网络的比特率或带宽中的至少一个；确定所述视频的背景将要基于至少是所述预定阈值的所述网络参数而被模糊；使用选自维奥拉
‑
琼斯算法、Kanade
‑
Lucas
‑
Tomasi(KLT)算法或CAMShift算法中的至少一个的第一算法来确定包括在所述视频中的感兴趣的对象，其中所述感兴趣的对象是包括在所述视频中的个体的面部；使用选自主动形状模型算法、扩展主动形状模型算法、基于示例的图形匹配算法或一致示例算法中的至少一个的第二算法检测所述感兴趣的对象的特征参考点；通过如下步骤在所述一系列图像中的多个图像中跟踪所述感兴趣的对象的移动：使用包括参数化的面部网格算法的第三算法生成虚拟面部网格并将所述虚拟面部网格与所述感兴趣的对象对准，其中所述参数化的面部网格算法通过所述感兴趣的对象的形状单元，与所述感兴趣的对象对应的至少一个动作单元，所述感兴趣的对象的位置向量，以及所述形状单元的强度向量控制；以及通过将所述虚拟面部网格的顶点映射到由所述第二算法检测的所述特征参考点的加权组合来确定所述虚拟面部网格的形状单元和初始状态；通过如下步骤确定所述视频的背景：通过如下步骤形成二元掩码：确定对应于所述感兴趣的对象的多个像素的灰度值强度；通过将所述多个像素的单个像素的所述灰度值强度与所述特征参考点进行比较来确定所述感兴趣的对象的目标像素；对所述目标像素应用二元形态闭合算法；从所述虚拟面部网格中移除多余的像素集合体以生成经修改的虚拟面部网格；将所述二元掩模与所述一系列图像中的单个图像上的所述虚拟面部网格进行对准；以及通过反转所述二元掩模生成反转的二元掩模；修改所述图像中的每一个的背景以生成经修改的背景；以及生成包括所述经修改的背景和所述感兴趣的对象的经修改的视频。2.根据权利要求1所述的方法，其中所述经修改的背景在所述经修改的视频中具有第一图像质量，并且所述感兴趣的对象在所述经修改的视频中具有第二图像质量；以及其中所述第一图像质量低于所述第二图像质量。3.根据权利要求1所述的方法，其中识别所述背景包括选择不包括与所述虚拟面部网格关联的像素的图像部分。4.根据权利要求1所述的方法，其中修改所述背景包括改变一个或多个背景颜色。5.根据权利要求1所述的方法，其中修改所述背景包括改变背景分辨率。6.根据权利要求1所述的方法，其中修改所述背景包括改变视频点密度。7.根据权利要求1所述的方法，其中修改所述背景包括改变所述背景的色调分离或像素化。
8.根据权利要求1所述的方法，其中修改所述背景包括用预定图像替换所述背景。9.根据权利要求1所述的方法，其中所述感兴趣的对象包括至少个体的除人脸以外的部位。10.根据权利要求1所述的方法，其中所述感兴趣的对象包括人脸。11.根据权利要求1所述的方法，进一步包括通过通信网络传送所述经修改的视频。12.根据权利要求1所述的方法，进一步包括接收用于对所述视频的所述背景进行模糊的请求。13.根据权利要求1所述的方法，进一步包括：监视与通信网络关联的服务质量；以及基于所述监视，生成用于对所述视频的所述背景进行模糊的请求。14.根据权利要求1所述的方法，进一步包括：动态地监视所述网络参数；在所述网络参数低于预定阈值的情况下，生成用于对所述视频的所述背景进行模糊的请求；以及在所述网络参数高于所述预定阈值的情况下，生成用于传送未经模糊的所述视频的请求。15.根据权利要求1所述的方法，其中修改所述背景包括对所述背景进行渐进模糊，其中所述渐进模糊的程度取决于所述网络参数。16.根据权利要求1所述的方法，进一步包括：动态地确定与通信网络所关联的服务质量相关的值；基于所述确定，在与所述服务质量关联的值在第一预定范围内的情况下，生成用于仅对所述视频的所述背景进行模糊的第一请求；基于所述确定，在与所述服务质量关联的值在第二预定范围内的情况下，生成用于对所述视频的所述背景和所述视频的不包括用户面部的其他部分进行模糊的第二请求；以及基于所述确定，在与所述服务质量关联的值在第三预定范围内的情况下，不生成用于对所述背景进行模糊的请求；以及其中所述第一预定范围不同于所述第二预定范围和所述第三预定范围，并且其中所述第二预定范围不同于所述第三预定范围和所述第一预定范围。17.根据权利要求1所述的方法，其中将所述二元掩模对准所述虚拟面部网格包括：将所述虚拟面部网格投影到参考栅格，由此将所述虚拟面部网格分成多个参考栅格单元；将与参考栅格单元对应的虚拟面部网格元素相关联；以及确定每个所述图像的与所述虚拟面部网格元素对应的像素。18.根据权利要求1所述的方法，进一步包括：修改每个所述图像中与所述...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：