视频流的图像分割和修改制造技术

呈现了系统、装置、媒体和方法，用于将客户端装置的视频流的图像分割，识别关注区域，在一个或多个图像内生成修改的关注区域，识别第一组像素和第二组像素，以及修改第一组像素的颜色值。

【技术实现步骤摘要】
【国外来华专利技术】视频流的图像分割和修改优先权的要求本申请要求于2015年11月30日提交的题为“视频流的图像分割和修改(IMAGESEGMENTATIONANDMODIFICATIONOFAVIDEOSTREAM)”的美国专利申请序列号14/953,726的优先权的权益，在此要求其每一个优先权的权益，并且其中的每一个申请通过引用整体并入本文。
本公开的实施例一般涉及视频流的自动图像分割。更具体地但非限制性地，本公开涉及用于在视频流中描绘的面部内对所识别的关注区域进行图像分割的系统和方法。
技术介绍
电信应用和装置可以使用诸如文本、图像、声音记录和/或视频记录的各种媒体来提供多个用户之间的通信。例如，视频会议允许两个以上的个人使用软件应用、电信装置和电信网络的组合相互通信。电信装置还可以记录视频流以发送横跨电信网络的消息。附图说明附图中的各种附图仅示出了本公开的示例实施例，并且不应被视为限制其范围。图1是示出根据一些示例实施例的联网系统的框图。图2是示出根据一些示例实施例的图像分割系统的图。图3是示出根据一些示例实施例的用于在视频流内分割图像以及基于分割来修改视频流的部分的示例方法的流程图。图4示出根据一些示例实施例的视频流的一个或多个图像内的关注区域。图5示出根据一些示例实施例的关注区域的二值化图像。图6是示出根据一些示例实施例的用于在视频流内分割图像以及基于分割来修改视频流的部分的示例方法的流程图。图7示出根据一些示例实施例的具有噪声像素的关注区域的二值化图像。图8是示出根据一些示例实施例的用于跟踪和修改视频流中的关注对象的示例方法的流程图。图9示出根据一些示例实施例的关注区域内的一组标记像素。图10是根据一些示例实施例的描绘示例移动装置和移动操作系统界面的用户界面图。图11是示出根据一些示例实施例的可以安装在机器上的软件架构的示例的框图。图12是根据示例实施例的呈现计算机系统形式的机器的图形表示的框图，在该计算机系统内可以执行一组指令以使机器执行在此讨论的任何方法。在此提供的标题仅仅是为了方便，并不是必须影响所用术语的范围或含义。具体实施方式以下描述包括说明本公开的实施例的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，为了解释的目的，阐述了许多具体细节以便提供对本专利技术主题内容的各种实施例的理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本专利技术主题内容的实施例。通常，众所周知的指令实例、协议、结构和技术不必详细示出。尽管存在电信应用和装置以提供两个装置之间的双向视频通信，但是可能存在视频流的问题，诸如在通信会话期间修改视频流内的图像。通常被接受用于编辑或修改视频的方法会在视频被采集或进行视频通信时修改视频或视频通信。因此，本领域仍然需要改进装置之间的视频通信。本公开的实施例一般涉及视频流的自动图像分割。一些实施例涉及在视频流中描绘的面部内的识别的关注区域的图像分割。例如，在一个实施例中，在装置上运行的应用接收由装置采集的视频。由装置采集的视频是诸如在移动装置之间的视频会议或视频聊天的视频流。应用识别视频流内的嘴部和嘴部内的暴露牙齿。应用横跨视频流跟踪暴露的牙齿。在从装置的相机接收视频流并将视频流发送到另一移动装置时，当牙齿在视频流中可见时，应用修改视频流中的暴露牙齿。应用通过美白牙齿来修改牙齿。从运行应用的移动装置接收流式传输的视频会议的移动装置显示视频聊天上的人的牙齿变白。应用还可以将牙齿的颜色改变为任何所需的颜色，在颜色之间转动，并显示多种颜色。以上是一个具体示例。本公开的各种实施例涉及装置和由装置的一个或多个处理器执行的指令，以在采集视频流(例如，实时修改视频流)的同时修改由装置发送到另一装置的视频流。描述了一种图像分割系统，其识别并跟踪横跨视频流并通过包括视频流的一组图像的关注对象。在各种示例实施例中，图像分割系统识别并跟踪在视频流中描绘的一个或多个面部特征。尽管针对面部特征进行了描述，但应该理解，如下所讨论，图像分割系统可以跟踪任何关注的对象。图像分割系统从成像装置接收视频流并识别视频流的图像内的关注对象的大致位置。识别在关注的对象周围的关注区域。在一些实施例中，在视频流的一部分中包含关注对象的图像被剪裁，以去除关注区域外的图像数据。图像分割系统可对关注区域执行一个或多个图像处理操作以增加对比度，以及操纵像素值以识别关注区域内的关注对象，并将关注对象与关注区域的其它对象、形状、纹理或其它特征隔离。一旦针对关注对象识别了特定像素，则图像分割系统可横跨视频流的其它部分跟踪关注对象的像素。在一些实施例中，图像分割系统通过参考图像内的其它点识别关注对象的像素的相对位置并跟踪与关注对象的位置对应的像素来修改视频流内的关注对象的值。图像分割系统可以通过修改表示关注对象的像素的颜色值来修改视频流内的关注对象的外观。在一些情况下，图像分割系统生成图像层，将图像层覆盖在视频流内的图像上，以便修改关注对象的外观。图1是根据一个实施例描绘的具有被配置用于通过网络交换数据的客户端-服务器架构的网络系统100的网络图。例如，网络系统100可以是其中客户端在网络系统100内通信和交换数据的消息系统。该数据可以涉及与网络系统100及其用户相关联的各种功能(例如，发送和接收文本和媒体通信，确定地理位置等)和方面(例如，传送通信数据，接收和发送通信会话的指示等)。尽管在此被示为客户端-服务器架构，但是其它实施例可以包括其它网络架构，诸如对等或分布式网络环境。如图1中所示，网络系统100包括社交消息传送系统130。社交消息传送系统130通常基于三层架构，其由接口层124、应用逻辑层126和数据层128组成。如由相关计算机和互联网相关技术的技术人员所理解的，图1中所示的每个模块或引擎表示一组可执行软件指令，以及用于执行指令的对应的硬件(例如，存储器和处理器)，形成硬件实现的模块或引擎，并且在执行指令时作为被配置为执行一组特定功能的专用机器。为了避免以不必要的细节模糊本专利技术的主题内容，从图1中省略了与传递本专利技术主题内容的理解无关的各种功能模块和引擎。当然，附加的功能模块和引擎可以与社交消息传送系统一起使用，以便于实现没有在此具体描述的附加功能，诸如图1中所示。此外，图1中描绘的各种功能模块和引擎可以驻留在单个服务器计算机或客户端装置上，或者可以以各种布置横跨多个服务器计算机或客户端装置分布。此外，尽管图1中将社交消息传送系统130描绘为三层架构，本专利技术主题并不限于这种架构。如图1中所示，接口层124由接口模块(例如网络服务器)140组成，该接口模块140接收来自各种客户端计算装置和服务器(诸如执行客户端应用112的客户端装置110和执行第三方应用122的第三方服务器120)的请求。响应于接收到的请求，接口模块140经由网络104向请求装置传送适当的响应。例如，接口模块140可以接收请求，诸如超文本传输协议(HTTP)请求，或者其它基于Web的应用程序编程接口(API)请求。客户端装置110可以执行传统网页浏览器应用或为特定平台开发以包括各种移动计算装置和移动专用操作系统中的任何一种(例如IOSTM、ANDROIDTM、PHONE)的应用(也称为“应用软件”)。此外，在一些示例实施本文档来自技高网...

【技术保护点】
1.一种用于操纵视频流的部分的计算机实现的方法，包括：使用客户端装置的一个或多个处理器，确定在包括第一组图像和第二组图像的视频流内的嘴部的大致位置；由所述客户端装置识别所述第一组图像的一个或多个图像内的关注区域，所述关注区域是包围所述嘴部的所述大致位置的所述一个或多个图像的一部分；由所述客户端装置生成修改的关注区域；由所述客户端装置识别在所述修改的关注区域内的第一组像素和第二组像素；以及由所述客户端装置修改在所述视频流的所述第二组图像内的所述第一组像素的颜色值。

【技术特征摘要】
【国外来华专利技术】2015.11.30 US 14/953,7261.一种用于操纵视频流的部分的计算机实现的方法，包括：使用客户端装置的一个或多个处理器，确定在包括第一组图像和第二组图像的视频流内的嘴部的大致位置；由所述客户端装置识别所述第一组图像的一个或多个图像内的关注区域，所述关注区域是包围所述嘴部的所述大致位置的所述一个或多个图像的一部分；由所述客户端装置生成修改的关注区域；由所述客户端装置识别在所述修改的关注区域内的第一组像素和第二组像素；以及由所述客户端装置修改在所述视频流的所述第二组图像内的所述第一组像素的颜色值。2.根据权利要求1所述的方法，进一步包括：裁剪在所述关注区域外的所述第一组图像的所述一个或多个图像的一个或多个部分。3.根据权利要求1所述的方法，其中，生成所述修改的关注区域进一步包括：将所述关注区域内的所述像素转换为依照灰度的值，以生成灰度关注区域。4.根据权利要求3所述的方法，其中，所述灰度关注区域内的所述像素包括所述灰度内的值的直方图，并且生成所述修改的关注区域进一步包括：均衡所述灰度关注区域内的直方图值，以生成均衡的关注区域。5.根据权利要求4所述的方法，其中，生成所述修改的关注区域进一步包括：对所述均衡的关注区域进行阈值化以生成二值化关注区域，所述二值化关注区域内的所述第一组像素具有第一值，并且所述二值化关注区域内的所述第二组像素具有与所述第一值不同的第二值。6.根据权利要求5所述的方法，其中，所述第二组像素包括由具有所述第一值的一个或多个像素中断的多个片段，并且生成所述二值化关注区域进一步包括：识别具有所述第一值的一个或多个像素，位于具有所述第二值的所述多个片段中的两个以上片段之间；以及采用所述第二值替换所识别的一个或多个像素的所述第一值。7.根据权利要求5所述的方法，其中，识别所述修改的关注区域内的第一组像素和第二组像素进一步包括：确定所述第一组像素具有大于预定阈值的值；以及标记所述视频流的所述第二组图像内的所述第一组像素，以生成一组标记像素。8.根据权利要求7所述的方法，其中，标记所述第二组图像内的所述第一组像素进一步包括：识别所述第一组像素相对于所述第一组图像内描绘的面部的一个或多个界标的位置；以及识别所述第一组图像内的所述第一组像素的所述颜色值。9.根据权利要求7所述的方法，其中，修改所述第二组图像内的所述第一组像素的所述颜色值进一步包括：跟踪横跨所述视频流的所述第二组图像的所述一组标记像素；以及当所述颜色值被呈现接近所述标记像素，修改所述第一组像素的所述颜色值。10.一种系统，用于操纵视频流的部分，包括：一个或多个处理器；以及承载处理器可执行指令的机器可读存储介质，所述处理器可执行指令在由机器的处理器执行时使所述机器执行包括以下的操作：确定包括第一组图像和第二组图像的视频流内的嘴部的大致位置；识别所述第一组图像的一个或多个图像内的关注区域，所述关注区域是包围所述嘴部的所述大致位置的所述一个或多个图像的一部分；生成修改的关注区域；识别所述修改的关注区域内的第一组像素和第二组像素；以及修改所述视频流的所述第二组图像内的所述第一组像素的颜色值。11.根据权利要求10所述的系统，其...

【专利技术属性】
技术研发人员：I·库德里亚绍夫，F·波利亚科夫，M·古萨罗夫，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：美国,US