【技术实现步骤摘要】
视频流的图像分割和修改
[0001]本申请是申请日为2016年11月29日、申请号为201680080497.X、专利技术名称为“视频流的图像分割和修改”的专利申请的分案申请。
[0002]优先权的要求
[0003]本申请要求于2015年11月30日提交的题为“视频流的图像分割和修改(IMAGE SEGMENTATION AND MODIFICATION OF A VIDEO STREAM)”的美国专利申请序列号14/953,726的优先权的权益，在此要求其每一个优先权的权益，并且其中的每一个申请通过引用整体并入本文。
[0004]本公开的实施例一般涉及视频流的自动图像分割。更具体地但非限制性地，本公开涉及用于在视频流中描绘的面部内对所识别的关注区域进行图像分割的系统和方法。
技术介绍
[0005]电信应用和装置可以使用诸如文本、图像、声音记录和/或视频记录的各种媒体来提供多个用户之间的通信。例如，视频会议允许两个以上的个人使用软件应用、电信装置和电信网络的组合相互通信。电信装置还可以记录视频流以发送横跨电信网络的消息。
附图说明
[0006]附图中的各种附图仅示出了本公开的示例实施例，并且不应被视为限制其范围。
[0007]图1是示出根据一些示例实施例的联网系统的框图。
[0008]图2是示出根据一些示例实施例的图像分割系统的图。
[0009]图3是示出根据一些示例实施例的用于在视频流内分割图像以及基于分割来修改视频流的部分的示例方法的流程图。>[0010]图4示出根据一些示例实施例的视频流的一个或多个图像内的关注区域。
[0011]图5示出根据一些示例实施例的关注区域的二值化图像。
[0012]图6是示出根据一些示例实施例的用于在视频流内分割图像以及基于分割来修改视频流的部分的示例方法的流程图。
[0013]图7示出根据一些示例实施例的具有噪声像素的关注区域的二值化图像。
[0014]图8是示出根据一些示例实施例的用于跟踪和修改视频流中的关注对象的示例方法的流程图。
[0015]图9示出根据一些示例实施例的关注区域内的一组标记像素。
[0016]图10是根据一些示例实施例的描绘示例移动装置和移动操作系统界面的用户界面图。
[0017]图11是示出根据一些示例实施例的可以安装在机器上的软件架构的示例的框图。
[0018]图12是根据示例实施例的呈现计算机系统形式的机器的图形表示的框图，在该计算机系统内可以执行一组指令以使机器执行在此讨论的任何方法。
[0019]在此提供的标题仅仅是为了方便，并不是必须影响所用术语的范围或含义。
具体实施方式
[0020]以下描述包括说明本公开的实施例的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，为了解释的目的，阐述了许多具体细节以便提供对本专利技术主题内容的各种实施例的理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本专利技术主题内容的实施例。通常，众所周知的指令实例、协议、结构和技术不必详细示出。
[0021]尽管存在电信应用和装置以提供两个装置之间的双向视频通信，但是可能存在视频流的问题，诸如在通信会话期间修改视频流内的图像。通常被接受用于编辑或修改视频的方法会在视频被采集或进行视频通信时修改视频或视频通信。因此，本领域仍然需要改进装置之间的视频通信。
[0022]本公开的实施例一般涉及视频流的自动图像分割。一些实施例涉及在视频流中描绘的面部内的识别的关注区域的图像分割。例如，在一个实施例中，在装置上运行的应用接收由装置采集的视频。由装置采集的视频是诸如在移动装置之间的视频会议或视频聊天的视频流。应用识别视频流内的嘴部和嘴部内的暴露牙齿。应用横跨视频流跟踪暴露的牙齿。在从装置的相机接收视频流并将视频流发送到另一移动装置时，当牙齿在视频流中可见时，应用修改视频流中的暴露牙齿。应用通过美白牙齿来修改牙齿。从运行应用的移动装置接收流式传输的视频会议的移动装置显示视频聊天上的人的牙齿变白。应用还可以将牙齿的颜色改变为任何所需的颜色，在颜色之间转动，并显示多种颜色。
[0023]以上是一个具体示例。本公开的各种实施例涉及装置和由装置的一个或多个处理器执行的指令，以在采集视频流(例如，实时修改视频流)的同时修改由装置发送到另一装置的视频流。描述了一种图像分割系统，其识别并跟踪横跨视频流并通过包括视频流的一组图像的关注对象。在各种示例实施例中，图像分割系统识别并跟踪在视频流中描绘的一个或多个面部特征。尽管针对面部特征进行了描述，但应该理解，如下所讨论，图像分割系统可以跟踪任何关注的对象。
[0024]图像分割系统从成像装置接收视频流并识别视频流的图像内的关注对象的大致位置。识别在关注的对象周围的关注区域。在一些实施例中，在视频流的一部分中包含关注对象的图像被剪裁，以去除关注区域外的图像数据。图像分割系统可对关注区域执行一个或多个图像处理操作以增加对比度，以及操纵像素值以识别关注区域内的关注对象，并将关注对象与关注区域的其它对象、形状、纹理或其它特征隔离。一旦针对关注对象识别了特定像素，则图像分割系统可横跨视频流的其它部分跟踪关注对象的像素。在一些实施例中，图像分割系统通过参考图像内的其它点识别关注对象的像素的相对位置并跟踪与关注对象的位置对应的像素来修改视频流内的关注对象的值。图像分割系统可以通过修改表示关注对象的像素的颜色值来修改视频流内的关注对象的外观。在一些情况下，图像分割系统生成图像层，将图像层覆盖在视频流内的图像上，以便修改关注对象的外观。
[0025]图1是根据一个实施例描绘的具有被配置用于通过网络交换数据的客户端
‑
服务器架构的网络系统100的网络图。例如，网络系统100可以是其中客户端在网络系统100内通信和交换数据的消息系统。该数据可以涉及与网络系统100及其用户相关联的各种功能(例
如，发送和接收文本和媒体通信，确定地理位置等)和方面(例如，传送通信数据，接收和发送通信会话的指示等)。尽管在此被示为客户端
‑
服务器架构，但是其它实施例可以包括其它网络架构，诸如对等或分布式网络环境。
[0026]如图1中所示，网络系统100包括社交消息传送系统130。社交消息传送系统130通常基于三层架构，其由接口层124、应用逻辑层126和数据层128组成。如由相关计算机和互联网相关技术的技术人员所理解的，图1中所示的每个模块或引擎表示一组可执行软件指令，以及用于执行指令的对应的硬件(例如，存储器和处理器)，形成硬件实现的模块或引擎，并且在执行指令时作为被配置为执行一组特定功能的专用机器。为了避免以不必要的细节模糊本专利技术的主题内容，从图1中省略了与传递本专利技术主题内容的理解无关的各种功能模块和引擎。当然，附加的功能模块和引擎可以与社交消息传送系统一起使用，以便于实现没有在此具体描述的附加功能，诸如图1中所示。此外，图1中描绘的各种功本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于操纵视频流的部分的计算机实现的方法，包括：由客户端装置确定在视频流内的嘴部的大致位置，所述视频流包括面部并包括第一组图像和第二组图像；由所述客户端装置识别关注区域，所述关注区域包括所述第一组图像中的一个或多个图像内的多个像素，所述关注区域是所述一个或多个图像中包围所述嘴部的所述大致位置的部分；由所述客户端装置通过执行包括以下的操作来生成二值化矩阵：对于所述关注区域内的所述多个像素中的每个像素：取得与所述像素相关联的一组颜色值；通过比较所述一组颜色值中的第一部分的第一值与所述一组颜色值中的第二部分的第二值，确定所述像素的二进制值；在所述二值化矩阵中存储所述像素的所述二进制值；使用所述二值化矩阵修改所述关注区域内的所述多个像素中的每个像素，以创建二值化关注区域；由所述客户端装置识别在所述二值化关注区域中的所述嘴部内可见的一组牙齿；由所述客户端装置识别在所述二值化关注区域内的第一组像素和第二组像素，并将所述第一组像素的至少一部分添加为所述面部的二进制掩码内的一组界标点，所述第一组像素对应于所述嘴部内的所述组牙齿；以及当所述组牙齿在所述第二组图像内可见时，由所述客户端装置修改所述视频流的所述第二组图像内的所述第一组像素的颜色值。2.根据权利要求1所述的方法，进一步包括：将所述关注区域内的所述多个像素转换为依照灰度的值，以生成灰度关注区域，所述多个像素通过以下转换为灰度：对于每个像素，通过将固定的强度值乘以所述像素的颜色饱和度值的三元组的商生成灰度值。3.根据权利要求2所述的方法，其中，所述灰度关注区域内的所述像素包括所述灰度内的直方图值，并且所述方法进一步包括：均衡所述灰度关注区域内的所述直方图值，以生成均衡的关注区域。4.根据权利要求3所述的方法，进一步包括：对所述均衡的关注区域进行阈值化以生成二值化关注区域，所述二值化关注区域内的所述第一组像素具有第一值，并且所述二值化关注区域内的所述第二组像素具有与所述第一值不同的第二值。5.根据权利要求4所述的方法，其中，所述第二组像素包括由具有所述第一值的一个或多个像素中断的多个片段，并且生成所述二值化关注区域进一步包括：识别具有所述第一值的一个或多个像素，位于具有所述第二值的所述多个片段中的两个以上片段之间；以及采用所述第二值替换所识别的一个或多个像素的所述第一值。6.根据权利要求4所述的方法，进一步包括：确定所述第一组像素具有大于预定阈值的值；以及在所述视频流的所述第二组图像内标记所述第一组像素，以生成一组标记像素。
7.根据权利要求5所述的方法，其中，在所述第二组图像内标记所述第一组像素进一步包括：识别所述第一组像素相对于所述第一组图像内描绘的面部的一个或多个界标的位置；以及识别所述第一组图像内的所述第一组像素的所述颜色值。8.根据权利要求5所述的方法，其中，修改所述第二组图像内的所述第一组像素的所述颜色值进一步包括：跟踪横跨所述视频流的所述第二组图像的所述一组标记像素；以及当所述颜色值被呈现接近所述标记像素时，修改所述第一组像素的所述颜色值。9.一种用于操纵视频流的部分的系统，包括：一个或多个处理器；以及非暂时性机器可读存储介质，其存储处理器可执行指令，所述处理器可执行指令在由机器的处理器执行时使所述机器执行包括以下的操作：由客户端装置确定在视频流内的嘴部的大致位置，所述视频流包括面部并包括第一组图像和第二组图像；由所述客户端装置识别关注区域，所述关注区域包括所述第一组图像中的一个或多个图像内的多个像素，所述关注区域是所述一个或多个图像中包围所述嘴部的所述大致位置的部分；由所述客户端装置通过执行包括以下的操作来生成二值化矩阵：对于所述关注区域内的所述多个像素中的每个像素：取得与所述像素相关联的一组颜色值；通过比较所述一组颜色值中的第一部分的第一值与所述一组颜色值中的第二部分的第二值，确定所述像素的二进制值；在所述二值化矩阵中存储所述像素的相关联的二进制值；使用所述二值化矩阵修改所述关注区域内的所述多个像素中的每个像素，以创建二值化关注区域；由所述客户端装置识别在所述二值化关注区域中的所述嘴部内可见的一组牙齿；由所述客户端装置识别在所述二值化关注区域内的第一组像素和第二组像素，并将所述第一组像素的至少一部分添加为所述面...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。