视频流的实时绘制制造技术

提供了用于在视频流的帧内实时地生成图形表示的系统、装置、介质和方法。系统和方法接收描绘面部的部分的帧，识别用户输入，识别与用户输入对应的面部的部分上的位置。系统和方法生成链接到面部的部分上的位置的用户输入的图形表示，以及在视频流的帧内实时地渲染图形表示。形表示。形表示。

【技术实现步骤摘要】
视频流的实时绘制
[0001]本申请是申请日为2017年7月18日、申请号为201780056702.3、专利技术名称为“视频流的实时绘制”的专利申请的分案申请。
[0002]优先权要求
[0003]本申请要求于2016年7月18日提交的美国专利申请序列号15/213,186的优先权，其中每个申请的优先权的权益均在此要求保护，并且每个申请通过引用整体并入在此。


[0004]本公开的实施例一般涉及图像的自动处理。更具体地，但不作为限制，本公开提出了用于实时生成视频流内的用户输入的持久图形表示的系统和方法。

技术介绍

[0005]电信应用和装置可以使用各种媒体(诸如文本、图像、声音记录和/或视频记录)来提供多个用户之间的通信。例如，视频会议允许两个或更多个人使用软件应用、电信装置和电信网络的组合彼此通信。电信装置还可以记录视频流以在电信网络中作为消息进行发送。
[0006]虽然存在用于在两个装置之间提供双向视频通信的电信应用和装置，但是视频流可能存在问题，诸如在通信会话未决期间修改视频流内的图像。电信装置使用装置的物理操纵来执行操作。例如，通常通过改变装置的取向或操纵输入装置(诸如触摸屏)来操作装置。因此，本领域仍然需要改进装置之间的视频通信并在采集视频流的同时实时修改视频流。
附图说明
[0007]附图中的各个附图仅示出了本公开的示例实施例，并且不应被视为限制其范围。
[0008]图1是示出根据一些示例实施例的联网系统的框图。
[0009]图2是示出根据一些示例实施例的绘制系统的图。
[0010]图3是示出根据一些示例实施例的用于在视频流被采集并呈现在客户端装置的显示装置上的同时在视频流的一个或多个帧内的面部上生成图形表示的示例方法的流程图。
[0011]图4是示出根据一些示例实施例的用于在视频流被采集并呈现在客户端装置的显示装置上的同时在视频流的一个或多个帧内的面部上生成图形表示的示例方法的流程图。
[0012]图5是示出根据一些示例实施例的用于在视频流被采集并呈现在客户端装置的显示装置上的同时在视频流的一个或多个帧内的面部上生成图形表示的示例方法的流程图。
[0013]图6是示出根据一些示例实施例的用于在视频流被采集并呈现在客户端装置的显示装置上的同时在视频流的一个或多个帧内的面部上生成图形表示的示例方法的流程图。
[0014]图7是示出根据一些示例实施例的用于在视频流被采集并呈现在客户端装置的显示装置上的同时在视频流的一个或多个帧内的面部上生成图形表示的示例方法的流程图。
[0015]图8是示出根据一些示例实施例的用于在视频流被采集并呈现在客户端装置的显
示装置上的同时在视频流的一个或多个帧内的面部上生成图形表示的示例方法的流程图。
[0016]图9是描绘根据一些示例实施例的示例移动装置和移动操作系统界面的用户界面图。
[0017]图10是示出根据一些示例实施例的可以安装在机器上的软件架构的示例的框图。
[0018]图11是呈现根据示例实施例的计算机系统形式的机器的图形表示的框图，在计算机系统内可执行一组指令以使机器执行在此所讨论的任何方法。
[0019]在此提供的标题仅仅是为了方便，并不必须影响所用术语的范围或含义。
具体实施方式
[0020]以下描述包括说明本公开的实施例的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本专利技术主题的各种实施例的理解。然而，对于本领域技术人员显而易见的是，也可以在没有这些具体细节的情况下实践本专利技术主题的实施例。通常，公知的指令实例、协议、结构和技术不必详细示出。
[0021]描述了一种绘制系统，绘制系统通过视频流内的一组帧来识别和跟踪跨越视频流的关注对象。在各种示例实施例中，绘制系统识别和跟踪面部界标、用户输入、以及面部上的界标或点与用户输入之间的相对纵横比(aspect ratio)。绘制系统使用户能够选择颜色、形状、线条和用户输入的其它图形表示，以在视频流被图像采集装置采集的同时实时地在视频流的帧内进行绘制。绘制可能在面部或其它关注对象上。绘制系统能够修改视频流以结合绘制来突出或以其它方式改变视频流的外观。例如，绘制系统可降低视频流的颜色、阴影、饱和度或亮度，并且在绘制的图形表示中呈现未修改的颜色，使得绘制的部分呈现霓虹色(neon)、闪光或任何其它合适的颜色对比度。例如，在体育赛事处的装置用户可以使用界面在由装置生成的视频流中出现的运动员的脸颊上绘制队标或运动员号码。然后，绘制系统将在运动员在视频流内移动时以及视频流被传送到另一装置或其它装置时跟踪运动员并保持在运动员的脸颊上的绘画。在一些情况下，体育赛事处的装置用户可以在屏幕的靠近运动员面部的一部分上(诸如在运动员头部正上方的空中)绘制队标或运动员号码。然后绘制系统将跟踪球员并保持在球员头部上方的空中的绘画。
[0022]以上是一个具体示例。本公开的各种实施例涉及装置和装置的一个或多个处理器的指令，以在采集视频流时修改由装置发送到另一装置的图像或视频流(例如，实时修改视频流)。描述了一种绘制系统，绘制系统在图像内或视频流中以及通过包括视频流的一组图像识别并跟踪关注对象和区域。在各种示例实施例中，绘制系统识别并跟踪视频流中或图像内描绘的一个或多个面部特征，并执行关于一个或多个面部特征以及两个或更多个面部特征之间的相互关系的图像识别、面部识别以及面部处理功能。
[0023]图1是描绘根据一个实施例的网络系统100的网络图，网络系统100具有被配置用于通过网络交换数据的客户端
‑
服务器架构。例如，网络系统100可以是消息传递系统，其中客户端在网络系统100内传送和交换数据。数据可涉及各种功能(例如，发送和接收文本和媒体通信，确定地理位置等)和与网络系统100及其用户相关联的方面(例如，传送通信数据，接收和发送通信会话的指示等)。虽然在此示出为客户端
‑
服务器架构，但是其它实施例可以包括其它网络架构，诸如对等或分布式网络环境。
[0024]如图1中所示，网络系统100包括社交消息传递系统130。社交消息传递系统130通
常基于三层架构，包括接口层124、应用逻辑层126和数据层128。如相关计算机和因特网相关领域的技术人员所理解的，图1中所示的每个组件或引擎表示一组可执行软件指令和用于执行指令的相应硬件(例如，存储器和处理器)，形成硬件实现的组件或引擎，并且在执行指令时用作配置为执行一组特定功能的专用机器。为了避免不必要的细节模糊本专利技术的主题，从图1中省略了与传达对本专利技术主题的理解没有密切关系的各种功能组件和引擎。当然，附加的功能组件和引擎可以与社交消息传递系统(诸如图1中所示的社交消息传递系统)一起使用，以便于实现在此未具体描述的附加功能。此外，图1中描绘的各种功能组件和引擎可以驻留在单个服务器计算机或客户端装置上，或者可以以各种布置横跨若干服务器计算机或客户端装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：通过一个或多个处理器接收描绘对象的视频流；从用户接收选择定时机制的输入，所述定时机制限定何时渲染图形表示，由所述输入选择的所述定时机制包括用于呈现所述图形表示的时间间隔；确定所述输入从所述对象向外延伸；以及基于所述定时机制并且响应于确定所述输入从所述对象向外延伸，在所述视频流的一个或多个帧内相对于所述对象而渲染所述图形表示，所述图形表示在所述视频流的一个或多个帧内在透明图形平面上从所述对象向外延伸。2.根据权利要求1所述的方法，其中，所述输入是在所述视频流的多个帧的顺序呈现期间被接收的，其中，所述定时机制包括用于呈现所述图形表示的设定时间段，并且其中，所述对象包括面部的至少一部分，所述方法还包括：识别与所述输入对应的所述面部的所述部分上的一个或多个位置；将所述输入链接到所述面部的所述部分上的所述一个或多个位置；生成所述输入的所述图形表示，所述输入的所述图形表示链接到所述面部的所述部分上的所述一个或多个位置；以及响应于检测到事件并基于所述定时机制，在所述视频流的一个或多个后续帧内在所述面部的所述部分上渲染所述图形表示，所述图形表示在所述面部的所述部分上呈现在所述一个或多个位置处。3.根据权利要求1所述的方法，其中，接收所述输入包括：确定在所述视频流的帧中所述对象到图像采集装置的第一相对距离；基于所述对象的所述第一相对距离确定所述图形表示的尺寸特征；以及基于所述对象在所述视频流的后续帧中从所述第一相对距离移动到第二相对距离来缩放所述图形表示的所述尺寸特征。4.根据权利要求3所述的方法，其中，缩放所述图形表示的所述尺寸特征还包括：识别在所述第一相对距离处所述图形表示的第一线条宽度；确定所述图形表示上的至少一个点和所述对象上描绘的两个或更多个界标的第一相对位置；确定在所述第二相对距离处的所述两个或更多个界标之间的距离的变化；以及基于所述两个或更多个界标之间的距离的变化来修改所述图形表示的所述第一线条宽度，以生成所述图形表示的第二线条宽度。5.根据权利要求1所述的方法，还包括：生成位于所述对象的前面的图形平面；将所述图形平面上的一个或多个点连接到所述对象上描绘的一个或多个界标；以及跟踪所述一个或多个界标的移动并且将所述一个或多个界标的所述移动与所述图形平面的移动相匹配。6.根据权利要求5所述的方法，其中，所述图形平面被设定轮廓以使得链接到所述图形平面上的坐标的图形表示包括相对于所述对象的两个或更多个三维位置。7.根据权利要求5所述的方法，其中，所述图形平面具有关于所述图形平面分布的一组坐标，并且还包括：
确定所述一组坐标中对应于所述输入的位置的一个或多个坐标；以及将所述输入链接到所述透明图形平面上的所述一个或多个坐标。8.根据权利要求7所述的方法，其中，所述透明图形平面是位于相对于所述对象的第一三维位置处的第一图形平面，并且所述图形表示是第一图形表示，并且还包括：生成相对于所述对象的第二三维位置处的第二图形平面；确定位于所述视频流的帧内的第二输入；将所述第二输入链接到所述第二图形平面上的一个或多个坐标；生成在所述第二图形平面上的所述一个或多个坐标处的所述第二输入的第二图形表示；以及在所述第一图形平面上渲染所述第一图形表示，并且在所述第二图形平面上渲染所述第二图形表示。9.根据权利要求1所述的方法，还包括通过以下方式跟踪所述对象上的一个或多个位置以将所述图形表示渲染为持久的图形表示：在第一后续帧内的第一定位处识别所述第一后续帧中所述对象上的所述一个或多个位置；在所述第一定位处的所述对象上的所述一个或多个位置处渲染所述图形表示；在所述第二后续帧内的第二定位处识别所述对象上的所述一个或多个位置；以及在所述第二定位处的所述对象上的所述一个或多个位置处渲染所述图形表示。10.根据权利要求1所述的方法，还包括：将所述图形表示存储在处理器可读存储装置中；响应于启动应用，在新视频流内检测所述对象；以及响应于在所述新视频流内检测到所述对象，在所述新视频流的一组帧内渲染所述图形表示。11.根据权利要求1所述的方法，其中，被配置为对触摸的压力敏感的触摸屏装置提供所述输入，并且其中，接收所述输入还包括：确定所述输入的触摸压力；识别与所述触摸压力相关联的边缘锐度、线条颜色或颜色强度中的至少一个；以及将边缘锐度、线条颜色或颜色强度中的所述至少一个分配给从所述输入生成的所述图形表示。12.根据权利要求1所述的方法，还包括：取得指定的最小比例；确定在所述视频流的至少一帧中描绘的所述对象的尺寸小于所述指定的最小比例；以及在所述视频流的帧的顶部叠加消息，其通知用户将所述对象放置在更靠近图像采集装置的位置，直到所述对象的所述尺寸对应于所述指定的最小比例。13.根据权利要求1所述的方法，还包括：确定所述视频流中所述对象占据的帧的数量；基于所述视频流中所述对象占据的帧的数量，确定所述对象到图像采集装置的相对距离；以及
基于所述对象的所述相对距离来缩放所述图形表示的尺寸。14.根据权利要求1所述的方法，其中，事件由用户选择并且包括从对象界标出现在一组帧中的第一帧中的第一方式到所述对象界标出现在所述一组帧中的第二帧中的第二方式的变化。15.根据权利要求1所述的方法，其中，渲染所述图形表示包括根据所述定时机制引起所述图形表示的呈现...

【专利技术属性】
技术研发人员：Y，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：