用于生成动画表情符号混搭的系统和方法技术方案

本公开的各方面涉及用于动画表情符号混搭生成的系统、方法、设备等。该系统和方法引入了一种方法和模型，其可以生成代表由用户在应用处接收到的情境信息的动画表情符号混搭。动画表情符号混搭可以采用表情符号与一个或多个图像一致组合的形式，以表示所传达的情境想法或情感。

【技术实现步骤摘要】
【国外来华专利技术】用于生成动画表情符号混搭的系统和方法相关申请的交叉引用本申请是于2017年12月27日递交的美国专利申请No.15/855,976的继续申请，该申请是于2017年10月23日递交的美国专利申请No.15/790,799的部分继续申请，这些申请的整体通过引用结合于此。
本公开总体涉及用户设备通信，并且更具体地，涉及使用动画表情符号的用户设备通信。
技术介绍
如今，随着设备的发展和普及，用户时常连接到作为交流手段的互联网和社交媒体。通常，用户在交流中通过使用表情符号来表达情感、想法、地点、事件等。表情符号通常可从正在使用的应用中选择，并且可以由用户选择。然而，在一些情况下，表情符号可响应于用户键入的词或一组词而出现。这些表情符号通常限于可用于应用的表情符号，和/或被应用标识的与表情符号相关的一个或多个词所约束。然而，这可能会导致呈现不正确的表情符号，因为该表情符号可能不适合这种情况。换句话说，所呈现的表情符号受到与该表情符号匹配的一个或多个词所约束。因此，由键入的句子所描述的情感或场合未被理解，用户只能代替地针对情感使用标签(sticker)或图像文件(gif)。因此，创建一种可以生成表情符号和/或表情符号与针对会话定制的其他数字数据的并置的系统将是有益的。附图说明图1示出了用户与用户设备进行通信的图形示图。图2示出了使用表情符号混搭(mushup)的用户设备通信的图形示图。图3示出了用于利用机器学习生成表情符号混搭的整个过程的系统的框图。图4示出了展示示例性动画表情符号混搭的图形示图。图5A-5B示出了用于生成动画表情符号混搭的训练过程的图形示图。图6示出了用于生成动画表情符号混搭的运行时过程的图形示图。图7示出了图示用于生成表情符号混搭的操作的流程图。图8示出了用于利用机器学习来生成表情符号混搭的系统的框图。图9示出了适于实现图1-8的通信系统的一个或多个设备的计算机系统的示例框图。通过参考下面的具体实施方式来最佳地理解本公开的实施例及其优点。应理解，相同的附图标记用于标识在一个或多个附图中示出的相同的元件，而其中的图示是为了说明本公开的实施例，而不是为了限制本公开的实施例。具体实施方式在下面的描述中，阐述了一些具体细节，这些具体细节描述了与本公开一致的一些实施例。然而，对于本领域的技术人员将明显是，可以在没有一些或所有这些具体细节的情况下实现一些实施例。本文所公开的具体实施例意在说明而非限制。本领域的技术人员可以实现尽管在这里没有具体描述，但是也在本公开的范围和精神内的其他元素。此外，为避免不必要的重复，与一个实施例相关联地示出和描述的一个或多个特征可以结合到其他实施例中，除非另外具体说明，或者这一个或多个特征将使实施例不起作用。本公开的各方面涉及用于动画表情符号混搭生成的系统、方法、设备等。该系统和方法引入了一种方法和模型，其可以生成代表由用户在应用处接收到的情境信息的动画表情符号混搭。动画表情符号混搭可以采用表情符号与一个或多个图像相干结合的形式，以表示所传达的情境想法或情感。常规地，设备用户依赖于预定义的表情符号来表达情感、想法或地点。然而，通常用户可能受限于在应用上可用的那些表情符号。在一些情况下，可用表情符号响应于对用户输入/键入的一个或多个词的识别而被进一步限制和呈现。然而，所呈现的表情符号可能与情境无关，或者不能完全表达对话的情感。作为示例，图1示出了用户104与用户设备102进行通信的图形示图100。具体地，图1示出了用户104与用户设备102上的应用106进行交互。用户设备102可以包括智能电话、平板电脑、计算机、膝上型计算机、可穿戴设备、平板电脑、虚拟现实系统等。用户设备102可通过一个或多个网络与一个或多个设备进行通信。在一些情况下，用户设备102可以包括与用于通过社交媒体的通信、与另一个体的通信、转移资金、处理交易等的应用的交互。如图所示，用户104可能正在用户设备102上与应用(例如，Venmo)进行交互。应用(例如，Venmo)106可以包括响应于检测到与所检测的词相关的(一个或多个)词(例如，晚餐)而呈现表情符号的应用。作为示例，图1示出了用户104与Venmo进行交互，并指示将响应于晚餐出行而向某人(例如，RobertKuo)付款。在该消息中，用户感谢Robert的晚餐，并响应于检测到词晚餐108，已被标识为与词晚餐108相关的表情符号110出现。在该示例中，应用识别词晚餐108，并且作为响应，呈现银器和餐盘表情符号110。然而，如图所示，缺点是词到表情符号类型的匹配受到系统所具有的相关性以及可供选择的相应表情符号110的限制。在一个实施例中，引入了一种系统和方法，该系统和方法能够利用机器学习来实现动画表情符号混搭。也就是说，引入了一种系统和方法，该系统和方法使得能够实现这样的能力：组合表情符号和另一相关的数字媒体来生成至少单个动画表情符号，该单个动画表情符号不是表示单个词或多个词，而是通信中涉及的句子和/或情境。图2示出了使用表情符号混搭的用户设备通信的图形示图。具体地，图2示出了用于生成动画表情符号混搭的流程图200，动画表情符号混搭然后呈现在用户设备102上的应用106的用户界面上。如上所述，当前使用的表情符号部分地基于在应用上可用的部分库以及基于预定义相关性的严格表情符号-词指定，存在很大限制。流程图200被示为可以在各种系统之间发生的示例性通信，这些系统使得能够生成与当时消息有关的情境信息更紧密地相关的动画表情符号混搭。例如，如流程图200所示，可以使用可与包括社交网络208(例如，Twitter、Facebook)的外部网络210进行通信的表情符号存储库/系统202。这些网络可以传送并共享可由用户设备102在与另一用户的交互(例如，Venmo交易)期间使用的可用表情符号。该流程图还示出了坐标系统204，其可以与至少用户设备102和外部网络210进行通信。坐标系统204可以是这样的系统，其响应于在与另一用户的用户设备交互期间收集的情境信息，使用从用户设备102、社交网络208和其他外部网络210收集的表情符号细节来确定如何最佳地定位可能用于动画表情符号混搭212的两个或更多个表情符号或其他媒体，和/或从两个或更多个表情符号或其他媒体数据中提取坐标信息来确定如何最佳地相对于彼此放置表情符号。协作、存储库、以及对智能算法的使用共同生成新表情符号混搭。来自用户输入的反馈也被用于学习和标识最佳匹配以及标识新表情符号混搭212。注意，动画表情符号混搭可以从一个或多个表情符号和/或其他媒体数据的组合生成。媒体数据可以包括图像、图像文件、标签、视频等，它们可以与一个或多个表情符号并置以传达在设备之间对话或交流的情境。为了说明表情符号混搭212的想法，图2在用户设备102的显示器216上包括对话。作为示例，在显示器216上，用户104正与其他用户交流所参加的音乐会。其他用户对音乐会及其进展发表评论，而用户104回本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n非暂态存储器，存储指令；以及/n处理器，被配置为执行指令以使得所述系统执行以下操作：/n通过网络连接从用户设备接收用户输入数据；/n使用第一学习模型分析所述用户输入数据，以确定所述用户输入数据中所包括的图像；/n部分地基于所述用户输入数据来标识对象到表情符号映射；/n使用第二学习模型处理表情符号和所述图像，以获得所述表情符号和所述图像的坐标信息；以及/n使用所述坐标信息组合所述表情符号和所述图像，以生成动画表情符号混搭。/n

【技术特征摘要】
【国外来华专利技术】20171023 US 15/790,799;20171227 US 15/855,9761.一种系统，包括：
非暂态存储器，存储指令；以及
处理器，被配置为执行指令以使得所述系统执行以下操作：
通过网络连接从用户设备接收用户输入数据；
使用第一学习模型分析所述用户输入数据，以确定所述用户输入数据中所包括的图像；
部分地基于所述用户输入数据来标识对象到表情符号映射；
使用第二学习模型处理表情符号和所述图像，以获得所述表情符号和所述图像的坐标信息；以及
使用所述坐标信息组合所述表情符号和所述图像，以生成动画表情符号混搭。


2.根据权利要求1所述的系统，其中，所述分析还包括：对所述用户输入数据中所包括的所述图像进行标记和调整大小。


3.根据权利要求1所述的系统，执行指令还使得所述系统执行以下操作：
通过所述网络连接将所述动画表情符号混搭发送到所述用户设备，其中，所述表情符号混搭与所述用户输入数据有关。


4.根据权利要求1所述的系统，执行指令还使得所述系统执行以下操作：
部分地基于所获得的坐标信息将所述图像在空间上放置在所述表情符号上。


5.根据权利要求1所述的系统，执行指令还使得所述系统执行以下操作：
部分地基于所获得的坐标信息将所述图像在空间上放置在所述表情符号上。


6.根据权利要求1所述的系统，执行指令还使得所述系统执行以下操作：
部分地基于所获得的坐标信息将所述表情符号在空间上叠加在所述图像上。


7.一种方法，包括：
通过网络连接从用户设备接收用户输入数据；
使用第一学习模型分析所述用户输入数据，以确定所述用户输入数据中所包括的图像；
部分地基于所述用户输入数据来标识对象到表情符号映射；
使用第二学习模型处理表情符号和所述图像，以获得所述表情符号和所述图像的坐标信息；以及
使用所述坐标信息组合所述表情符号和所述图像，以生成动画表情符号混搭。


8.根据权利要求7所述的方法，其中，所述分析还包括：对所述用户输入数据中所包括的所述图像进行标记和调整大小。


9.根据权利要求7所述的方法，还包括：
通过所述网络连接将所述动画表情符号混搭发送到...

【专利技术属性】
技术研发人员：提图斯·吴，郭卫廷，陆学光，文卡提什·考玛，
申请(专利权)人：贝宝公司，
类型：发明
国别省市：美国;US