用于移动终端中的用户界面方法和系统技术方案

一种用于移动终端中的用户界面方法激活摄像机模块以支持视频聊天功能并使用摄像机模块获取目标对象的图像。响应于在所获取的图像中检测到面部，通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态。将所识别的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态进行比较。响应于所述比较，产生情绪表示图像，并将所产生的情绪表示图像发送到视频聊天中使用的对端终端。

【技术实现步骤摘要】
用于移动终端中的用户界面方法和系统
本公开涉及一种例如在双向图像通信的移动终端中采用面部识别的用户界面，更具体地涉及用于移动终端中的用户界面方法和系统。
技术介绍
已知的移动终端具有视频呼叫能力，包括支持双向图像通/[目的摄像机|旲块。响应于建立了呼叫，移动终端提供视频呼叫菜单。此外，响应于对应的对端用户接受视频呼叫请求，移动终端可以获取并发送图像。在视频呼叫中，当实时获取并发送图像时，希望终端提供低延时和高数据吞吐量。由于所发送的数据量是确定呼叫相关费用的主要因素，视频呼叫可能是昂贵的通信方式。因此，尽管视频呼叫能够进行面对面对话，它可能被认为是很少使用的特征或在特殊情况下使用的特征。此外，在视频呼叫期间，摄像机模块保持连续获取图像以实时发送。这比仅进行语音呼叫所消耗的功率量大得多，减少了移动终端在电池重新充电之间的连续操作时间并缩短了电池寿命。
技术实现思路
本公开提供的系统解决上述缺点和/或相关问题。该系统响应于检测到的发言用户面部表情的改变，提供了支持双向静态图像通信的基于面部识别的用户界面。采用面部识别的用户界面可以用于双向图像通信的移动终端中，以在降低功率消耗的同时辅助视频呼叫功能以及数据管理。根据本公开的一个方面的用于移动终端中的用户界面方法激活摄像机模块以支持视频聊天功能并使用摄像机模块获取目标对象的图像。响应于在所获取的图像中检测到面部，通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态。将所识别的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态进行比较。响应于所述比较，产生情绪表示图像，并将所产生的情绪表示图像发送到视频聊天中使用的对端终端。可选地，所述识别面部的当前情绪状态包括:通过特征边界边缘检测来识别面部特征，所述特征边界边缘检测包括确定像素亮度的过渡；以及使用所识别的面部特征的变换，将所识别的面部特征与跟情绪相关联的预定特征进行比较，所述变换包括平移、缩放以及旋转操作中的至少一个。可选地，所述方法还包括:当所识别的当前情绪状态与所述先前情绪状态相同时，发送对当前情绪状态与先前情绪状态之间的相似性加以表示的消息，而不产生和传输情绪表示图像。响应于以下中的至少一个来执行摄像机模块的激活:视频聊天中的时间段期满、激活支持视频聊天的消息应用、产生用于在视频聊天期间写入消息的输入事件、产生用于在视频聊天期间发送所写消息的输入事件、或产生阅读或回复所接收消息的输入事件。获取目标对象的图像包括以下中的至少一个:从摄像机模块提供的系列预览图像中选择图像；以及在输出预定通知之后获取目标对象的图像。可选地，产生情绪表示图像包括:通过调整摄像机获取的图像的分辨率以及尺寸并将与所识别的当前情绪状态有关的文本信息并入所述情绪表示图像，来产生预定尺寸的情绪表示图像。响应于确定所获取的图像不包括目标对象的面部，产生表示用户离开的消息，并将表示用户离开的消息发送到对端终端。可选地，该用户界面方法包括:接收情绪表示图像相关信息，所述情绪表示图像相关信息标识响应于对视频聊天期间由对端终端获取的图像进行分析而推断的情绪；以及输出从所接收的情绪表示图像相关信息中提取的情绪表示图像。接收情绪表示图像相关信息包括:接收涉及所标识的情绪状态的文本信息，以及当与当前所接收情绪表示图像相关联的情绪状态类似于与先前所接收的情绪表示图像相关联的情绪状态时，接收对情绪表示图像的相似性加以表示的消息。输出情绪表示图像包括将文本信息和情绪表示图像一起输出。输出情绪表示图像包括:在显示图像中输出情绪表示图像区域以用于输出情绪表示图像；输出用于输出向对端终端发送的和从对端终端接收的消息的聊天消息区域；以及输出用于输入聊天会话的信息的输入区域。可选地，该用户界面方法接收对用于选择在情绪表示图像区域中输出的情绪表示图像的输入事件加以表示的数据，该方法向对端终端发送对所选情绪表示图像的原始图像请求，并以全屏形式显示所选情绪表示图像。响应于所接收的表示输入事件的数据，该方法选择情绪表示图像以在情绪表示图像区域中输出；并执行对情绪表示图像区域中输出的情绪表示图像的幻灯片放映。该方法还输出用于在所显示图像中输出消息的聊天消息区域，并输出用于输入聊天会话的信息的输入区域。响应于所接收的数据表示输入事件，所述方法浏览所发送的和接收的情绪表示图像的记录，并将所发送的和接收的情绪表示图像按用户进行分组，针对单独用户输出分组后的情绪表示图像，并将接收的与情绪表示图像相关联的消息和相应的情绪表示图像一起输出。所述方法响应于确定对端终端所获取的图像不包含面部，接收表示用户离开的消息。此外，响应于接收到表示用户离开的消息显示用户离开表示，并以与其他情绪表示图像容易区分的方式显示与新接收消息相关联的情绪表示图像。根据本公开另一方面的用于移动终端中的用户界面系统响应于预定命令激活摄像机模块，并使用该摄像机模块获取目标对象的图像。响应于在所获取的图像中检测到面部，该系统通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态。该系统确定所识别的面部的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态之间的相似性。响应于所识别的当前情绪状态与所述先前情绪状态不具有相似性，该系统基于所获取的图像产生情绪表示图像，并将所产生的情绪表示图像发送到对端终端，以及响应于所识别的当前情绪状态与所述先前情绪状态具有相似性,发送表示所识别的当前情绪状态与所述先前情绪状态之间的相似性的消息。根据本公开又一方面的用于移动终端中的用户界面方法响应于发生预设事件激活摄像机模块，并使用该摄像机模块获取目标对象的图像。响应于在所获取的图像中检测到面部，所述方法分析面部图像数据以识别面部的情绪状态，并响应于对面部图像数据的分析输出情绪状态信息以及情绪表示图像。该方法存储情绪状态信息以及情绪表示图像，并临时存储情绪表示图像的原始图像。响应于以下中的至少一个来执行摄像机模块的激活:激活用户功能、在聊天会话期间写入消息、在聊天会话期间发起消息发送请求、以及在视频呼叫期间收集语音信号。根据本公开再一方面的用于移动终端中的用户界面系统包括:摄像机模块，响应于在视频聊天期间产生表示预设事件的数据，获取目标对象的图像；以及控制单元，响应于在所获取的图像中检测到面部，控制:通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态；确定所识别的面部的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态之间的相似性；以及响应于所识别的当前情绪状态与所述先前情绪状态不具有相似性，基于所获取的图像产生情绪表示图像，并将所产生的情绪表示图像发送到对端终端，以及响应于所识别的当前情绪状态与所述先前情绪状态具有相似性，发送表示所识别的当前情绪状态与所述先前情绪状态之间的相似性的消息。显示单元将文本情绪状态信息重叠显示在显示情绪表示图像的区域上。当在情绪表示图像区域中产生用于选择一个情绪表示图像的输入事件时，所述显示单元以全屏形式显示所选情绪表示图像，或输出与所选情绪表示图像相关的情绪表示图像的幻灯片。控制单元控制输出以下本文档来自技高网...

【技术保护点】
一种用于移动终端中的用户界面方法，所述方法包括：激活摄像机模块以支持视频聊天功能；使用摄像机模块获取目标对象的图像；响应于在所获取的图像中检测到面部，分析面部图像数据以识别面部的当前情绪状态；将所识别的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态进行比较；响应于所述比较，产生情绪表示图像；以及将所产生的情绪表示图像发送到视频聊天中使用的对端终端。

【技术特征摘要】
2013.01.07 KR 10-2013-00014141.一种用于移动终端中的用户界面方法，所述方法包括: 激活摄像机模块以支持视频聊天功能； 使用摄像机模块获取目标对象的图像； 响应于在所获取的图像中检测到面部，分析面部图像数据以识别面部的当前情绪状态； 将所识别的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态进行比较； 响应于所述比较，产生情绪表示图像；以及 将所产生的情绪表示图像发送到视频聊天中使用的对端终端。2.根据权利要求1所述的方法，其中，所述识别面部的当前情绪状态包括: 通过特征边界边 缘检测来识别面部特征，所述特征边界边缘检测包括确定像素亮度的过渡；以及 使用所识别的面部特征的变换，将所识别的面部特征与跟情绪相关联的预定特征进行比较，所述变换包括平移、缩放以及旋转操作中的至少一个，并且所述方法还包括: 当所识别的当前情绪状态与所述先前情绪状态相同时，发送对当前情绪状态与先前情绪状态之间的相似性加以表示的消息，而不产生和发送情绪表示图像。3.根据权利要求1所述的方法，其中响应于以下中的至少一个来执行摄像机模块的激活:视频聊天中的时间段期满、激活支持视频聊天的消息应用、产生用于在视频聊天期间写入消息的输入事件、产生用于在视频聊天期间发送所写消息的输入事件、和产生用于阅读或回复所接收消息的输入事件。4.根据权利要求1所述的方法，其中所述获取目标对象的图像包括以下中的至少一个: 从摄像机模块提供的预览图像序列中选择图像；以及 在输出预定通知之后获取目标对象的图像。5.根据权利要求1所述的方法，其中所述产生情绪表示图像包括:通过调整摄像机获取的图像的分辨率以及尺寸，产生预定尺寸的情绪表示图像。6.根据权利要求5所述的方法，其中所述产生情绪表示图像还包括:将与所识别的当前情绪状态有关的文本信息并入所述情绪表示图像。7.根据权利要求1所述的方法，还包括: 响应于确定所获取的图像不包含目标对象的面部，产生表示用户离开的消息，以及 将表示用户离开的消息发送到对端终端。8.根据权利要求1所述的方法，还包括: 响应于接收到原始图像请求，向对端终端发送所选情绪表示图像的原始图像。9.一种用于移动终端中的用户界面方法，所述方法包括: 响应于预定命令激活摄像机模块； 使用摄像机模块获取目标对象的图像； 响应于在所获取的图像中检测到面部，通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态；确定所识别的面部的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态之间的相似性；以及 响应于所识别的当前情绪状态与所述先前情绪状态不具有相似性，基于所获取的图像产生情绪表示图像，并将所产生的情绪表示图像发送到对端终端，以及响应于所识别的当前情绪状态与所述先前情绪状态具有相似性，发送表示所识别的当前情绪状态与所述先前情绪状态之间的相似性的消息。10.一种用于移动终端中的用户界面方法，...

【专利技术属性】
技术研发人员：郑志惠，崔普根，姜斗锡，李昌浩，林灑美，郑义昌，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR