用于基于脸部表情的概括的方法和装置制造方法及图纸

提供了一种用于有助于基于脸部表情的视频和/或图像概括的方法、装置、计算机程序产品和系统。就这一点而言，提供了一种方法，该方法包括接收一个或者多个第一帧和一个或者多个第二帧，确定关于在一个或者多个第二帧中包含的一个或者多个脸部表情的信息，以及使得关于一个或者多个脸部表情的信息与一个或者多个第一帧中的至少一个第一帧关联。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术的一个示例实施例总体上涉及用于图像的概括和视频概括的技术，并且更 特别地涉及一种用于有助于基于脸部表情的图像和/或视频概括的方法和装置。
技术介绍
将高质量相机集成到移动设备中以及媒体共享平台（比如YouTube、Instagram 等）的迅速增长已经使得越来越多的人变得对捕获和共享特殊场合和日常生活的视频和 相片感兴趣。由移动设备用户记录的大量相片和视频内容已经造成了对于快速和容易的视 频编辑和相片过滤和/或排序方法的增加的需求。 关于视频，由移动设备用户摄制的许多视频可能包含可能令查看者厌烦的大量无 关或者无趣的内容。然而，现有视频编辑工具通常需要不是特别地用户友好的费力过程。因 此，将视频减少成适度长度的段而保持有趣的内容的自动视频概括将是一种更理想的解决 方案。 相似地，移动设备用户可能往往拍摄大量相片并且在面临没有过滤掉较为无趣相 片的方法时简单地将所有相片上传到媒体共享平台。因此，可以组织、标记和/或过滤相片 的自动图像概括也将有益。
技术实现思路
因此，根据本专利技术的示例实施例提供了一种用于有助于基于脸部表情的图像和/ 或视频概括的方法、装置和计算机程序产品。就这一点而言，一个实施例的该方法、装置和 计算机程序产品可以接收一个或者多个第一帧和一个或者多个第二帧、确定关于在一个或 者多个第二帧中包含的一个或者多个脸部表情的信息以及使得关于一个或者多个脸部表 情的信息与一个或者多个第一帧中的至少一个第一帧关联。以这一方式，示例实施例的方 法、装置和计算机程序产品可以有助于例如基于比如用双相机移动设备拍摄相片或者记录 视频的用户的脸部表情的图像和/或视频概括。 在一个实施例中，提供了一种方法，该方法包括接收一个或者多个第一帧和一个 或者多个第二帧、确定关于在一个或者多个第二帧中包含的一个或者多个脸部表情的信息 以及使得关于一个或者多个脸部表情的信息与一个或者多个第一帧中的至少一个第一帧 关联。 在又一实施例中，提供了一种方法，该方法包括接收第一静止图像和第二静止图 像、确定关于在第二静止图像中包含的一个或者多个脸部表情的信息以及使得第一静止图 像用关于在第二图像中包含的一个或者多个脸部表情的信息的指示被标记。 在另一实施例中，提供了一种方法，该方法包括接收第一多个视频帧和第二多个 视频帧并且在第一多个视频帧中确定至少一个视频段。该方法还包括在第二多个视频帧中 检测至少一个脸部表情改变并且至少部分基于至少一个脸部表情改变来确定至少一个视 频段的至少一个关键帧。该方法进而还包括使得至少一个关键帧与至少一个视频段关联。 在再一实施例中，提供了一种包括至少一个处理器和至少一个存储器的装置，至 少一个存储器包括程序代码指令，至少一个存储器和程序代码指令被配置为与处理器一起 指引该装置至少接收一个或者多个第一帧和一个或者多个第二帧、确定关于在一个或者多 个第二帧中包含的一个或者多个脸部表情的信息以及使得关于一个或者多个脸部表情的 信息与一个或者多个第一帧中的至少一个第一帧关联。 在又一实施例中，提供了一种包括至少一个处理器和至少一个存储器的装置，至 少一个存储器包括程序代码指令，至少一个存储器和程序代码指令被配置为与处理器一起 指引该装置至少接收第一静止图像和第二静止图像、确定关于在第二静止图像中包含的一 个或者多个脸部表情的信息以及使得第一静止图像用关于在第二图像中包含的一个或者 多个脸部表情的信息的指示被标记。 在另一实施例中，提供了一种包括至少一个处理器和至少一个存储器的装置，至 少一个存储器包括程序代码指令，至少一个存储器和程序代码指令被配置为与处理器一起 指引该装置至少接收第一多个视频帧和第二多个视频帧并且在第一多个视频帧中确定至 少一个视频段。还指引该装置在第二多个视频帧中检测至少一个脸部表情改变并且至少部 分基于至少一个脸部表情改变来确定至少一个视频段的至少一个关键帧。进而还指引该装 置使得至少一个关键帧与至少一个视频段关联。 在再一实施例中，提供了一种包括非瞬态计算机可读介质的计算机程序产品，非 瞬态计算机可读存储介质中存储程序代码部分。计算机程序代码指令被配置为在执行时指 引装置至少接收一个或者多个第一帧和一个或者多个第二帧、确定关于在一个或者多个第 二帧中包含的一个或者多个脸部表情的信息以及使得关于一个或者多个脸部表情的信息 与一个或者多个第一帧中的至少一个第一帧关联。 在又一实施例中，提供了一种包括非瞬态计算机可读介质的计算机程序产品，非 瞬态计算机可读存储介质中存储程序代码部分。计算机程序代码指令被配置为在执行时指 引装置至少接收第一静止图像和第二静止图像、确定关于在第二静止图像中包含的一个或 者多个脸部表情的信息以及使得第一静止图像用关于在第二图像中包含的一个或者多个 脸部表情的信息的指示被标记。 在另一实施例中，提供了一种包括非瞬态计算机可读介质的计算机程序产品，非 瞬态计算机可读存储介质中存储程序代码部分。计算机程序代码指令被配置为在执行时指 引装置至少接收第一多个视频帧和第二多个视频帧并且在第一多个视频帧中确定至少一 个视频段。还指引该装置在第二多个视频帧中检测至少一个脸部表情改变并且至少部分基 于至少一个脸部表情改变来确定至少一个视频段的至少一个关键帧。进而还指引该装置使 得至少一个关键帧与至少一个视频段关联。 在再一实施例中，提供了一种装置，该装置包括用于接收一个或者多个第一帧和 一个或者多个第二帧的装置、用于确定关于在一个或者多个第二帧中包含的一个或者多个 脸部表情的信息的装置以及用于使得关于一个或者多个脸部表情的信息与一个或者多个 第一帧中的至少一个第一帧关联的装置。 在又一实施例中，提供了一种装置，该装置包括用于接收第一静止图像和第二静 止图像的装置、用于确定关于在第二静止图像中包含的一个或者多个脸部表情的信息的装 置以及用于使得第一静止图像用关于在第二图像中包含的一个或者多个脸部表情的信息 的指示被标记的装置。 在另一实施例中，提供了一种装置，该装置包括用于接收第一多个视频帧和第二 多个视频帧的装置和用于在第一多个视频帧中确定至少一个视频段的装置。该装置还包括 用于在第二多个视频帧中检测至少一个脸部表情改变的装置和用于至少部分基于至少一 个脸部表情改变来确定至少一个视频段的至少一个关键帧的装置。该装置进而还包括用于 使得至少一个关键帧与至少一个视频段关联的装置。【附图说明】 已经这样用一般措词描述了本专利技术的示例实施例，现在将参照附图，附图未必按 比例绘制，并且在附图中： 图1是当前需要的用于视频概括的各种步骤的示意表示； 图2是根据本专利技术的一个示例实施例的概括过程的示意概况图； 图3是可以被配置为实施本专利技术的示例实施例的电子设备的框图； 图4是可以由电子设备体现或者与电子设备关联并且可以被配置为实施本专利技术 的示例实施例的装置的框图； 图5是代表根据本专利技术的示例实施例被执行的操作的流程图；以及 图6是代表根据本专利技术的示例实施例被执行的操作的流程图。【具体实施方式】 现在下文将参照附图更完全地描述本专利技术的一些实施例，在附图中示出了本专利技术 的一些、但是并非所有实施例。实际上，本专利技术的各种实施例可以用许多不同形式来体现， 而不应解释为限本文档来自技高网...

【技术保护点】
一种方法，包括：接收一个或者多个第一帧和一个或者多个第二帧；确定关于在所述一个或者多个第二帧中包含的一个或者多个脸部表情的信息；以及使得关于所述一个或者多个脸部表情的所述信息与所述一个或者多个第一帧中的至少一个第一帧关联。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：霍达，陈灿峰，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰;FI