利用观看者反应估计和视觉提示检测的视频索引制造技术

一般地，本公开提供用于利用基于视觉提示检测的观看者反应估计的视频索引系统的方法和系统。该方法可以包括检测由用户生成的视觉提示，该视觉提示响应于用户观看视频而生成；将视觉提示映射到与用户相关联的情感空间；基于该映射来估计用户的情感事件；以及利用元数据对视频进行索引，所述元数据包括所估计的情感事件和与所估计的情感事件相关联的定时数据。该方法还可以包括基于视频索引对视频进行概括、划分和搜索。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及视频索引系统，并且更具体地涉及利用观看者反应估计基于视觉提示检测的视频索引系统。
技术介绍
用于视频库的管理(包括分类、搜索和检索)的现有系统典型地依赖于视频分析算法，其分析视频流以产生描述视频的内容的单个综合结果。然而，不同观看者可能具有对视频的变化或个性化响应，其可能不被分析算法所提供的单个综合结果捕获。一些系统可能尝试通过询问用户反馈来计及观察者个性化的体验。然而，这样的系统由于用户错误和/或评级系统的误解而通常易于出错。反馈典型地还受限于涵盖整个视频的单个评级，这是由于贯穿视频流呈现请求用户响应的连续采用是不实际的。附加地，这些系统要求用户做出特别的努力，这可能减损用户体验的质量并且因此一般是不合期望的。【附图说明】所要求保护的主题的实施例的特征和优点将随着以下【具体实施方式】的进行并且在参照附图时变得清楚，其中相同附图标记描绘相同部分，并且在附图中: 图1图不与本公开相一致的一个不例性实施例的顶级系统图； 图2图不与本公开相一致的一个不例性实施例的框图； 图3图示与本公开的示例性实施例相一致的特征空间中的情感流形(manifold)的绘图； 图4图示与本公开的示例性实施例相一致的所估计的情感的绘图； 图5图示与本公开相一致的另一示例性实施例的框图；以及图6图示与本公开相一致的示例性实施例的操作的流程图。尽管将参照说明性实施例进行以下【具体实施方式】，但是其许多可替换形式、修改和变型对本领域技术人员而言将是清楚的。【具体实施方式】一般地，本公开提供用于基于所检测的视觉提示估计观看者情感反应并且利用元数据对视频进行索引的系统和方法，所述元数据包括关于情感的信息和这些情感相对于视频的帧的定时。索引系统可以用于基于这些情感事件来概括、划分和搜索视频。在一些实施例中，索引系统可以用于标识视频的流派和搜索视频库内的在流派方面类似的或者可能期望唤起来自用户的类似情感响应的其它视频。系统还可以基于响应于其它视频的观看而检测到的情感反应来学习用户的偏好并且基于这些学习的偏好来做出视频推荐。数据库可以存储多个用户的用户简档，其包括针对每一个用户所学习的偏好以及到经索引的视频的库的链接，由此使得视频推荐和搜索操作能够通过包括其他用户的情感响应而得以加强，这可以被称为人群讯源(crowd-sourcing) ο图1图示与本公开相一致的一个示例性实施例的顶级系统图100。用户104观看视频呈现102。在一些实施例中，视频呈现可以是流送视频或者任何适当类型的媒体呈现。情感估计模块106可以被配置成在观看视频时观察用户104并且检测视觉提示(例如，面部特征、头部位置/方位、注视点和眼睛移动模式等)，从视觉提示可以估计用户情感反应，如在下文将更详细描述的。基于情感的视频处理模块108可以被配置成利用包括所估计的用户情感响应和相对于视频的帧的相关联的定时信息的元数据来对视频进行索引。基于情感的视频处理模块108还可以被配置成基于索引来概括、划分和/或搜索视频以及施行附加的操作，如在下文更详细描述的。图2图示与本公开相一致的一个示例性实施例的框图200。情感估计模块106被示出为包括视觉提示检测模块202、情感流形学习/更新模块208、情感流形206和基于情感流形的估计模块204。当用户104观看视频呈现102时，用户可以体验一系列情感状态。情感状态的示例可以包括开心、伤心、生气、恐惧、反感、惊奇和蔑视。响应于这些情感状态，用户104可以展现视觉提示，包括面部特征(例如，面部标志的位置、面部纹理)、头部位置和方位、眼睛注视和眼睛移动模式、或者可以与情感状态相关的任何其它可检测的视觉提示。并不是所有情感状态都可以从视觉提示来检测，并且一些不同的情感状态可能共享视觉提示而一些视觉提示可能不对应于具有通常定义或名称的情感状态(例如，多个情感的合成或者处于两个或更多情感之间的情感状态，诸如处于伤心和生气之间的状态或者由开心和惊奇二者合成的状态)。系统因此可以被配置成估计伪情感，其表示可以从视觉提示唯一地标识的情感状态的任何子集。当视觉提示检测模块202检测到视觉提示时，它们被映射到特征空间，在图3中图示特征空间的示例，图3示出三维特征空间302。该特征空间的三个轴线可以例如表示眼睫毛的角落的位置、嘴巴的角落的位置以及头部的倾斜。在对应于观看者在该时间(或在时间间隔内)出现的任何给定时间处检测到的特征然后可以由特征空间中的坐标表示；在该情形中是三维坐标。坐标306、308、310的群簇可以被标识并且发现位于伪情感的流形206、304上。群簇可以对应于观看用户104在视频呈现102期间的特定时间处的不同情感状态。流形206、304可以通过学习过程来生成和/或更新，模块208可以被配置用于该学习过程。在一些实施例中，模块208可以是支持向量机(SVM)分类器或者任何其它适当的估计器或分类器。如由特征空间302 (在该示例中出于简单而被表示为三维空间)中的点表示的观看者的出现可以被投影到较低维度的空间上，例如二维情感空间或流形206、304上，从而表示情感状态的属性。在一些实施例中，观看者的出现可以被投影到二维情感状态属性空间上，其中两个维度例如表示配价(valence)和兴奋(arousal)。配价是情感的积极性或消极性的程度的度量(例如情感有多愉悦)，而兴奋是情感的强度的度量。也可以使用包括主导/顺从和有压力/轻松的度量的其它属性。基于情感流形的估计模块204可以被配置成基于检测到的特征从特征空间302到属性空间(例如较低维度的流形206、304)的映射来估计用户104在给定时间处的情感(或伪情感)状态。这在图4中图示，图4示出所估计的情感类型402随时间的绘图，其可以与视频帧序号或帧时间戳相关联。图5图示与本公开相一致的另一示例性实施例的框图500。基于情感的视频处理模块108被示出为包括描述符生成器模块502、索引模块504、视频和用户数据库506、518、用户简档生成/更新模块520、概括模块508、划分模块510、视频内搜索模块512、视频间搜索模块514和推荐生成模块522。由情感估计模块106生成的估计的情感被描述符生成模块502接收，该描述符生成模块502可以被配置成将所估计的情感转换成可以包括例如流派分类、主导情感的标识、情感的最高点和最低点的持续时间的度量和/或情感峰之间的时间间隔的度量的描述符。索引模块504可以被配置成通过将可以具有元数据的形式的描述符信息集成到视频中来对视频进行索引或标记。索引可以使得能够高效地检索关于观看者在视频期间的各时间处的情感状态的信息。视频数据库506可以被创建和维护以包括一个或多个这样经索引的视频并且可以包括从这样的视频的其他用户/观看者的反应生成的索引信息。概括模块508可以被配置成提取视频的片段，例如来自视频数据库506的视频的片段，所述片段与超出情感当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种用于视频索引的系统，所述系统包括：视觉提示检测模块，其被配置成检测由用户生成的视觉提示，所述视觉提示响应于所述用户观看所述视频而生成；情感估计模块，其被配置成将所述视觉提示映射到与所述用户相关联的情感空间并且基于所述映射来估计所述用户的情感事件；以及视频索引模块，其被配置成利用元数据对所述视频进行索引，所述元数据包括所估计的情感事件和与所估计的情感事件相关联的定时数据。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：R耶赫斯克尔，D斯坦希尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US