本发明专利技术涉及用于根据图像观看者的注意力反应来选择和显示图像的设备、系统和方法。图像捕捉设备捕捉潜在地包含图像显示设备的观看者的空间区域的观看者图像，观看者检测机构分析所述观看者图像以及确定潜在观看者是否正在观察显示屏。注视模式分析机构通过分析观看者的脸部表情和其他感觉输入所表现的观看者的情绪反应来识别观看者对当前显示的图像的反应，然后根据示出的观看者的注意力反应修改待显示的图像的选择。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像的适应性选择和显示，更特别地，本专利技术涉及基于检测到的图像观看者的存在和反应的图像选择和显示，所述图像包括数字媒体框或其他图像显示系统或设备(例如电子相框或其他显示设备)中的独立图像和例如视频片段的连续图像，所述观看者的反应包括观看者的情绪和行为反应或者推断的图像观看者的意图或愿望。
技术介绍
从可能非常大量的例如照片和视频片段的静态和连续图像中对所需图像进行索弓丨、分类、存储和选择性显示是一个共性的且长期存在的问题。数字成像技术的发展显著地加剧了这一问题，因为与基于胶片的方法相比，数字成像技术利于通过很少的工作以大大增加的数量生成大量的新图像。识别、分类和索引图像的任务传统上是由手动执行的，即某人查看每个图像，识别图像的内容，并根据其内容或其他有关标准(例如获取图像的地点和时间)对图像进行分类和索引。公知的，该方法是缓慢、单调和易于出错的，当用于对图像进行识别和分类的标准改变时，必须重复该方法。现有技术包括用于帮助图像的索引和分类的多种方法和系统，其示例显示在美国专利 7，236，960,5, 946，444和 6，608，563 以及美国专利公开 2007/0177805、2007/0098303、 2004/0126038和2004/0126038以及许多其他类似和相关的出版物中。现有技术的所有这些方法和系统都用于根据基于图像内容的标准对图像集的图像进行识别、分类、组织或索弓丨。例如，通常的标准可以包括获取图像的日期、时间和位置以及涉及图像内容的信息。相应地，例如可以通过各种图像分析方法获取图像内容，例如图像特征识别技术，由图像捕捉设备生成的图像元数据，内置GPS设备，或者通过例如RFID标记或音频感测在图像获取时从图像中的人或物读取或记录的信息。一旦被索引，就可以根据存储在图像索引中的信息或形成图像索引的信息从图像集中选择图像，所述信息通常基于用于识别图像和对图像进行分类的标准，并根据用户限定的附加标准(例如页码或相册格式定义)被显示。但是，所回顾的现有技术的这些方法和系统要求使用者或服务提供者或默认的系统有意地以及直接地参与到过程当中，特别是参与到对图像进行分析、识别、分类、索引和显示的特定标准的选择和限定当中。对于只是偶尔对图像集进行识别、分类、组织和显示的使用者而言，这种要求是特别繁重的，因为这样的使用者通常不熟悉用于对图像进行识别、 分类和索引的标准，或者不熟悉该标准的有效选择和组合，可能经常获得不令人满意的结^ ο在显示来自于一个或多个集的图像时也存在相关的问题。例如，许多图像存储和显示系统，从在线服务到个人计算机再到手持式设备，包括例如iPod的设备，要求使用者直接主动地选择待显示的图像或图像组。这样的系统和设备还经常要求使用者至少有意地初始化显示，并且经常要求使用者主动控制图像的显示，例如“幻灯片放映”中的图像序列间隔。改变正在显示的图像或图像组经常是很难的，其要么需要初始化新的显示操作，要么6在例如数字相框的一些设备中需要将整个新的图像组载入设备。美国专利7，174，029公开了一种方法和装置，该装置包括显示器，该显示器用于感测一个或多个个体的特性并提供信息的自动选择和呈现，从而定制特定的内容/程序以根据个体提高显示的有效性。可以使用包括数码相机、运动传感器、地毯中的压力敏感传感器、音频传感器、RFID卡等等的感测设备来感测基本为静态的特性，所述静态的特性以人口统计特征、心理统计特征、人群和身份为基础，对于个体而言是稳定的。个体的这些非暂态特性例如是年龄、性别、脸部毛发、眼镜和身高。该文献强调可以使用这些静态特性对个体进行分类，以区分他们对不同产品的需求和偏好以及由此可能对不同的广告信息程序的反应。即使使用多于一个的静态特性对个体进行分类，在个体与显示器交互的过程中基于该分类的图像显示仍然是不变的。^t Burrow ^ 2006 ip W ^ ^ ^ "Ubiquitous interactive art displays :are they wanted and intuitive ？”的文献中描述了一种交互式艺术品显示系统，其包括摄像机以估计观看者距离显示器的接近程度以及观看者脸部相对于显示器的位置。当观看者接近、停止或远离艺术品显示时，使用这些估计来逐渐地浏览视频序列。在该文献中，基于观看者的接近程度和观看者脸部的检测来呈现信息。但是，没有基于观看者的个体特性、情绪、反应或行为的信息定制。上述文献都没有认识到或者公开对不同类型的信息进行反应和处理的需要、偏好和能力在很大程度上可能取决于个体的外部和内部行为条件，这些条件是瞬态的并且与局部和短期的事件有关，例如意图、情绪、精神和心理状态、以及特定活动和互动的参与；以及个体对显示内容的直接的情绪和行为反应。此外，一般而言，被我们称为显示控制的例如步速、重复、形式选择(视觉静态、视频、音频、触觉)、特殊效果、变换等等的呈现独立的图像和信息的方法和过程也需要考虑这些外部和内部条件。因此，识别使用者的兴趣、情绪、行为、意图、社会和环境背景为对使用者的需求、个人偏好和兴趣做出反应的交互式系统提供了有利的特性。为了克服这些使用者交互需求，许多现有的图像存储和显示系统提供了随机呈现图像的选择，但是这种随机显示可能与使用者目前的思想状态、意图或观看活动的背景无关。即使考虑了个体的某些特性，这些特性也是非瞬态的，换言之，它们不随时间变化，因此不能评估观看者对图像的反应。Comenarez 等人的名称为"Mood based virtual photo album，，的美国专利 6，931，147公开了基于感测的观看者情绪提供照片的基于情绪的呈现的系统。该方法包括以下步骤使用相机捕捉观看者的脸部图像；使用模式识别算法分析该图像，从而通过比较该脸部表情与多个先前存储的与一系列情绪相关的脸部表情的图像确定观看者的情绪； 然后基于与观看者的脸部表情相关的情绪识别从存储器中提取一组照片。该系统包括相机、用户界面、处理器和显示器，该处理器分析观看者的脸部图像，以与用于确定观看者情绪的一组预先选择的脸部表情图像进行比较，该显示器用于相应于观看者情绪显示一组数码照片。上述系统根据所确定的观看者情绪呈现图像并更新图像，从而对观看者的脸部表情和推导出的情绪做出反应，因此，上述系统试图克服目前通用的方法和系统的局限性，目前通用的方法和系统使用根本不涉及使用者身份要素的提取机制或者响应例如性别、年龄等固定特性的提取机制。但是，该系统具有几个缺点。首先，其明确地仅针对影响从脸部表情辨别的观看者情绪，从而将其应用和交互模式限制为捕捉和响应观看者的情绪的脸部表情。因此，其他有意义的状况和使用者的行动，例如运动、交谈、特殊的活动、环境(背景) 条件不能引起适当的显示内容修改。例如，如果使用者匆忙地接近交互式显示系统以检查排定的会议的时间，并且因为使用者可能迟到他/她的脸部表现出焦虑，那么系统应当坚持尝试改变使用者的情绪，例如显示激起积极情感的巧克力的图像，或者基于预先确定的狗的图片与积极情绪之间的关联显示狗的图像。第二，在该系统中基于通过摄像机获得的使用者的脸部图像来识别情绪。但是，还存在可以从其他与使用者相关的信号推导出的多种情绪反应。这本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：E·A·费多罗夫斯卡娅，C·G·诺伊施泰特，
申请(专利权)人：伊斯曼柯达公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。