基于眼睛凝视的用于音频视觉回放的位置选择制造技术

响应于探测到用户正在显示器屏幕上注视什么，可以修改与该区域相关联的音频媒体或视觉媒体的回放。例如，可以加快或减慢所述用户正在注视的区域中的视频。感兴趣区域中的静止图像可以被转化成移动图画。可以响应于用户凝视探测来激活与在所述显示器屏幕上的感兴趣区域中所描绘对象相关联的音频。

【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】响应于探测到用户正在显示器屏幕上注视什么，可以修改与该区域相关联的音频媒体或视觉媒体的回放。例如，可以加快或减慢所述用户正在注视的区域中的视频。感兴趣区域中的静止图像可以被转化成移动图画。可以响应于用户凝视探测来激活与在所述显示器屏幕上的感兴趣区域中所描绘对象相关联的音频。【专利说明】基于眼睛凝视的用于音频视觉回放的位置选择
一般而言，本专利技术涉及计算机，并且尤其涉及在计算机上显示图像和回放音频视觉息。
技术介绍
通常，计算机包括数个用于音频/视频回放的控件。用于此目的的输入/输出设备包括键盘、鼠标和触摸屏。此外，图形用户接口可以被显示以使用户能够控制视频回放或音频回放的启动和停止、视频回放或音频回放的暂停、视频回放或音频回放的快速前进以及音频回放/视频回放的倒回。【专利附图】【附图说明】图1是本专利技术的一个实施例的示意图；以及 图2是用于本专利技术的一个实施例的流程图。【具体实施方式】根据一些实施例，可以分析用户的眼睛凝视以准确确定用户正在计算机显示器屏幕上注视什么。基于眼睛凝视所探测的用户感兴趣区域，可以控制音频回放或视频回放。例如，如果用户在显示器屏幕上注视特定区域时，选择的音频文件或选择的视频文件就可以在该范围中开始回放。类似地，基于用户正在注视哪里，可以在该范围中改变视频的运动速率。作为另一个例子，可以在如下区域中发动运动，所述区域在用户注视该区域之前是静止的。作为附加的例子，眼睛凝视所选择的区域的尺寸可以响应于对用户注视所述区域的探测来增大或减小。因此，仅仅基于用户注视特定区域这一事实也可以将快速前进、前进或倒回控件设置在显示器区域中。其他可以单单通过探测眼睛凝视来实施的控件包括暂停和回放起动。参照图1，计算机系统10可以是任一种基于处理器的系统，其包括台式计算机或娱乐系统，比如电视机或媒体回放器。它也可以是移动系统，比如膝上型计算机、平板计算机、蜂窝电话或移动因特网设备，仅举一些例子。系统10可包括显示器屏幕12，所述显示器屏幕耦合到基于计算机的设备14。该基于计算机的设备可以包括视频接口 22，所述视频接口耦合到视频摄像机16，所述视频摄像机在一些实施例中可以与显示器12相关联。例如，在一些实施例中，摄像机16可以与显示器12集成在一起或与显示器12装配在一起。在一些实施例中，也可以提供红外发射器用于使摄像头能够探测来自用户的眼睛的红外反射以跟踪眼睛移动。如在此所用的，“眼睛凝视探测”包括任何用于确定用户在注视什么的技术，所述技术包括眼睛跟踪、头部跟踪和面部跟踪。处理器28可以耦合到存储装置24和显示器接口 26，所述显示器接口驱动显示器12。处理器28可以是任何控制器，其包括中央处理单元或图形处理单元。处理器28可以具有模块18，所述模块使用眼睛凝视探测来在显示器屏幕12上所显示的图像内识别感兴趣区域。在一些实施例中，显示器屏幕上眼睛凝视位置的确定可以通过图像分析来补充。具体地，可以使用视频图像分析来分析图像的内容以认出图示内的对象以及评估眼睛凝视探测所建议的位置是否严格正确。作为一个例子，用户可能注视所成像的人的头部，但眼睛凝视探测技术可能稍微错误，相反建议焦点的范围是靠近头部，但在空白范围中。视频分析可以用于探测接近所探测的眼睛凝视位置的唯一对象是所成像的人的头部。因此，该系统可以推断出真正的焦点是所成像的人的头部。因此，在一些实施例中，视频图像分析可以结合眼睛凝视探测来使用以改善眼睛凝视探测的准确性。感兴趣区域识别模块18耦合到感兴趣区域和媒体链接模块20。链接模块20可以负责将用户所正在注视什么链接到正在屏幕上播放的特定音频视觉文件。因此，在一个实施例中，在显示器屏幕内的每个区域在正在进行的音频视觉信息显示中在特定时间示例或在特定地方链接到特定文件。例如，可以将电影中的时间码链接到特定区域，并且与数字流播媒体相关联的元数据可以标识帧和帧内的象限或区域。例如，每帧可以被划分成象限，所述象限在数字内容流中的元数据中被标识。作为另一个例子，每个图像部分或不同的图像，比如特定的对象或特定区域，可以是可单独操作的文件或数字电子流。可以将这些不同的文件或流中的每个链接到其他能够在特定情况下被激活的文件或流。此外，可以去激活或控制每个分离的文件或流，如下文所述。在一些实施例中，可以存储一系列不同版本的所显示电子媒体文件。例如，第一版本可以在第一区域中具有视频，第二版本可以在第二区域中具有视频，以及第三版本可以没有视频。当用户注视第一区域时，第三版本的回放被第一版本的回放替换。那么，如果用户注视第二区域，第一版本的回放被第二个版本的回放替换。类似地，可以以同样的方式处理音频。此外，波束形成技术可以用于记录场景的音频，使得与在麦克风阵列中的不同麦克风相关联的音频可以被键入到所成像场景的不同范围。因此，在一个实施例中，如果用户正在注视场景中的一个范围，则可以播放来自最靠近的麦克风的音频。通过这种方式，音频回放与在所成像场景内用户实际上在凝视的范围相关。在一些实施例中，可以对场景内的不同对象拍摄多个视频。绿屏技术可以用来记录这些对象以便它们可以被拼接成整体合成物。因此，举个例子，喷泉在公园喷水的视频可以使用绿屏技术来记录。然后正在播放的视频可能呈现没有喷水的喷泉。然而，当用户注视喷泉对象时，喷泉对象的图示可能从场景中被删除，并且可能被实际喷水的喷泉的拼接成分段的显示替换。因此，整体场景可以由分段的视频的合成物组成，当用户注视对象的位置时，所述分段的视频可以被拼接成合成物。在某些情况下，显示器可以被分段成各种代表场景内的数个对象的视频。每当用户注视这些对象中的一个时，该对象的视频可以被拼接成整体合成物以改变该对象的外观。链接模块26可以耦合到用于驱动显示器的显示驱动器26。模块26也可以具有可用的存储装置24，所述存储装置用于存储可以与屏幕的特定区域的选择相关联地被激活和被播放的文件。因此，参照图2，序列30可以通过软件、固件和/或硬件来实施。在软件实施例或固件实施例中，序列可以通过存储在非暂态计算机可读媒体(例如光学存储装置、磁存储装置或半导体存储装置)上的计算机可读指令来实施。例如，以计算机可读指令实现的此类序列可以存储在存储装置24中。在一个实施例中，通过在来自视频摄像机16的视频馈入内探测用户眼睛的位置(方框32)来开始序列30。众所周知的技术可以被用于识别对应于与眼睛相关联的众所周知的物理特征的图像部分。接下来，在一个实施例中，在方框34，再次使用其众所周知的用于识别目的的几何形状来搜索识别为眼睛的区域以寻找人的瞳孔。一旦瞳孔已被定位，就可以使用传统的眼睛探测与跟踪技术来跟踪瞳孔移动(方框 36)。瞳孔移动的方向(方框36)可以用于在正在进行的显示内识别感兴趣区域(框38)。例如，瞳孔的位置可以对应于视线与显示器屏幕的角度，可以使用几何学使所述角度与特定的像素位置相关。一旦这些像素位置被识别，数据库或表可以链接特定的像素位置到屏幕上的特定图示，其包括屏幕的分离区段或区域或图像对象。最后，在方框40中，可以将媒体文件链接到感兴趣区域。再次，可以响应于探测到用户实际上正在注视该区域来自动实施在所描绘的区域或对象中的各种改变。例如，当用户正在注视屏幕的一个范围时可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：KM里昂斯，JJ拉特克利夫，T佩林，
申请(专利权)人：英特尔公司，
类型：
国别省市：