注视驱动的增强现实制造技术

公开了增强现实(AR)系统、方法和手段。用户的注视点可被估计，并且可以用于搜索和呈现信息，例如，与用户正关注到的区域有关的信息。用户的注视点可用于促进或实现用户视线方向可以控制的交互性模式和/或用户界面。生物测定技术可以用于估计用户的情绪状态。该估计的情绪状态可以用于是被呈现给用户的信息。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求2013年10月11日申请的美国临时申请No.61/889,900的权益，其公开通过引用的方式整体结合于此。
技术介绍
在增强现实(AR)中，用户对现实世界的视野可以通过在通过设备(如智能电话、平板电脑或可穿戴电子设备(如谷歌眼镜(GOOGLE)系统))观看的图像的上面添加一层或多层数字信息被数字化加强(或增强)。AR的一些应用可以包括观光(例如，提供关于附近的商家或景点的信息)、游戏(例如，在真实世界环境中玩的数字游戏)、导航及其他。AR的应用可以适用于无线发射/接收单元(WTRU)，如移动设备，因为移动设备可以配备有相机、传感器、全球定位系统(GPS)和陀螺仪(以便确定相机视野的方向)。WTRU还具有发送/接收能力以与服务器进行交互。
技术实现思路
公开了增强现实(AR)系统、方法和手段。用户的注视点可被估计，并且可以用于搜索和呈现信息，例如，仅呈现与用户正将其视线方向关注到的区域有关的信息。用户的注视点可用于促进或实现用户视线方向可以控制的交互性模式和/或用户界面。生物测定(Biometric)技术可以用于估计用户的情绪状态。这个估计的情绪状态可以用于细化被呈现给用户的信息。在AR系统中呈现信息的方法可以涉及确定用户的注视点和根据该注视点的功能的感兴趣区域(ROI)。关于ROI中的对象的信息可以被呈现。用户的情绪状态可以根据关于用户的生物测定数据的功能来确定。搜索结果可以根据所确定的情绪状态的功能被过滤。附图说明图1是示出增强现实(AR)系统的示例性元件的图；图2A是示出叠加在图像上的示例AR信息的图；图2B是示出叠加在图像上的AR信息不正确或不一致的示例的图；图3是示出用于实施AR技术的示例系统的框图；图4是示出用于实施AR技术的另一示例系统的框图；图5是示出示例AR搜索结果的图；图6是示出了可以使用基于位置和视觉搜索技术的示例AR系统的框图；图7是示出示例AR用户界面的图；图8是示出示例注视点检测系统的框图；图9示出示例眼睛跟踪系统；图10示出使用注视点检测以限制在感兴趣区域(ROI)的搜索的示例；图11A是示出由到目标的不同距离造成的来自ROI的不同结果的图；图11B是示出ROI尺寸调整的图；图12描绘包括注视驱动的用户界面(UI)的示例AR系统；图13示出注视驱动的用户界面(UI)上使用注视点检测的示例；图14是示出可用于估计情绪状态的示例模块的框图；图15是示出示例注视驱动的AR系统的框图；图16是示出注视驱动的AR用户界面的图；图17描绘自适应调整ROI尺寸以减少感兴趣对象的数量的示例；图18A是可以实施一个或多个公开的实施方式的示例通信系统的系统图；图18B是可以在图18A中示出的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图；图18C是可以在图18A中示出的通信系统中使用的示例无线电接入网和示例核心网的系统图；图18D是可以在图18A中示出的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图；图18E是可以在图18A中示出的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图。具体实施方式现在将参考各个附图描述说明性实施方式的详细描述。虽然该描述提供了可能实施的详细示例，但是应该注意的是，细节旨在是示例性的，并且决不限制本申请的范围。图1示出增强现实(AR)系统的示例元件，包括移动设备，如WTRU100。AR系统中的用户体验可通过呈现可以与用户有关的信息来增强。通过估计用户的视线方向，搜索空间可以被表征，例如，表征为有限的。结果的质量可以得到改善，以及处理和网络资源的使用可以被减少。用户的注视点可被估计，并且可以用于搜索和呈现信息，例如，仅呈现与用户正将其视线方向关注到的区域有关的信息。用户的注视点可以用于促进或实现用户的视线方向可以控制的交互性模式和/或用户界面。生物测定技术可以用于估计用户的情绪状态。这个估计的情绪状态可以用于细化被呈现给用户的信息。相机可以用于获取场景的图像102或视频。GPS可以用于确定移动设备的地理位置，例如GPS坐标104，以及陀螺仪可以用于确定相机视野的方向106。该信息可以被发送到服务器108，其可确定WTRU100是否靠近感兴趣对象和它们是否在相机的视场(fieldofview)内。结果可以被提供给AR客户端110，并且AR客户端110可以通过在设备显示器上叠加文字或图像来突出显示这些对象。在基于位置的AR中，可以基于用户的地理位置选择相关信息(例如，使用GPS或无线网络得到)和/或方向信息(例如，使用陀螺仪或罗盘得到)。这种类型的AR可以与地图或导航应用一起使用，其中用户可能希望找到邻近其位置的商店或服务。图2A示出结果可以叠加在先前存在的图像或视频上，或者可以覆盖在使用相机获取的图像或视频上。这种技术的一个优点是，相对少的信息可被发送到服务器和从服务器接收；因此，通信开销可被减少，并且响应时间可以得到改善。但是，地理位置和/或方向信息可能是不准确的，相机的视野可能被阻挡，和/或相机可能指向不相关的对象。这些条件可能导致不正确的或不一致的信息被显示给用户，如在图2B所示，其中相机的视野可以与在屏幕上覆盖的信息没多大关系或没关系。图3描绘了可实施AR技术的示例系统300，该AR技术可以使用由相机302(例如实时)获取的一个或多个图像，以执行关于在用户的视觉近邻(proximity)中的对象的视觉搜索。视觉搜索可由服务器304(例如，完全由服务器304)执行。例如，一个或多个图像可以由客户端306发送到服务器304，服务器304可以执行搜索。然后结果可以被发送回客户端306用于通过客户端306显示。该方法可以卸载大部分处理到服务器304，但可能涉及可能的大量信息通过网络308传输，这可能增加时延(latency)。图4描绘了示例性系统400，其可实施AR技术，其中部分处理可以由客户端402来完成(例如，“客户端-服务器”模型)。客户端402可以从所获取的图像提取相关特征，以得到描述符集合，服务器404使用该描述符集合来执行搜索。用这种方法，通过网络406发送的信息量可以显著减少，改善了系统响应时间。然而，在客户端402的处理需求可能增加。如果客户端能力高，数据库408的子集可以缓存在客户端402以进一步改善系本文档来自技高网...

【技术保护点】
一种用于向用户提供增强现实(AR)的方法，该方法包括：估计所述用户的注视点以定义感兴趣区域(ROI)；估计所述用户的情绪状态；向服务器发送与所述ROI和所述用户的所述情绪状态相关联的信息；从所述服务器接收关于所述ROI中的一个或多个对象的信息；以及显示关于所述ROI中的所述一个或多个对象的所述信息。

【技术特征摘要】
【国外来华专利技术】2013.10.11 US 61/889,9001.一种用于向用户提供增强现实(AR)的方法，该方法包括：
估计所述用户的注视点以定义感兴趣区域(ROI)；
估计所述用户的情绪状态；
向服务器发送与所述ROI和所述用户的所述情绪状态相关联的信息；
从所述服务器接收关于所述ROI中的一个或多个对象的信息；以及
显示关于所述ROI中的所述一个或多个对象的所述信息。
2.根据权利要求1所述的方法，该方法还包括基于所述用户的所述情
绪状态细化或过滤关于所述ROI中的所述对象的所述信息。
3.根据权利要求1所述的方法，其中基于检测到的对象的数量调整所
述ROI的尺寸。
4.根据权利要求1所述的方法，其中所述ROI的尺寸基于用户活动。
5.根据权利要求1所述的方法，其中通过估计评价值/唤起程度表上的
所述情绪状态的点来确定所述用户的所述情绪状态。
6.根据权利要求1所述的方法，该方法还包括使用所述用户的语音识
别来确定所述情绪状态。
7.根据权利要求1所述的方法，该方法还包括使用所述用户的面部识
别来确定所述情绪状态。
8.根据权利要求1所述的方法，该方法还包括使用所述用户的皮肤电
反应(GSR)或脑电图(EEG)数据的至少一者来确定所述情绪状态。
9.根据权利要求1所述的方法，该方法还包括从所述ROI提取图像并
创建所述对象的特征的描述符的集合。
10.根据权利要求9所述的方法，其中所述描述符用于搜索关于所述
ROI中的所述对象的信息。
11.根据权利要求9所述的方法，其中所述描述符包括确定的位置。
12.根据权利要求1所述的方法，该方法还包括存...

【专利技术属性】
技术研发人员：E·阿斯蓬，Y·雷兹尼克，艾利拉·莱尔，G·S·斯滕伯格，R·内夫，
申请(专利权)人：交互数字专利控股公司，
类型：发明
国别省市：美国;US