服务器、客户端、控制方法和存储介质技术

提供了可以呈现用户未注意到的信息的服务器、客户端、控制方法和存储介质。[解决方案]提供了服务器，该服务器包括：通信单元，其接收与由客户端的图像捕获单元获取的图像相关的信息；以及控制单元，其能够基于与图像相关的信息来提取与对象对应的信息并且将与对象相关的信息发送至客户端，该对象位于用户的注视区域之外并且与用户信息相关。

Server, Client, Control Method and Storage Media

Provides servers, clients, control methods and storage media that can present information that users have not noticed. [Solution] Provides a server that includes: a communication unit that receives information related to the image captured by the client's image capture unit; and a control unit that can extract information corresponding to the object based on information related to the image and send information related to the object to the client, which is located outside the user's gaze area and associated with the object. User information is relevant.

【技术实现步骤摘要】
【国外来华专利技术】服务器、客户端、控制方法和存储介质
本公开内容涉及服务器、客户端、控制方法和存储介质。
技术介绍
近年来，已经提出了通过使用文本或声音来呈现与用户的视场中的目标对象相关的信息的技术。例如，下面列出的专利文献1提出了在用户佩戴的头戴式显示器(HMD)中叠加和显示对目标对象的说明的技术。另外，下面列出的专利文献2提出了用于发送和接收消息的聊天系统以及反映用户的面部表情的头像图像。引用列表专利文献专利文献1：JP2014-167716A专利文献2：JP2013-9073A
技术实现思路
技术问题然而，专利文献1和专利文献2没有呈现与用户未注意到的目标对象相关的信息。因此，本公开内容提出了能够呈现用户未注意到的信息的服务器、客户端、控制方法和存储介质。问题的解决方案根据本公开内容，提出了一种服务器，包括：通信单元，其被配置成接收与由客户端的成像单元获取的图像相关的信息；以及控制单元，其被配置成能够基于与图像相关的信息来提取与对象对应的信息，并且将与对象相关的信息发送至客户端，该对象位于用户的注视区域之外并且与用户信息相关。根据本公开内容，提出了一种客户端，包括：输出单元，其被配置成向用户输出信息；以及控制单元，其被配置成控制输出单元，使得根据与对象对应的信息输出与对象相关的信息，该对象基于与由成像单元获取的图像相关的信息来指定，该对象位于用户的注视区域之外并且与用户信息相关。根据本公开内容，提出了一种控制方法，该控制方法使得处理器：由通信单元接收与由客户端的成像单元获取的图像相关的信息；并且能够基于与图像相关的信息来提取与对象对应的信息，并且将与对象相关的信息发送至客户端，对象位于用户的注视区域之外并且与用户信息相关。根据本公开内容，提出了一种存储介质，该存储介质存储有程序，该程序使计算机充当：输出单元，其被配置成向用户输出信息；以及控制单元，其被配置成控制输出单元，使得根据与对象对应的信息输出与对象相关的信息，该对象基于与由成像单元获取的图像相关的信息来指定，该对象位于用户的注视区域之外并且与用户信息相关。本专利技术的有益效果如上所述，根据本公开内容，可以呈现用户未注意到的信息。注意，上述效果不一定是限制性的。使用或替代上述效果，可以实现本说明书中描述的效果中的任何一种效果或者可以从本说明书中掌握的其他效果。附图说明[图1]图1是示出根据本公开内容的第一实施方式的信息处理系统的概览的图。[图2]图2是示出根据第一实施方式的信息处理系统的整体配置的图。[图3]图3是示出根据第一实施方式的眼镜型终端的配置的示例的框图。[图4]图4是示出根据第一实施方式的服务器的配置的示例的框图。[图5]图5是示出根据第一实施方式的在用户信息DB中累积的用户信息的示例的图。[图6]图6是示出根据第一实施方式的在对象信息DB中累积的对象信息的示例的图。[图7]图7是示出根据第一实施方式的信息处理系统的操作处理的序列图。[图8]图8是示出根据第一实施方式的标签图像检测处理的流程图。[图9]图9是示出标准人的视场的图。[图10]图10是示出根据第一实施方式的呈现信息获取处理的流程图。[图11]图11是示出根据第一实施方式的对象信息获取处理的流程图。[图12]图12是示出根据第一实施方式的关注度设置处理的流程图。[图13]图13是示出根据第一实施方式的呈现信息提供处理的流程图。[图14]图14是示出根据第一实施方式的呈现方法设置处理的流程图。[图15]图15是示出根据第一实施方式的信息呈现处理的流程图。[图16]图16是示出根据第一实施方式的用户行为检测处理的流程图。[图17]图17是示出根据第一实施方式的由眼镜型终端执行的呈现信息更新处理的流程图。[图18]图18是示出根据第一实施方式的由服务器执行的呈现信息更新处理的流程图。[图19]图19是示出根据第一实施方式的角色显示的具体示例的图。[图20]图20是示出根据第一实施方式的用于改变建筑物的注视方向的具体示例的图。[图21]图21是示出根据第一实施方式的标签图像映射数据的示例的图。[图22]图22是示出根据第二实施方式的信息处理系统的概览的图。[图23]图23是示出根据第二实施方式的信息处理系统的各个结构元件的图。[图24]图24是示出根据第二实施方式的成像单元的安装示例的图。[图25]图25是示出根据第二实施方式的成像单元的另一安装示例的图。[图26]图26是示出根据第二实施方式的信息处理系统中的操作处理的序列图。[图27]图27是示出根据第二实施方式的信息处理系统中的操作处理的序列图。[图28]图28是示出根据第二实施方式的第一应用示例的信息处理系统的整体配置的图。[图29]图29是示出根据第二实施方式的第一应用示例的信息处理系统的操作处理的流程图。[图30]图30是示出根据第二实施方式的第二应用示例的信息处理系统的整体配置的图。[图31]图31是示出根据第二实施方式的第二应用示例的信息处理系统的操作处理的流程图。[图32]图32是示出根据第二实施方式的第二应用示例的信息处理系统的操作处理的流程图。[图33]图33是图示根据第二实施方式的第三应用示例的信息处理系统的整体配置的图。[图34]图34是示出根据第二实施方式的第三应用示例的信息处理系统的操作处理的流程图。具体实施方式在下文中，将参照附图详细描述本专利技术的一个或更多个优选实施方式。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。注意，描述按以下顺序给出。1.第一实施方式1-1.概述1-2.配置1-3.操作处理1-4.显示示例1-5.补充2.第二实施方式2-1.概述2-2.配置2-3.操作处理2-4.应用示例2-5.补充3.结论<<1.第一实施方式>><1-1.概述>图1是示出根据本公开内容的第一实施方式的信息处理系统的概览的图。如图1所示，当佩戴透视眼镜型终端1(客户端的示例)的用户沿着街道行走并且即使在招牌30处于用户视场中的情况下用户也没有注视或注意到招牌30时，通过使用增强现实(AR)在招牌30上显示角色图像34，并且例如输出诸如“新裙子已到货！”的语音。角色图像34表示移动以引起用户注意的“眼睛”。更具体地，眼镜型终端1执行控制，使得当眼镜型终端1的成像单元提取标签图像32时，呈现与招牌30的标签图像32对应的信息。成像单元被配置成捕获用户视场的图像。此时，在眼镜型终端1检测到用户的注视的情况下，眼镜型终端1执行控制，使得与标签图像32对应的信息被呈现为用户未注意到的信息，识别用户的注视区域，并且从注视区域外的至少一个区域——更具体地，在用户的视场中但是未被用户识别的区域——提取标签图像32。注意，可以将呈现信息限制为用户关注的事件。因此，用户可以注意到招牌30，并且可以防止用户错过该用户关注的服装店。接下来，将详细描述根据第一实施方式的信息处理系统的配置和操作处理。<1-2.配置>(1-2-1.整体配置)图2是示出根据第一实施方式的信息处理系统的整体配置的图。如图2所示，根据实施方式的信息处理系统包括眼镜型终端1和服务器2。眼镜型终端1和服务器2经由网络3连接，并且发送/接收数据。眼镜型终端1本文档来自技高网...

【技术保护点】
1.一种服务器，包括：通信单元，其被配置成接收与由客户端的成像单元获取的图像相关的信息；以及控制单元，其被配置成能够基于与所述图像相关的信息来提取与对象对应的信息，并且将与所述对象相关的信息发送至所述客户端，所述对象位于用户的注视区域之外并且与用户信息相关。

【技术特征摘要】
【国外来华专利技术】2016.10.07 JP 2016-1990281.一种服务器，包括：通信单元，其被配置成接收与由客户端的成像单元获取的图像相关的信息；以及控制单元，其被配置成能够基于与所述图像相关的信息来提取与对象对应的信息，并且将与所述对象相关的信息发送至所述客户端，所述对象位于用户的注视区域之外并且与用户信息相关。2.根据权利要求1所述的服务器，其中，所述控制单元执行控制，使得从由所述客户端的成像单元获取的所述用户的视场图像中提取与取决于所述用户的兴趣信息的对象对应的信息，并且经由所述通信单元将要呈现给所述用户的呈现信息和角色信息发送至所述客户端，所述角色信息指示在与所述对象对应的信息上叠加和显示的角色。3.根据权利要求2所述的服务器，其中，所述控制单元基于与所述对象相关的信息同所述用户的兴趣信息之间的比较来决定要呈现给所述用户的呈现信息。4.根据权利要求1所述的服务器，其中，当经由所述通信单元接收到与所述用户对叠加和显示在与所述对象对应的信息上的角色的注视相关的信息时，所述控制单元根据与所述用户的所述注视相关的信息改变要呈现给所述用户的呈现信息的内容。5.根据权利要求4所述的服务器，其中，与所述用户的所述注视相关的信息是呈现信息更新请求。6.根据权利要求5所述的服务器，其中，所述控制单元根据所述呈现信息更新请求将所述呈现信息的内容改变成更详细的信息。7.根据权利要求4所述的服务器，其中，与所述用户对叠加和显示的角色的注视相关的信息是关于所述用户注意到所述角色这一事实的信息。8.根据权利要求1所述的服务器，其中，所述控制单元具有理解由所述客户端的用户输入的声音的含义并且将对应的声音消息发送至所述客户端的功能，并且所述控制单元控制所述通信单元，使得当由从所述客户端的成像单元捕获的图像中检测到预先登记的人时，将用于向所述用户通知所述检测的声音消息发送至所述客户端。9.根据权利要求8所述的服务器，其中，所述控制单元控制所述通信单元，使得当从由所述客户端的成像单元捕获的、至少所述用户的视场之外的区域的图像中检测到预先登记的人时，将用于向所述用户通知所述检测的...

【专利技术属性】
技术研发人员：细田育英，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP