信息处理装置、信息处理方法和程序制造方法及图纸

[目的]为了通过指定指示对用户讲话的周围人的动作的讲话动作信息来改进用户与同该用户讲话的人之间的通信，其中，对于该用户，来自周围的信息在听觉上或视觉上被限制。[解决方案]一种信息处理装置，包括：检测单元，其被配置成检测对使用在听觉上或视觉上限制来自周围的信息的装置的用户讲话的周围人的讲话动作；以及指定单元，其被配置成在讲话动作被检测到的情况下基于监测出的周围信息来指定指示讲话动作的讲话动作信息。

Information processing devices, information processing methods and programs

[purpose] to improve the communication between the user and the person who speaks to the user by specifying the information of the speech action of the action of the person who is speaking to the user, in which the information from the surrounding is limited in the auditory or visual sense. An information processing device consisting of a detection unit configured to detect the speech action of the people around the user's speech used to hear or visually restrict the information from the surrounding; and a specified unit configured to be based on the monitoring of the speech action being detected. Information is used to specify the speech action information indicating the speech action.

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法和程序
本公开内容涉及信息处理装置、信息处理方法和程序。
技术介绍
近年来，具有噪音消除功能的头戴式耳机装置或插入式耳机装置或头戴式显示器(HMD)装置已经变得普遍。对于使用这样的装置的用户来说，来自周围的信息在听觉上或视觉上受到阻挡，并且因此容易体验到沉浸感。另一方面，使用这样的装置的用户可以享受沉浸感，但是不能容易地理解周围人所说。就这一点而言，在专利文献1中公开了基于指示用户的外部情况的外部信息来确定向用户通知外部信息的必要程度并且基于所确定的必要程度来切换向用户通知外部信息的状态的技术。根据这样的技术，穿戴有屏蔽型HMD装置的用户可以更平滑地与外部人员进行通信。引用列表专利文献专利文献1：WO2014/156388
技术实现思路
技术问题然而，根据专利文献1中公开的技术，根据向用户通知外部信息的必要程度来将外部图像信息或声音信息显示或输出给用户，但是图像信息或声音信息不是从对用户讲话的时间点显示或输出的。周围的人可能面向与用户所在的方向不同的方向，或者在对用户讲话之后离开用户。在这种情况下，尽管显示或输出了外部图像信息或声音信息，但是用户可能不能注意到讲话的人。然而，如果可以指定当周围的人对用户讲话时讲话的人的行为，则预期将进一步改进用户与对用户讲话的人之间的通信。就这一点而言，本公开内容提出一种信息处理装置、信息处理方法和程序，所述信息处理装置、信息处理方法和程序是新颖且改进的并且能够通过指定指示对来自周围的信息在听觉或视觉上受到限制的用户讲话的周围人的动作的讲话动作信息来改进用户与对用户讲话的人之间的通信。问题解决方案根据本公开内容，提供一种信息处理装置，该装置包括：检测单元，其被配置成检测对使用在听觉上或视觉上限制来自周围的信息的装置的用户讲话的周围人的讲话动作；以及指定单元，其被配置成在讲话动作被检测到的情况下基于监测出的周围信息来指定指示讲话动作的讲话动作信息。此外，根据本公开内容，提供一种信息处理方法，该方法包括：检测对使用在听觉上或视觉上限制来自周围的信息的装置的用户讲话的周围人的讲话动作；并且在检测到讲话动作的情况下基于检测的周围信息来指定指示讲话动作的讲话动作信息。此外，根据本公开内容，提供一种程序，该程序使计算机执行以下功能：检测对使用在听觉上或视觉上限制来自周围的信息的装置的用户讲话的周围人的讲话动作的功能；以及在检测到讲话动作的情况下基于检测的周围信息来指定指示讲话动作的讲话动作信息的功能。本专利技术的有益效果如以上所描述的，根据本公开内容，可以通过指定指示对来自周围的信息在听觉上或视觉上受到限制的用户讲话的周围人的动作的讲话动作信息来改进用户与对用户讲话的人之间的通信。注意，以上描述的效果不一定是限制性的。利用或代替以上效果，可以实现本说明书中描述的效果中的任何一种效果或者可以从本说明书中理解的其他效果。附图说明图1是示出根据第一实施例的信息处理系统的使用状态的说明图。图2是示出根据实施例的信息处理系统的配置的示例的功能框图。图3是示出根据实施例的信息处理装置的集成控制单元的配置的示例的功能框图。图4是示出确定人是否正在看用户的方法的示例的说明图。图5是示出由指定单元指定的讲话动作信息的列表的图。图6是示出使图像显示改变的示例的说明图。图7是通过图标指示讲话人面对的方向的说明图。图8是通过雷达图指示讲话人面对的方向的说明图。图9是示出雷达图的另一示例的说明图。图10是示出显示话语内容的文本消息的示例的说明图。图11是示出根据实施例的由信息处理装置执行的处理的流程图。图12是示出声音信息时移再现处理的说明图。图13是示出声音信息时移再现处理的流程图。图14是示出根据实施例的第一修改示例的信息处理装置的集成控制单元的配置的示例的功能框图。图15是示出讲话历史信息的示例的说明图。图16是示出再现运动图像场景的示例的说明图。图17是示出根据实施例的第二修改示例的信息处理装置的集成控制单元的配置的示例的功能框图。图18是示出向周围人通知下述状态的示例的说明图，在所述状态中，允许对用户的通知操作。图19是示出向周围人通知下述状态的示例的说明图，在所述状态中，禁止对用户的通知操作。图20是示出向周围人通知用户的状态的示例的说明图。图21是示出根据实施例的第四修改示例的信息处理系统的使用状态的说明图。图22是示出根据实施例的第四修改示例的信息处理系统的配置的示例的功能框图。图23是示出根据第二实施例的信息处理系统的配置的示例的功能框图。具体实施方式在下文中，将参照附图来详细描述本公开内容的(一个或多个)优选实施例。注意，在本说明书和附图中，用相同的附图标记表示具有基本上相同的功能和结构的结构要素，并且省略对这些结构要素的重复说明。另外，将按照以下顺序进行描述。1.第一实施例1-1.信息处理系统的概述1-2.信息处理系统的配置1-3.信息处理装置1-4.由装置执行的处理1-5.第一实施例的结论1-6.修改的示例2.第二实施例3.第三实施例<<1.第一实施例>><1-1.信息处理系统概述>首先，将描述根据本公开内容的第一实施例的包括信息处理装置110的信息处理系统的总体概述。图1是示出根据本实施例的信息处理系统的使用状态的说明图。在该信息处理系统中，使用成像单元10a和10b以及声音收集单元(未示出)来监测穿戴有在听觉上或视觉上限制来自周围的信息的装置(在下文中也被称为“沉浸式感觉装置”)的用户A所在的空间的图像和声音。此处，将具有噪声消除功能的头戴式耳机装置30和HMD装置100示出为沉浸式感觉装置。另外，例如，在检测到对用户A讲话的周围人X的动作的情况下，HMD装置100的信息处理装置110基于正被监测的图像信息和声音信息来指定指示讲话动作的信息(在下文中被称为“讲话动作信息”)。然后，信息处理装置110基于指定的讲话动作信息来控制HMD装置100和头戴式耳机装置30中的至少一个，以便给出指示周围人正在对用户A讲话的通知。相应地，具有沉浸体验的用户A可以识别来自周围人的讲话动作。另外，在下文中，由成像装置等捕获的用户A周围的图像也被称为“周围图像”，并且由声音收集单元等收集的用户A周围的声音也被称为“周围声音”。另外，作为指示讲话动作的信息的“讲话动作信息”是由安装在用户A所在的空间中的各种类型的装置检测的，并且指示当能够由信息处理装置110获取的信息当中的包括当在用户A附近的人X、Y或Z正在对用户A讲话时的动作或话语的信息。<1-2.信息处理系统的配置>接下来，将描述根据本实施例的信息处理系统的配置的示例。图2是示出信息处理系统的配置的示例的功能框图。根据本实施例的信息处理系统包括成像装置10、头戴式耳机装置30以及HMD装置100。[1-2-1.成像装置]成像装置10包括成像单元10a和10b、控制单元12以及通信单元14，并且监测穿戴有沉浸式感觉装置的用户A周围的区域。通信单元14与HMD装置100的信息处理装置110通信。具体地，通信单元14将从控制单元12提供的视线信息传送至信息处理装置110。信息处理装置110使用视线信息来确定在本文档来自技高网...

【技术保护点】
一种信息处理装置，包括：检测单元，其被配置成检测对用户讲话的周围人的讲话动作，所述用户使用在听觉上或视觉上限制来自周围的信息的装置；以及指定单元，其被配置成在所述讲话动作被检测到的情况下基于监测出的周围信息来指定指示所述讲话动作的讲话动作信息。

【技术特征摘要】
【国外来华专利技术】2015.09.29 JP 2015-1914851.一种信息处理装置，包括：检测单元，其被配置成检测对用户讲话的周围人的讲话动作，所述用户使用在听觉上或视觉上限制来自周围的信息的装置；以及指定单元，其被配置成在所述讲话动作被检测到的情况下基于监测出的周围信息来指定指示所述讲话动作的讲话动作信息。2.根据权利要求1所述的信息处理装置，其中，所述监测出的周围信息包括声音信息和图像信息中的至少一个的信息。3.根据权利要求1所述的信息处理装置，包括：内部通知控制单元，其被配置成基于所指定的讲话动作信息来控制向所述用户的通知。4.根据权利要求3所述的信息处理装置，其中，所述内部通知控制单元对用作所指定的讲话动作信息的声音信息和图像信息中的至少一个的信息执行时移再现。5.根据权利要求4所述的信息处理装置，其中，所述内部通知控制单元逐渐减小由所述时移再现引起的延迟时间，并且执行向实时的声音输出或图像显示的切换。6.根据权利要求3所述的信息处理装置，其中，所述内部通知控制单元获取进行所述讲话动作的人的位置信息，并且基于所述位置信息和所述讲话动作信息来控制向所述用户的通知。7.根据权利要求6所述的信息处理装置，其中，所述内部通知控制单元获取进行所述讲话动作的人的位置信息，并且使所述声音信息基于所述位置信息被输出。8.根据权利要求6所述的信息处理装置，其中，所述内部通知控制单元使图像显示单元基于所述位置信息来显示地图。9.根据权利要求3所述的信息处理装置，其中，所述内部通知控制单元减小所述用户正在使用的内容声音的音量，然后使得用作所指定的讲话动作信息的声音信息被输出。10.根据权利要求3所述的信息处理装置，其中，所述装置包括具有噪声消除功能的头戴式耳机装置或插入式耳机装置，并且所述内部通知控制单元抑制或停止所述噪声...

【专利技术属性】
技术研发人员：安田亮平，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP