信息处理装置和信息处理方法制造方法及图纸

提供了一种信息处理装置，其基于包括环境识别和用户动作识别的状态识别，以适当的形式控制声音信息，并将声音信息呈现给在环境中动作的用户。一种信息呈现装置包括：传感器，用于检测对象；耳孔开口耳机，其安装到收听者的耳朵上，并设置有声响生成单元和声音引导单元，用于将由声响生成单元生成的声音发送到耳孔内部；以及处理单元，用于处理关于由声响生成单元生成的声源的声音信息。处理单元获取关于与由传感器检测到的对象相对应的声源的声音信息，并且执行处理，在该处理中，在改变声像的位置的同时，定位所获取的声源的声像，与三维声响空间中与检测到的对象的位置相对应的位置相关联地执行定位。

Information processing device and information processing method

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置和信息处理方法
本文公开的技术涉及一种信息处理装置和一种信息处理方法，该信息处理装置和信息处理方法基于包括对环境的识别和对用户动作的识别的情境识别，以适当的形式控制声音信息并将其呈现给在环境中做出动作的用户。
技术介绍
为了辅助视觉障碍者做出动作，已经开发了从三维声响空间提供声响信息的系统。例如，提出了：行走训练环境生成系统，其通过任意设置行走训练环境来生成虚拟声响空间，该行走训练环境包括例如可移动声源或墙壁(例如，参考专利文献1)；耳机，其包括一组输入机构，该输入机构从用户接收用于调用将由空间交互模块实现的空间交互相关功能的相应命令，并且当用户与空间进行交互时，向用户呈现音频信息(例如，参考专利文献2)；头戴式计算装置，其通过音频输出在环境中提供导航辅助(例如，参考专利文献3)等。引用列表专利文献专利文献1：日本专利申请公开号2006-163175专利文献2：PCT国际申请号2018-502360的日文翻译专利文献3：PCT国际申请号2017-513535的日文翻译
技术实现思路
技术问题专利文献1中公开的系统能够通过基于预先定义的道路环境元素、声音元素和墙壁元素在三维空间中生成声响数据来向用户提供虚拟训练环境。此外，专利文献2中公开的耳机通过骨传导提供音频信息，因此不关闭用户的耳道。该头戴式耳机能够在佩戴该头戴式耳机的用户在两个地方之间移动时生成路线，并且能够在用户沿着路线移动时，通过根据基于经由各种传感器掌握的绝对位置/相对位置信息和从地图掌握的障碍信息的确定，或者根据从设置在空间中的信标发送的信息，经由语音信息等向用户给出一系列提示，来向用户提供导航引导。此外，通过该耳机向用户提供用于与诸如手势输入之类的工具进行交互的方法，这使得该耳机能够提供的引导对用户友好且不引人注目。此外，专利文献3中公开的头戴式计算装置能够向听力受损的用户提供导航辅助，例如，通过向用户提供距离信息，该距离信息的提供包括通过使用深度图像数据和可见光传感器系统掌握环境来掌握对象的物理特性，并且基于用户的头部相关传递函数，或者通过改变音量，来从三维声响空间中的特定位置生成称为音频导航提示的声音信息。然而，当基于从信标发送的信息向佩戴专利文献2中公开的耳机的用户提供语音信息时，由于耳机不关闭用户的耳道，所以用户可能无法区分所提供的语音信息和要从真实环境直接发送到耳朵的环境语音。此外，如专利文献2和专利文献3中所公开的，即使当设置信标等时，如果发送了过量的信息，则存在用户在不依赖于视觉信息的情况下在真实空间中使用导航引导时可能被过量的信息所混淆的风险。鉴于这种情况，本文公开了一种信息处理装置和信息处理方法，其允许将声响信息呈现给在真实环境中动作的用户，该声响信息允许用户基于使用传感器信息对环境的识别以及考虑例如用户在环境中的状况和动作的情境的识别，有利地将虚拟声音或要在三维声响空间中人工再现的语音与真实环境中的环境声音(包括语音)彼此区分开来。信息处理装置和信息处理方法还允许根据用户的需要或状况(例如，环境和情境)适当地控制在三维声响空间中再现的虚拟声音信息或语音信息的量。问题的解决方案本文公开的技术已经用于解决上述问题。根据第一方面，提供了一种信息处理装置，包括：传感器，其检测对象；耳朵开放式耳机，其戴在收听者的耳朵上，并且包括声响生成单元，以及声音引导部，其将由声响生成单元生成的声音发送到耳孔中；以及处理单元，其处理声源的声音信息，所述声音信息是由所述声响生成单元生成的，所述处理单元进行如下处理：获取与由所述传感器检测到的对象相对应的声源的声音信息，并且在根据三维声响空间中的位置相关地改变声像的位置的同时定位所获取的声源的声像，所述三维声响空间中的位置对应于检测到的对象的位置。根据第一方面的信息处理装置具有两种或多种感测模式，包括正常模式，其中，传感器在传感器的正常检测区域中执行检测，白手杖模式，其中，传感器在比正常模式下的正常检测区域小的检测区域中执行检测。在白手杖模式下，当传感器检测到收听者周围的预定范围内的区域中的对象时，所述处理单元执行在改变声像的位置的同时定位声源的声像的处理。此外，根据本文公开的技术的第二方面，提供了一种信息处理装置，包括：传感器，其检测对象；耳朵开放式耳机，其戴在收听者的耳朵上，并且包括声响生成单元，以及声音引导部，其将由声响生成单元生成的声音发送到耳孔中；以及处理单元，其处理声源的声音信息，由所述声响生成单元生成所述声音信息，所述处理单元进行如下处理：获取与由所述传感器检测到的所述对象相关的由信息提供单元提供的信息对应的声源的声音信息，以及在选择声音信息的类型并控制声音信息的量的同时定位所获取的声源的声像。此外，根据本文公开的技术的第三方面，提供了一种信息处理装置，包括耳朵开放式耳机，包括：声响生成单元，其设置在收听者的耳朵的后部，以及声音引导部，其具有经由耳垂附近从耳朵的耳廓后部向后折叠到耳朵的耳廓前部的结构，并且将由声响生成单元生成的声音发送到耳孔中；传感器，其获取外部信息；以及处理器，在选择了多种模式下的任何一种模式的状态下操作所述信息处理装置，所述处理器基于经由传感器获取的外部信息再现外部三维空间，生成虚拟声音信息，用于使声响生成单元根据从多种模式下选择的模式生成声音，并且定位在三维空间中位置随时间变化的声源的声像。此外，根据本文公开的技术的第四方面，提供了一种信息处理方法，包括：检测对象的步骤；获取与检测到的对象相对应的声源的声音信息的步骤；执行在根据三维声响空间中的位置改变声像的位置的同时定位所获取的声源的声像的处理的步骤，所述三维声响空间中的位置对应于检测到的对象的位置；以及从耳朵开放式耳机输出声像的声音的步骤，包括声响生成单元，以及声音引导部，其将由声响生成单元生成的声音发送到耳孔中。此外，根据本文公开的技术的第五方面，提供了一种信息处理方法，包括：检测对象的步骤；获取与相对于检测到的对象提供的信息相对应的声源的声音信息的步骤；执行在选择声音信息的类型并控制声音信息的量的同时定位所获取的声源的声像的处理的步骤；以及从耳朵开放式耳机输出声像的声音的步骤，包括声响生成单元，以及声音引导部，其将由声响生成单元生成的声音发送到耳孔中。专利技术的有益效果根据本文公开的技术，可以提供信息处理装置和信息处理方法，该信息处理装置和信息处理方法允许通过使收听者戴上耳朵开放式耳机来向在真实环境中动作的收听者呈现声响，该声响允许用户有利地将在三维声响空间中人工再现的虚拟声音和真实环境中的声音彼此区分开来。本文公开的信息处理装置能够不本文档来自技高网...

【技术保护点】
1.一种信息处理装置，包括：/n传感器，所述传感器检测对象；/n耳朵开放式耳机，所述耳朵开放式耳机被戴在收听者的耳朵上，并且包括：/n声响生成单元，以及/n声音引导部，所述声音引导部将由所述声响生成单元生成的声音发送到耳孔中；以及/n处理单元，所述处理单元处理声源的声音信息，所述声音信息是由所述声响生成单元生成的，/n所述处理单元执行以下处理：/n获取与由所述传感器检测到的所述对象相对应的所述声源的所述声音信息，以及/n在根据三维声响空间中的位置改变声像的位置的同时定位所获取的所述声源的所述声像，所述三维声响空间中的位置对应于检测到的所述对象的位置。/n

【技术特征摘要】
【国外来华专利技术】20180524 JP 2018-0995531.一种信息处理装置，包括：
传感器，所述传感器检测对象；
耳朵开放式耳机，所述耳朵开放式耳机被戴在收听者的耳朵上，并且包括：
声响生成单元，以及
声音引导部，所述声音引导部将由所述声响生成单元生成的声音发送到耳孔中；以及
处理单元，所述处理单元处理声源的声音信息，所述声音信息是由所述声响生成单元生成的，
所述处理单元执行以下处理：
获取与由所述传感器检测到的所述对象相对应的所述声源的所述声音信息，以及
在根据三维声响空间中的位置改变声像的位置的同时定位所获取的所述声源的所述声像，所述三维声响空间中的位置对应于检测到的所述对象的位置。


2.根据权利要求1所述的信息处理装置，其中，
所述声源生成虚拟声音，并且
所述处理单元相对于生成所述虚拟声音的所述声源的所述声像执行在改变所述声像的位置的同时定位所述声源的所述声像的处理。


3.根据权利要求2所述的信息处理装置，其中，
由所述处理单元处理的所述虚拟声音具有的特征与通过所述耳朵开放式耳机的开口部到达耳膜的声音的特征不同。


4.根据权利要求1所述的信息处理装置，其中，
所述传感器具有与感测模式相一致的检测区域。


5.根据权利要求4所述的信息处理装置，其中，
所述感测模式包括：
正常模式，在所述正常模式下，所述传感器在所述传感器的正常检测区域中执行检测，以及
白手杖模式，在所述白手杖模式下，所述传感器在比所述正常模式下的所述正常检测区域小的检测区域中执行所述检测。


6.根据权利要求5所述的信息处理装置，其中，
在所述白手杖模式下，所述处理单元执行如下处理：当所述传感器在所述收听者周围的预定范围内的区域中检测到所述对象时，在改变所述声像的位置的同时定位所述声源的所述声像。


7.根据权利要求5所述的信息处理装置，还包括：
LED，所述LED具有发射多种颜色的光束的功能，其中，
在所述白手杖模式下，所述LED发射所述多种颜色中的预定一种颜色的光束。


8.一种信息处理装置，包括：
传感器，所述传感器检测对象；
耳朵开放式耳机，所述耳朵开放式耳机被戴在收听者的耳朵上，并且包括：
声响生成单元，以及
声音引导部，所述声音引导部将由所述声响生成单元生成的声音发送到耳孔中；以及
处理单元，所述处理单元处理声源的声音信息，所述声音信息是由所述声响生成单元生成的，
所述处理单元执行以下处理：
获取与由所述传感器检测到的所述对象相关的、由信息提供单元提供的信息对应的所述声源的所述声音信息，以及
在选择所述声音信息的类型并控制所述声音信息的量的同时定位所获取的所述声源的声像。


9.根据权利要求8所述的信息处理装置，其中，
所述声音信息的类型是语音数据或声源数据。


10.根据权利要求8所述的信息处理装置，其中，
所述处理单元根据生成所述声源数据的声音的频率来控制所述声音信息的量。


11.根据权利要求9所述的信息处理装置，其中，
在所述声音信息的类型是语音数据的情况下，所述声音信息包括：
角色ID，以及
关于由所述角色ID指定的语音的特征的信息。


12.根据权利要求9所述的信息处理装置，其中，
在所述声音信息的类型是所述声源数据的情况下，所述声音信息包括以下中的至少一个：
频率，
持续时间，
声压样本值的时间序列数据，以及
声音ID。


13.根据权利要求8所述的信息处理装置，其中，
所述信息提供单元：
从数据库获取要从所述对象指定的信息，并且
提供要从所述对象指定的信息。


14.根据权利要求8所述的信息处理装置，其中，

【专利技术属性】
技术研发人员：五十岚刚，铃木淳也，沼冈千里，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP