声音信息显示装置、声音信息显示方法和程序制造方法及图纸

本公开提供了一种声音信息显示装置、声音信息显示方法和程序。根据本公开的声音信息显示装置包括：多个声音收集单元；信息获得单元，其基于所述多个声音收集单元收集的声音信息获得声源的位置信息和声音信息；显示数据生成单元，其生成显示数据，所述显示数据用于在可视图像之内的与所述信息获得单元获得的位置信息相对应的位置处显示覆盖在所述可视图像上的由所述信息获得单元获得的声音信息；以及头戴式图像显示单元，其基于由所述显示数据生成单元生成的显示数据，在所述可视图像之内的对应于声源的位置处，显示覆盖在所述可视图像上的声源的声音信息。

【技术实现步骤摘要】

本公开涉及声音信息显示装置、声音信息显示方法和程序，并且具体地涉及在头戴式显示器等上显示覆盖在可视图像上的声源的声音信息的声音信息显示装置。
技术介绍
在针对专利申请第2004-021031号的PCT国际公布的国内再公布中描述了一种用于通过多个麦克风来估计声源的位置和声音的强度的技术。进一步，在日本待审专利申请公布第2007-334149号中描述了一种用于听力受损者的头戴式显示器，该显示器通过多个麦克风识别声源的到达方向，并且输出对应于识别结果的字和拟声作为字符信息。进而，在日本待审专利申请公布第08-179791号中描述了一种可视化装置，该可视化装置从输入图像中提取声音信息，分类并且标识这样的声音是什么，并且将声音与图像之内的静止图像相关联。
技术实现思路
用于估计声源方向的技术或者用于从中查明声音的强度的技术(参考针对专利申请第2004-021031号的PCT国际公布的国内再公布)已经得以建立并且主要用于测量。 然而，由于在测量领域中对精度有要求，所以设备目前尺度很大。另一方面，这样的声源方向估计技术可以成为用于针对一般群体搜索发声体的工具，或者成为辅助听力受损者的听力的工具。上面描述的日本待审专利申请公布第2007-334149号中描述的技术是眼镜式的头戴式显示器，并且朝向一般行人调整。然而，声源的到达方向被显示为字符，这难以直观理解。进而，虽然使用拟声词来表达识别结果，但是在发声体的声音的表达方面可能存在个体差异。进一步，上面描述的日本待审专利申请公布第08-179791号中描述的技术需要庞大的数据库，进而，标识隐藏在图像之内的发声体或者标识从图像之外到达的发声体是困难的。用户希望能够直观地确定关于声源的位置和由声源产生的声音的信息。本公开的实施例的要点是一种声音信息显示装置，该声音信息显示装置包括多个声音收集单元；信息获得单元，其基于所述多个声音收集单元收集的声音信息获得声源的位置信息和声音信息；显示数据生成单元，其生成显示数据，所述显示数据用于在可视图像之内的与所述信息获得单元获得的位置信息相对应的位置处显示覆盖在所述可视图像上的由所述信息获得单元获得的声音信息；以及头戴式图像显示单元，其基于由所述显示数据生成单元生成的显示数据，在所述可视图像之内的对应于声源的位置处，显示覆盖在所述可视图像上的声源的声音信息。本公开的实施例包括多个声音收集单元，例如多个麦克风。基于多个声音收集单元收集的声音信息，信息获得单元获得声源的位置信息和声音信息。例如，声音信息是从声源输出的声音的声级信息或者从声源输出的声音的频率信息等。显示数据生成单元生成用于显示由信息获得单元获得的声音信息的显示数据。显示数据被生成以在可视图像之内的位置处显示声音信息，该位置对应于由信息获得单元获得的位置信息，以覆盖在可视图像上。例如，显示数据被生成，以使用预定形状如圆圈的尺寸来显示从声源输出的声音的等级信息。在这样的情况下，变得可以确定远近感。例如，可以根据逐渐扩大的圆圈而确定声源正在接近。进一步，例如，显示数据被生成，以使用施加到预定形状如圆圈的颜色来显示从声源输出的声音的频率信息。在这样的情况下，可以基于颜色找到特定声源。基于由显示数据生成单元生成的显示数据，在头戴式图像显示单元上显示声源的声音信息。在这样的情况下，声音信息在可视图像之内的对应于声源的位置处被显示覆盖在图像上，以覆盖在可视图像上。例如，在当声源位置处于可视图像之内时的情况下，声音信息显示在声源位置或其附近。进一步，例如，在当声源位置不在可视图像之内时的情况下，声音信息显示在可视图像的接近于声源位置的端部。头戴式图像显示单元例如可以是透射的图像显示单元。在这样的情况下，可视图像是用户可以通过图像显示单元观察的实际图像。进一步，例如，头戴式图像显示单元可以是非透射的图像显示单元。在这样的情况下，用于获得可视图像的图像数据的成像单元布置在图像显示单元上，并且由显示数据生成单元生成的显示数据叠加在成像单元所获得的图像数据上。进而，虽然基于叠加数据在图像显示单元上显示可视图像，但是声源的声音信息被显示覆盖在可视图像之内的对应于声源的位置处。亦即，在这样的情况下的可视图像是显示在图像显示单元上的显示图像。以这样的方式，在本公开的实施例中，由于声源的声音信息显示覆盖在可视图像之内的对应于声源的位置处，所以用户可以直观地确定声源的位置和从声源输出的声音的信息。进一步，在本公开的实施例中，基于多个声音收集单元收集的声音信息获得声源的位置信息和声音信息，并且甚至关于可视图像之内的预定对象中隐藏的声源，也能够在可视图像之内的对应于声源的位置处显示覆盖在隐藏的声源上的声源的声音信息。在本公开的实施例中，例如，多个声音收集单元可以显示在图像显示单元上，并且由多个声音收集单元的布置位置配置而成的表面可以不正交于图像显示单元的显示表面。 在这样的情况下，易于执行在图像显示单元的显示表面之上、亦即在二维平面之上获得声源位置。例如，由多个声音收集单元的布置位置配置而成的表面可以平行于图像显示单元的显示表面。在这样的情况下，用于在图像显示单元的显示表面之上获得声源位置的操作变得容易。进一步，在本公开的实施例中，例如，多个声音收集单元可以包括多个全向声音收集单元和多个定向声音收集单元，并且信息获得单元可以基于多个全向声音收集单元收集的声音信息获得声源的第一定向信息，可以基于第一定向信息通过控制多个定向声音收集单元的定向方向而获得声源在多个定向声音收集单元的布置位置中的第二定向信息，并且可以基于第二定向信息获得声源的位置信息。在这样的情况下，可以提高获得的声源的位置信息的准确度，而不用增加声音收集单元的数目。进一步，在本公开的实施例中，例如，可以进一步包括声源指定单元，其指定作为由信息获得单元获得位置信息和声音信息的目标的声源。例如，在声源指定单元中，可以指定通过频率作为用于获得声音信息的目标的声源。在这样的情况下，可以在可视图像之内仅显示特定声源的声音信息，并且对特定声源的搜索变得容易。根据本公开的实施例，由于声源的声音信息被显示覆盖在可视图像之内的对应于声源的位置处，所以用户可以直观地确定声源的位置和从声源输出的声音的信息，并且，例如使用听力受损者等的视觉来辅助听力成为可能。附图说明图1是图示作为本公开的第一实施例的透射的头戴式显示器(透射HMD)的外观的示图；图2A和2B是用于描述由四个麦克风的布置位置配置而成的表面和显示表面之间的关系的示图；图3是图示作为本公开的第一实施例的透射HMD系统的配置例子的框图；图4是图示配置透射HMD系统的信号处理单元的配置例子的框图；图5A和5B是用于描述用于声源位置检测的到达角的计算方法的例子的示图；图6是图示配置透射HMD系统的信号处理单元的处理顺序的流程图；图7A至7C是图示显示例子的示图，在该显示例子中，声音信息被显示覆盖在可视图像之内的对应于声源的位置处；图8A和8B是用于描述针对透射HMD的其它麦克风布置例子的示图；图9是图示作为本公开的第二实施例的透射的头戴式显示器(透射HMD)的外观的示图；图10是图示作为本公开的第二实施例的透射HMD系统的配置例子的框图；图11是图示配置透射HMD系统的信号处理单元的配置例子的框图；图12是图本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：酒井寿理，
申请(专利权)人：索尼公司，
类型：发明
国别省市：