显示装置及其控制方法、头戴式显示装置及其控制方法制造方法及图纸

本发明专利技术提供一种显示装置，该显示装置使声源和表示从声源获取到的声音的文字图像建立关联地被使用者视觉确认。透射式的显示装置具备：图像显示部，其生成表示图像的图像光，使图像光被使用者视觉确认，并且使外景透过；声音获取部，其获取声音；转换部，其将声音转换为利用文字表示为图像的文字图像；确定方向设定部，其设定确定方向；以及显示位置设定部，其基于确定方向来设定在使用者的视野中的使表示上述文字图像的文字图像光被视觉识别的位置亦即图像显示位置。

Display device and control method, head mounted display device and control method thereof

The present invention provides a display device which enables the sound source and the text image representing the sound obtained from the sound source to be visually recognized by the user in association. A transmission type display device is provided with an image display unit which generates an image light representing an image so that the image light is visually recognized by the user and the external scene is transmitted; a sound acquisition unit which obtains the sound; a conversion unit which converts the sound into a text image represented by a text image; and a direction setting unit which sets the sound. The direction is determined, and the display position setting section sets the position in the user's field of view where the text image light representing the above-mentioned text image is visually recognized, i.e. the image display position, based on the determination direction.

【技术实现步骤摘要】
显示装置及其控制方法、头戴式显示装置及其控制方法
本专利技术涉及显示装置。
技术介绍
公知有佩戴于头部的显示装置亦即头戴式显示装置（头戴式显示器（HeadMountedDisplay），HMD）。头戴式显示装置例如利用液晶显示器以及光源来生成表示图像的图像光，并利用投影光学系统、导光板来将所生成的图像光导向使用者的眼睛，由此使使用者视觉识别虚像。头戴式显示装置有两种类型，即、使用者除了虚像以外还能够视觉识别外景的透射式和使用者不能够视觉识别外景的非透射式。透射式的头戴式显示装置有光学透射式和视频透射式。在透射式的头戴式显示装置中，公知有将声音转换为表示声音的文字图像而得以被使用者视觉识别的技术。例如，专利文献1公开了一种在听觉障碍者用的头戴式显示装置中将由所配备的话筒取得的各种声音作为文字图像而得以被使用者视觉识别的技术。专利文献1：日本特开2007-334149号公报可是，在专利文献1所记载的技术中，在头戴式显示装置中，使用者虽然能够视觉识别表示声音的文字图像，但是由于为了文字图像得以被使用者视觉识别而将形成虚像的位置固定在使用者视野中，所以文字图像可能妨碍使用者的视场。另外，还存在未考虑声源与表示从声源获取的声音的文字图像的关系的课题。另外，存在欲对从多个声源获取的多种声音进行识别的课题。此外，上述的课题并不局限于头戴式显示装置，而是显示装置所共有的课题。
技术实现思路
本专利技术是为了解决上述课题的至少一部分而完成的专利技术，能够作为以下的方式实现。（1）根据本专利技术的一种方式，提供透射式的显示装置。该显示装置具备：图像显示部，其生成表示图像的图像光，使上述图像光被使用者视觉识别，并且使外景透过；声音获取部，其获取声音；转换部，其将上述声音转换为利用文字表示为图像的文字图像；确定方向设定部，其设定确定方向；以及显示位置设定部，其基于上述确定方向来设定使表示上述文字图像的文字图像光在使用者的视野中被视觉识别的位置亦即图像显示位置。根据该方式的显示装置，能够基于使用者设定的确定方向来使获取的声音被使用者视觉识别为表示声音的文字图像，能够提高使用者识别声音的理解度。另外，由于基于使用者设定的确定方向来对表示获取到的声音的文字图像设定在使用者的视野中的图像显示位置，所以使用者能够将设定的确定方向和文字图像建立关联地视觉识别，容易识别设定的确定方向和文字图像的关系，使用者的便利性提高。（2）在上述方式的显示装置中，上述显示位置设定部可以按不和使用者的视野中的与上述确定方向对应的位置重叠的方式来设定上述图像显示位置。根据该方式的显示装置，使用者容易将识别声源和表示从声源获取的声音的文字图像建立关联地识别。（3）在上述方式的显示装置中，上述显示位置设定部可以将上述图像显示位置设定在使用者的视野中的与中心以外对应的位置。根据该方式的显示装置，使用者能够在视野的中心一边视觉识别外景，一边视觉识别表示声音的文字图像。（4）在上述方式的显示装置中，上述声音获取部获取声音的灵敏度根据从声源朝向上述声音获取部的方向而不同，上述确定方向基于获取到的声音的灵敏度而被设定。根据该方式的显示装置，使表示音量最大的声音的文字图像被使用者视觉确认，所以即使是使用者难以听见外部的声音的情况，也能够使最应该注意的外部的声音被使用者识别为视觉信息。（5）在上述方式的显示装置中，上述确定方向可以是从上述声音获取部朝向声源的方向。根据该方式的显示装置，能够使从声源获取到的声音与声源建立关联地被使用者视觉识别，使用者对获取到的声音的理解度提高。（6）在上述方式的显示装置中，具备获取多个时刻的外景的图像的图像获取部，上述图像显示位置设定部基于多个时刻的上述外景的图像的变化和上述确定方向来设定上述图像显示位置。根据该方式的显示装置，声源方向更具体地被使用者识别，文字图像被使用者视觉识别的位置被设定在声源方向的附近，所以使声源方向与表示目标声源所发出的声音的文字图像进一步建立关联而容易被使用者识别。（7）在上述方式的显示装置中，还具备确定从上述显示装置到声源的距离的距离确定部，上述显示位置设定部基于上述确定出的距离来进行上述文字图像光的大小的变化和上述图像显示位置的设定之中至少一方。根据该方式的显示装置，由于根据从使用者到目标声源的距离来进行文字图像的大小的变化或者图像显示位置的设定之中至少一方，所以能够使到目标声源的距离被使用者识别为视觉信息。（8）在上述方式的显示装置中，还具备确定从上述显示装置到声源的距离的距离确定部，上述转换部基于上述确定出的距离来变更上述文字图像的种类。根据该方式的显示装置，由于被使用者视觉识别的文字图像的种类根据从使用者到目标声源的距离而变化，所以能够使到目标声源的距离被使用者识别为视觉信息。（9）在上述方式的显示装置中，上述声音获取部获取声音的音量的灵敏度根据从声源朝向上述声音获取部的方向而不同，上述显示位置设定部基于按相同声源发声的不同方向而不同并被获取的声音的音量来设定上述图像显示位置。根据该方式的显示装置，即使不获取外景图像，也设定声源方向并使在目标声源附近获取到的文字图像被使用者视觉确认，所以使用者的便利性提高。（10）在上述方式的显示装置中，上述声音获取部获取声音的灵敏度根据从声源朝向上述声音获取部的方向而不同，并被设定为使获取来自上述确定方向的声音的灵敏度最大的方向。根据该方式的显示装置，声音获取部以高灵敏度获取来自确定方向的声音，由于越偏离确定方向越难以获取声音，所以从确定方向获取的声音的精度提高。（11）在上述方式的显示装置中，还具备：声音识别部，其按上述声音的种类识别从多个声源获取的不同种类的声音；和操作部，其接受使用者的操作，其中，上述确定方向设定部基于上述操作来从上述声音获取部到被获取了多个上述声音中的一个上述声音的声源的方向亦即确定声源方向，上述显示位置设定部将识别表示上述一个上述声音的上述图像光的位置在使用者的视野中设定在与上述确定声源方向对应的位置。根据该方式的显示装置，即使在多人发言的会话中，也能在使用者视野VR中，在确定声源方向的附近的位置视觉确认表示从声源方向获取到的声音的文字图像。由此，使用者除了听觉以外，还能够用视觉将确定声源方向和表示从确定声源方向获取的声音的文字图像建立关联地识别，容易理解会话的内容。（12）在上述方式的显示装置中，上述显示位置设定部可以在使用者在视野中将使表示上述一个上述声音的上述图像光被识别的位置设定为与多个上述确定声源方向对应的位置均不重叠的位置。根据该方式的显示装置，在使用者的视野VR中，表示从多个确定声源方向获取到的声音的文字图像均在不与多个声源方向重叠的位置被视觉确认，所以使用者能够将确定声源方向和表示从确定声源方向获取的声音的文字图像进一步建立关联视觉识别。（13）在上述方式的显示装置中，上述图像显示部按上述声音的种类将多个上述声音生成为不同的上述图像光，并按种类使多个上述声音的上述图像光被使用者视觉识别为虚像，上述操作是从在使用者的视野中被识别的按种类为单位的多个上述声音的上述图像光确定与来自一个上述确定声源方向的上述声音对应的上述图像光的操作。根据该方式的显示装置，使用者能够通过简便的操作容易地设定确定声源方向和表示从确定声源方向获取的声音的文字图像本文档来自技高网...

【技术保护点】
1.一种显示装置，其特征在于，是透射式的显示装置，该显示装置具备：图像显示部，其生成表示图像的图像光，使所述图像光被使用者视觉识别，并且使外景透过；声音获取部，其获取声音；转换部，其将所述声音转换为利用文字表示为图像的文字图像；确定方向设定部，其设定确定方向；以及显示位置设定部，其基于所述确定方向来设定使表示所述文字图像的文字图像光在使用者的视野中被视觉识别的位置亦即图像显示位置,所述显示装置还具备推定使用者的视线方向的视线方向推定部，所述图像显示部在被佩戴于使用者的头部的状态下使所述图像光被使用者视觉识别，所述显示位置设定部基于所述确定方向与所述视线方向之间的关系来设定所述图像显示位置，所述显示位置设定部在所述视线方向和所述确定方向所成的角度亦即确定角度小于第1阈值的情况下，将所述图像显示位置设定在使用者的视野中的与所述确定方向对应的位置的附近，而在所述确定角度为第1阈值以上的情况下，与所述确定方向无关地设定所述图像显示位置。

【技术特征摘要】
2012.12.18 JP 2012-275338;2013.10.04 JP 2013-208871.一种显示装置，其特征在于，是透射式的显示装置，该显示装置具备：图像显示部，其生成表示图像的图像光，使所述图像光被使用者视觉识别，并且使外景透过；声音获取部，其获取声音；转换部，其将所述声音转换为利用文字表示为图像的文字图像；确定方向设定部，其设定确定方向；以及显示位置设定部，其基于所述确定方向来设定使表示所述文字图像的文字图像光在使用者的视野中被视觉识别的位置亦即图像显示位置,所述显示装置还具备推定使用者的视线方向的视线方向推定部，所述图像显示部在被佩戴于使用者的头部的状态下使所述图像光被使用者视觉识别，所述显示位置设定部基于所述确定方向与所述视线方向之间的关系来设定所述图像显示位置，所述显示位置设定部在所述视线方向和所述确定方向所成的角度亦即确定角度小于第1阈值的情况下，将所述图像显示位置设定在使用者的视野中的与所述确定方向对应的位置的附近，而在所述确定角度为第1阈值以上的情况下，与所述确定方向无关地设定所述图像显示位置。2.根据权利要求1所述的显示装置，其特征在于，所述显示位置设定部按所述图像显示位置不和使用者视野中的与所述确定方向对应的位置重叠的方式来设定所述图像显示位置。3.根据权利要求1或者2所述的显示装置，其特征在于，所述显示位置设定部将所述图像显示位置设定在使用者的视野中的与中心以外对应的位置。4.根据权利要求1所述的显示装置，其特征在于，所述声音获取部获取声音的灵敏度根据从声源朝向所述声音获取部的方向而不同，所述确定方向基于获取到的声音的灵敏度而被设定。5.根据权利要求1所述的显示装置，其特征在于，所述确定方向是从所述声音获取部朝向声源的方向。6.根据权利要求1所述的显示装置，其特征在于，还具备获取多个时刻的外景的图像的图像获取部，所述图像显示位置设定部基于多个时刻的所述外景的图像的变化和所述确定方向来设定所述图像显示位置。7.根据权利要求1所述的显示装置，其特征在于，还具备确定从所述显示装置到声源的距离的距离确定部，所述显示位置设定部基于所述确定出的距离来进行所述文字图像光的大小的变化和所述图像显示位置的设定之中至少一方。8.根据权利要求1所述的显示装置，其特征在于，还具备确定从所述显示装置到声源的距离的距离确定部，所述转换部基于所述确定出的距离来变更所述文字图像的种类。9.根据权利要求1所述的显示装置，其特征在于，所述声音获取部获取声音的音量的灵敏度根据从声源朝向所述声音获取部的方向而不同，所述显示位置设定部基于按相同声源发声的不同方向而不同并被获取的声音的音量来设定所述图像显示位置。10.根据权利要求1所述的显示装置，其特征在于，所述声音获取部获取声音的灵敏度根据从声源朝向所述声音获取部的方向而不同，并被设定为获取来自所述确定方向的声音的灵敏度最大。11.根据权利要求1所述的显示装置，其特征在于，还具备：声音识别部，其按所述声音的种类识别从多个声源获取的不同种类的声音；和操作部，其接受使用者的操作，所述确定方向设定部基于所述操作来确定从所述声音获取部到被获取了多个所述声音中的一个所述声音的声源的方向亦即确定声源方向，所述显示位置设定部在使用者的视野中将使表示所述一个所述声音的所述文字图像光被视觉识别的位置设定在与所述确定声源方向对应的位置的附近。12.根据权利要求11所述的显示装置，其特征在于，所述显示位置设定部在使用者的视野中将使表示所述一个所述声音的所述图像光被视觉识别的位置设定在与多个所述确定声源方向对应的位置均不重叠的位置。13.根据权利要求11所述的显示装置，其特征在于，所述图像显示部按所述声音的种类将多个所述声音生成不同的所述文字图像光，并按种类为单位使多个所述声音的所述图像光被使用者视觉识别，所述操作是从在使用者的视野中被视觉识别的按种类为单位的多个所述声音的所述文字图像光确定与来自一个所述确定声源方向的所述声音对应的所述文字图像光的操作。14.根据权利要求1所述的显示装置，其特征在于，所述图像显示部使所述文字图像光从所述声音获取部获取到所述声音的时刻延迟规定时间地被使用者识别为虚像。15.根据权利要求1所述的显示装置，其特征在于，还具备获取外景的图像的图像获取部，所述图像显示部在所述视线方向和所述确定方向所成的角度亦即确定角度为第2阈值以上的情况下，生成表示所述图像获取部获取到的所述确定方向的图像的图像光亦即确定方向图像光并使该确定方向图像光被使用者视觉识别，而在所述确定角度小于第2阈值的情况下，不生成所述确定方向图像光，所述显示位置设定部在所述确定角度为第2阈值以上的情况下，使所述确定方向图像光被识别的位置不与所述图像显示位置重叠，并且将所述位置设定在所述图像显示位置的附近，而在所述确定角度小于第2阈值的情况下，将所述图像显示位置设定在使用者的视野中的与所述确定方向对应的位置的附近。16.根据权利要求1所述的显示装置，其特征在于，还具备识别所述获取到的声音和与所述获取到的声音不同的确定声音的声音识别部，所述转换部将所述获取到的声音和所述确定声音转换为不同种类的所述文字图像。17.根据权利要求16所述的显示装置，其特征在于，还具备通过通信获取声音信号的通信部，所述确定声音是基于通过所述通信部获取到的...

【专利技术属性】
技术研发人员：千代薰，
申请(专利权)人：精工爱普生株式会社，
类型：发明
国别省市：日本,JP