显示终端设备制造技术

一种显示终端设备，其中，CPU通过软件处理确定虚拟对象在真实空间中的布置位置，并输出指示第一图像和位置的信息，该第一图像是虚拟对象的图像；成像单元捕获第二图像，该第二图像是真实空间的图像；合成器基于所述位置通过硬件处理来组合第一图像和第二图像，从而生成合成图像；以及显示单元直接连接到合成器并显示合成图像。示合成图像。示合成图像。

【技术实现步骤摘要】
【国外来华专利技术】显示终端设备


[0001]本公开涉及显示终端设备。

技术介绍

[0002]显示终端设备已被开发用于使用增强现实(AR)技术实现服务。显示终端设备的示例包括头戴式显示器(HMD)。HMD包括例如光学透视(see
‑
through)型HMD和视频透视型HMD。
[0003]在光学透视型HMD中，例如，使用半反射镜或透明导光板的虚拟图像光学系统被保持在用户的眼前。在虚拟图像光学系统内侧显示图像。因此，佩戴光学透视型HMD的用户即使在观看显示在虚拟图像光学系统内侧的图像时也可以观看用户周围的风景。从而，采用AR技术的光学透视型HMD能够根据光学透视型HMD的位置和姿势以各种模式(诸如文本、图标和动画等)在真实空间中存在的对象的光学图像上叠加虚拟对象(以下，可称为“虚拟对象”)的图像(以下，可称为“虚拟对象图像”)。
[0004]相反，视频透视型HMD由用户佩戴以覆盖用户的眼睛，并且视频透视型HMD的显示器被保持在用户的眼前。此外，视频透视型HMD包括用于捕获用户前面的风景图像的相机模块，并且由相机模块捕获的风景图像被显示在显示器上。因此，虽然佩戴视频透视型HMD的用户难以直接观看用户前面的风景，但用户可以利用显示器上的图像看到用户前面的风景。此外，采用AR技术的视频透视型HMD可以使用用户前面的风景的图像作为真实空间中的背景的图像(以下简称“背景图像”)，以根据视频透视型HMD的位置和姿势将虚拟对象图像叠加在背景图像上。在下文中，通过将虚拟对象图像叠加在背景图像上获得的图像可以称为“合成图像”。
[0005]引用列表
[0006]专利文献
[0007]专利文献1：JP2018
‑
517444A
[0008]专利文献2：JP2018
‑
182511A

技术实现思路

[0009]技术问题
[0010]这里，在视频透视型HMD中使用的AR技术中，虚拟对象图像在背景图像上的叠加是通过软件处理来进行的，这相对需要时间，包括对背景图像的分析等。因此，在视频透视型HMD中，在已经捕获背景图像的时间点和显示包括背景图像的合成图像的时间点之间发生的延迟增加了。此外，背景图像会随着视频透视型HMD的移动而随时改变。
[0011]从而，当佩戴视频透视型HMD的用户的面部朝向改变时，显示器上背景图像的更新速度有时无法跟随用户面部朝向的变化速度。从而，例如，如图1所示，当佩戴视频透视型HMD的用户的面部朝向从朝向D1改变为朝向D2时，甚至在朝向D2的时间点，有时也在显示器上显示在朝向D1时所捕获的背景图像BI。因此，在用户的面部朝向到达朝向D2的时间点，显示器上显示的背景图像BI与用户前面的实际风景FV不同，从而增加了用户的违和感。
[0012]此外，在合成图像中包括的背景图像和虚拟对象图像中，虚拟对象图像被叠加在背景图像上，同时如上所述背景图像随着视频透视型HMD的移动而改变。因此，当视频透视型HMD移动时，用户难以识别在已经捕获背景图像的时间点与显示或更新要叠加在背景图像上的虚拟对象图像的时间点之间的延迟，而用户容易识别更新背景图像的延迟。即用户对虚拟对象图像的显示延迟不敏感，而对背景图像的更新延迟敏感。从而，背景图像的所增加的更新延迟增加了用户的违和感。
[0013]因此，本公开提出了能够减少佩戴诸如采用AR技术的视频透视型HMD的显示终端设备的用户的违和感的技术。
[0014]问题的解决方案
[0015]根据本公开，显示终端设备包括CPU、成像单元、合成器和显示器。CPU通过软件处理确定虚拟对象在真实空间中的布置位置，并输出第一图像和指示布置位置的信息，该第一图像是虚拟对象的图像。成像单元捕获第二图像，其是真实空间的图像。合成器基于布置位置通过硬件处理来组合第一图像和第二图像，从而生成合成图像。显示器直接连接到合成器并显示合成图像。
附图说明
[0016]图1图示了本公开的问题。
[0017]图2图示了根据本公开实施例的显示终端设备的配置示例。
[0018]图3图示了根据本公开实施例的显示终端设备中的处理过程的一个示例。
[0019]图4图示了根据本公开的实施例的图像合成处理。
[0020]图5图示了根据本公开的实施例的图像合成处理。
[0021]图6图示了本公开的技术的效果。
具体实施方式
[0022]下面将参照附图描述本公开的实施例。注意，在以下实施例中，相同的附图标记被附加到相同的部分或相同的处理以省略重复描述。
[0023]此外，将按照以下项目顺序描述本公开的技术。
[0024]<显示终端设备的配置>
[0025]<显示终端设备中的处理过程>
[0026]<图像合成处理>
[0027]<公开的技术的效果>
[0028]<显示终端设备的配置>
[0029]图2图示了根据本公开实施例的显示终端设备的配置示例。在图2中，显示终端设备1包括相机模块10、中央处理单元(CPU)20、显示器30、传感器模块40和存储器50。相机模块10包括成像单元11、存储器12、以及合成器13。显示终端设备1由显示终端设备1的用户佩戴以覆盖用户的眼睛。显示终端设备1的示例包括视频透视型HMD以及诸如智能手机和平板终端之类的智能设备。当显示终端设备1为智能设备时，该智能设备由该智能设备的用户佩戴，该智能设备带有用于该智能设备的头戴式仪器，以覆盖该用户的眼睛。
[0030]相机模块10包括线路L1、L2、L3和L4。成像单元11经由线路L1连接到CPU 20，同时
经由线路L4连接到合成器13。存储器12经由线路L3连接到CPU 20。合成器13经由线路L2连接到显示器30。
[0031]成像单元11包括透镜单元和图像传感器。成像单元11捕获佩戴显示终端设备1的用户前面的风景的图像，使得用户的眼睛由显示终端设备1作为背景图像覆盖。成像单元11将所捕获的背景图像输出到合成器13和CPU 20。成像单元11以预定帧率捕获背景图像。成像单元11一方面经由线路L4将在同一时间点所捕获的相同背景图像输出到合成器13，另一方面经由线路L1将该相同背景图像输出到CPU20。也就是说，相机模块10包括线路L1，由相机模块10捕获的背景图像通过该线路L1从相机模块10输出到CPU 20。
[0032]传感器模块40检测显示终端设备1的加速度和角速度，以检测显示终端设备1的位置和姿势的变化，并将指示所检测的加速度和角速度的信息(在下文中，可以称为“传感器信息”)输出到CPU 20。传感器模块40的示例包括惯性测量单元(IMU)。
[0033]CPU 20以预定周期基于背景图像和传感器信息执行同步定位与建图(SLAM)。也就是说，CPU 20基于背景图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种显示终端设备，包括：CPU，通过软件处理确定虚拟对象在真实空间中的布置位置，并输出第一图像和指示所述布置位置的信息，所述第一图像是虚拟对象的图像；捕获第二图像的成像单元，所述第二图像是真实空间的图像；合成器，基于所述布置位置通过硬件处理来组合第一图像和第二图像，从而生成合成图像；和直接连接到合成器并显示所述合成图像的显示器。2.根据权利要求1所述的显示终端设备，还包括包括所述成像单元和所述合成器的相机模块，其中，相机模块包括：第一线路，第...

【专利技术属性】
技术研发人员：德武健司，月冈正明，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：