【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于在机动车行驶通过真实的外部环境期间在机动车中运行智能眼镜(hmd-头戴设备)的方法。借助于智能眼镜将虚拟环境的视图显示在用户的视野中。这可以作为虚拟现实(vr-virtual reality)或增强现实(ar-augmented reality)实现。在此，通过以下方式保持虚拟环境与真实的外部环境的接触模拟，也就是说保持虚拟环境的坐标系与真实的外部环境的坐标系一致和/或跟踪真实的外部环境的坐标系，即，在依次以预设的帧速率重新计算的视图帧中，补偿智能眼镜相对于真实的外部环境的运动。
技术介绍
1、虚拟现实头戴式产品通过以下方式示出环境的虚拟场景，即，在两个集成在智能眼镜中的屏幕上为双眼实时地渲染虚拟3d场景的单个图像或帧，同时通过集成在智能眼镜中的传感机构(例如imu-惯性测量单元)确定视图或视角，并且将产生的眼镜姿态(眼镜位置和/或眼镜定向)传递到虚拟的渲染相机上。这保持虚拟环境和真实的外部环境的坐标系一致，和/或至少虚拟世界的坐标系跟随真实的外部环境的坐标系。
2、此时，如果渲染的图像或帧的时间分辨率(帧速率)下降到物理的时间分辨率(显示-刷新率)以下，或者在姿态测量和渲染结果之间的延迟增大--例如通过图形计算的复杂度过高，则在头部运动时，在当前眼镜姿态和在相应的用作延迟显示的图像的基础的帧的渲染开始时刻的眼镜姿态之间的不一致性变大。这种效应是不利的，因为虚拟环境的单个虚拟对象震颤运动(这是渲染伪影的一个例子)并且因此在虚拟环境中用户仅仅能通过很大的视觉努力才能用视线跟随颗粒状结构，例如文本。
3、为了修正不一致性并且保证尽可能短的响应时间，例如能以已知的方式在并行的渲染线程中根据测得的最新头部姿态产生中间图像或中间帧的所谓的异步重新投影，根据设计方案，这被称为异步时间扭曲(atw)或异步空间扭曲(asw)或位置空间扭曲(psw)。在中间帧中的这种修正提高了vr体验的质量，但是，尤其是在头部快速运动时，由于(例如黑色示出的)边缘区域未被定义，在虚拟环境的视图周围能看到这种修正。此外，在扭曲(例如借助于单应重新投影)时，在不考虑所示出的虚拟对象的前后关系的情况下，在整个图像和/或整个帧上(也就是说在背景全景图或全局图层的全局空间中)应用像素移动。在确定的情况中，这种设想给出错误的结果：非但没有减少渲染伪影，反而因此诱发渲染伪影。尤其是，在用户的视野中应该固定的虚拟对象(例如在hud-抬头显示器)或被显示的文本开始来回闪动，即使其仅仅被渲染到同一部位处并且与头部一起运动。这是渲染伪影的另一个例子。
4、在现有的应用中，vr程序员最近取得了在3d场景中将独立的关系图层确定成固定空间的方案，在该固定空间上不应用单应重新投影，而是在修正其余场景内容之后在最终合成步骤中无变化地叠加显示该固定空间。
5、但当在行驶的机动车中使用智能眼镜时，在渲染时以及在单应重新投影时出现更复杂的关系。例如，此时必须将用户的头部的转动与机动车的转弯行驶区分开，以渲染或计算正确的虚拟环境视图，即使这两个运动都表示智能眼镜相对于机动车的外部环境的转动，但从用户的视角(也就是说在渲染的虚拟环境视图中)可能出现不同的渲染伪影。例如，这可能引起用户晕车(晕动病)，尤其是当用户在虚拟环境中看信息，例如看数字或文本时，也就是说一般当用户观看颗粒状结构或纹理结构时。
6、在us10 223 835 b2描述了一种以hud为例的变换方法。
7、在us2017/0251176a1中描述了一种对于由于传输延迟大而帧速率过小的情况产生中间帧的变型方案。
技术实现思路
1、本专利技术的目的是，在行驶期间，在机动车中尤其是在视线跟踪颗粒状结构或纹理结构，例如文本时，保持智能眼镜的用户的视觉疲劳低，并且渲染伪影少。
2、本专利技术的一个方面包括一种用于在机动车行驶通过真实的外部环境的期间在机动车中运行智能眼镜的方法。处理器电路通过智能眼镜将具有其中包含的虚拟对象的虚拟环境视图显示在用户的视野中，为了这个目的，用户佩戴该智能眼镜。在此，在依次重新计算或渲染的视图的单个图像或帧中，虚拟环境的坐标系与真实的外部环境的坐标系保持一致和/或跟踪真实的外部环境的坐标系。重新计算/重新渲染以预设的帧速率进行，该帧速率还可以从可用的计算功率和视图的复杂度(对象的数量和细致程度)中得出。因此，在像在智能眼镜中为用户显示的虚拟环境的视图中，静止的虚拟对象并非与用户的头部一起转动，而是保持其在该空间中的位置，尤其是相对于真实的外部环境的位置。这也被称为接触模拟式显示。另一种说法是，虚拟环境的北方向保持与真实的外部环境的北方向对齐。如果用户非常快速地转动头部，则至少在多个相继的帧中跟踪这种定向，直至坐标系再次一致。通过这种定向，在虚拟环境中用户像智能眼镜在真实环境中进行的那样运动。这可以在六个维度上进行(三个平移运动方向x、y、z和三个通过绕空间轴线x、y、z的转动的旋转运动)，或者仅仅在三个维度上进行(所述三个绕三个空间轴线的转动方向)。因此，从用户角度来看，在虚拟环境中渲染相机的相机姿态以与对真实的外部环境中的智能眼镜的眼镜姿态测得的相同方式定向。于是，智能眼镜的运动相应于渲染相机的运动，随后这确定虚拟环境的渲染的视图。
3、这使得，通过移动和/或转动虚拟环境的视图，模仿在真实的外部环境中由于用户的头部运动和/或机动车的行驶运动引起的智能眼镜的眼镜姿态相对于真实的外部环境的变化。例如，如果用户将头部向右转并且由此智能眼镜向右摆动，则在视图中，虚拟环境的至少一个虚拟对象相应地向左运动或转动相应的空间角度，由此，从用户角度来看，该对象看起来与智能眼镜的运动或智能眼镜的眼镜姿态的变化无关地在空间中保持不动。可以通过以下方式测量眼镜姿态的变化，即，循环地测量当前空间定向(定向矢量或视线矢量)，和/或测量平移和/或旋转运动的动态性(速度和/或加速度)。测量可以分别至少借助于用于位置标记的传感器和/或运动传感器和/或加速度传感器(imu)实现。
4、通过至少一个从中得出的姿态信号，得到在虚拟环境中的视图的理论姿态，也就是说，渲染相机在虚拟环境中应该采用的理论姿态。反之，如果通过姿态信号表示车辆姿态，则由此得到在虚拟环境中机动车的虚拟再现形式的理论姿态。因此，通过至少一个姿态信号，描述智能眼镜相对于机动车的内部空间和/或相对于外部环境具有怎样的当前眼镜姿态，和/或机动车相对于外部环境和/或相对于智能眼镜具有怎样的车辆姿态。例如，相应的姿态信号可以说明角度数据(例如绕至少一个空间轴线的角位置)和/或方向矢量和/或方位和/或角速度和/或角加速度和/或相对于相应的坐标系的位置坐标，这仅仅是举例。作为至少一个这样的姿态信号的函数进行视图的移动和/或转动，即，该姿态信号描述由于头部运动和/或行驶运动产生的新的眼镜姿态和/或车辆姿态。
5、为了减少渲染伪影，证实为有利的是，在至少两个不同关系图层中渲染或计算相应的帧的像素，随后由所述关系图层的像素组成相应的帧，其中，在所述关系图层中的每本文档来自技高网...
【技术保护点】
1.一种用于在机动车(10)行驶通过真实的外部环境(10)期间在机动车(10)中运行智能眼镜(17)的方法，其中，通过处理器电路(30)借助于智能眼镜(17)将包含虚拟对象(22)的虚拟环境(20)的视图(21)显示在用户(15)的视野中，以及在依次以预设的帧速率重新渲染的视图(21)的帧(40)中，通过以下方式使虚拟环境(20)的坐标系(26、27)与真实的外部环境(11)的坐标系(26、27)保持一致，即，通过移动和/或转动虚拟环境(20)的视图(21)模仿在真实的外部环境(11)中由于用户(16)的头部运动和/或由于机动车(10)的行驶运动引起的智能眼镜(17)的眼镜姿态(19)相对于真实的外部环境(11)的变化，其中，作为至少一个姿态信号(36、37)的函数进行移动和/或转动，所述姿态信号描述由于头部运动和/或行驶运动产生的新的眼镜姿态(19)和/或车辆姿态(15)，
2.根据权利要求1所述的方法，其中，在显示相应当前渲染的帧(40)之后并且在完成渲染下一个帧之前，借助于单应重新投影产生并且显示视图(21)的至少一个中间帧，所述中间帧通过在相应的关系图层中使当
3.根据上述权利要求中任一项所述的方法，其中，在关系图层中的一个关系图层中，应用描述相对于外部环境(11)的眼镜姿态(19)的绝对姿态信号(36、37)，并且由此提供与环境关联的全局图层(51)，在关系图层中的另一个关系图层中，应用描述机动车(10)相对于外部环境(11)的车辆姿态(15)的姿态信号(36、37)，由此提供驾驶室图层(50、52)，在驾驶室图层中作为虚拟对象(22)提供机动车(10)的内部空间(18)的虚拟再现的驾驶室和/或车身和/或用户(16)的虚拟化身。
4.根据权利要求3所述的方法，其中，关系图层中的另一个关系图层与驾驶室图层关联，在所述另一关系图层中，应用受限的姿态信号(36、37)，所述受限的姿态信号表明对于智能眼镜(17)的眼镜姿态(19)的变化而言动态受限的眼镜姿态(19)的变化，并且由此提供动态受限的关系图层。
5.根据权利要求4所述的方法，其中，分别从驾驶室图层的姿态信号的当前信号值中读取在动态受限的关系图层中的虚拟对象(22)的当前理论姿态，并且一直进行在动态受限的关系图层中的移动和/或转动，直至虚拟对象(22)在动态受限的图层中的实际姿态达到理论姿态，其中，为此受限的姿态信号(36、37)将在动态受限的关系图层中的虚拟对象(22)的对象姿态的量值受限的变化速度预设成预定的大于零的最大值，尤其是通过将量值限制在最大转动速率上。
6.根据权利要求5所述的方法，其中，将所述最大值设置成帧速率的当前值的函数。
7.根据权利要求4至6中任一项所述的方法，其中，在动态受限的关系图层中，虚拟对象(22)是形成文本和/或值显示区和/或操作菜单的颗粒状结构。
8.根据上述权利要求中任一项所述的方法，其中，姿态信号(36、37)中的至少一个作为智能眼镜(17)的至少一个运动传感器(32、34)的相应的传感器信号(33、35)的函数产生，和/或姿态信号(36、37)中的一个作为机动车(10)的至少一个运动传感器(32、34)的相应的传感器信号(33、35)的函数产生。
9.根据上述权利要求中任一项所述的方法，其中，在至少一个关系图层中，作为机动车(10)的运动传感器(32、34)的传感器信号(33、35)和智能眼镜(17)的运动传感器(32、34)的传感器信号(33、35)的差的函数，渲染像素移动(44、46)的移动距离，和/或其中，作为在机动车(10)中运行的智能眼镜(17)的头部追踪器的追踪信号的函数，计算在关系图层中的像素移动(44、46)的移动距离。
10.根据上述权利要求中任一项所述的方法，其中，在至少一个关系图层中，作为机动车(10)的横摆角速度传感器的传感器信号(33、35)的函数产生像素移动(44、46)的移动距离，所述传感器信号表明机动车(10)相对于外部环境(11)的横摆角速度。
11.一种用于运行智能眼镜(17)的处理器电路(30)，其中，处理器电路(30)包括用于接收至少一个运动传感器(32、34)的相应的传感器信号(33、35)的数据接口(31)，其中，处理器电路(30)设置成，由所述至少一个接收的传感器信号(33、35...
【技术特征摘要】
【国外来华专利技术】
1.一种用于在机动车(10)行驶通过真实的外部环境(10)期间在机动车(10)中运行智能眼镜(17)的方法，其中，通过处理器电路(30)借助于智能眼镜(17)将包含虚拟对象(22)的虚拟环境(20)的视图(21)显示在用户(15)的视野中，以及在依次以预设的帧速率重新渲染的视图(21)的帧(40)中，通过以下方式使虚拟环境(20)的坐标系(26、27)与真实的外部环境(11)的坐标系(26、27)保持一致，即，通过移动和/或转动虚拟环境(20)的视图(21)模仿在真实的外部环境(11)中由于用户(16)的头部运动和/或由于机动车(10)的行驶运动引起的智能眼镜(17)的眼镜姿态(19)相对于真实的外部环境(11)的变化，其中，作为至少一个姿态信号(36、37)的函数进行移动和/或转动，所述姿态信号描述由于头部运动和/或行驶运动产生的新的眼镜姿态(19)和/或车辆姿态(15)，
2.根据权利要求1所述的方法，其中，在显示相应当前渲染的帧(40)之后并且在完成渲染下一个帧之前，借助于单应重新投影产生并且显示视图(21)的至少一个中间帧，所述中间帧通过在相应的关系图层中使当前帧(40)的示出虚拟对象(22)的像素进行像素移动(44、46)产生，其中，单独为相应的关系图层根据其中所用的至少一个姿态信号(36、37)分开地完成像素移动(44、46)的移动距离，像素移动(44、46)因此分别具有不同的移动距离，由所述关系图层的移动后的像素组成相应的中间帧。
3.根据上述权利要求中任一项所述的方法，其中，在关系图层中的一个关系图层中，应用描述相对于外部环境(11)的眼镜姿态(19)的绝对姿态信号(36、37)，并且由此提供与环境关联的全局图层(51)，在关系图层中的另一个关系图层中，应用描述机动车(10)相对于外部环境(11)的车辆姿态(15)的姿态信号(36、37)，由此提供驾驶室图层(50、52)，在驾驶室图层中作为虚拟对象(22)提供机动车(10)的内部空间(18)的虚拟再现的驾驶室和/或车身和/或用户(16)的虚拟化身。
4.根据权利要求3所述的方法，其中，关系图层中的另一个关系图层与驾驶室图层关联，在所述另一关系图层中，应用受限的姿态信号(36、37)，所述受限的姿态信号表明对于智能眼镜(17)的眼镜姿态(19)的变化而言动态受限的眼镜姿态(19)的变化，并且由此提供动态受限的关系图层。
5.根据权利要求4所述的方法，其中，分别从驾驶室图层的姿态信号的当前信号值中读取在动态受限的关系图层中的虚拟对象(22)的当前理论姿态，并且一直进行在动态受限的关系图层中的移动和/或转动，直至虚拟对象(22)在动态受限的图层中的实际姿态达到理论姿态，其中，为此受限的姿态信号(36、37...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。