图像处理设备及方法技术

一种图像处理设备，其包括：相机，其捕获场景的图像馈入；传感器，其获得表示图像处理设备的定向的传感器数据；第一估计单元，其基于场景的第一捕获图像，估计相机在第一时刻的位置和方向；渲染器，其在第二时刻渲染虚拟对象；第二估计单元，其基于所估计的相机在第一时刻的位置和方向以及在第一和第二时刻获得的传感器数据，估计相机在第二时刻的位置和方向，其中，渲染器基于所估计的相机在第二时刻的位置和方向来渲染虚拟对象；以及显示器，其显示与图像馈入一起登记的所渲染的虚拟对象。

Image Processing Equipment and Method

An image processing device includes: a camera, which captures the image feed of the scene; a sensor, which obtains sensor data representing the orientation of the image processing device; a first estimation unit, which estimates the position and direction of the camera at the first time based on the first captured image of the scene; a renderer, which renders the virtual object at the second time; and a second estimation unit, which is based on the location. The estimated position and direction of the camera at the first time and the sensor data obtained at the first and second time estimate the position and direction of the camera at the second time, where the renderer renders the virtual object based on the estimated position and direction of the camera at the second time; and the display, which displays the rendered virtual object registered with the image feed.

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备及方法
本专利技术的领域涉及图像处理，更具体地，涉及增强现实和/或虚拟现实应用。特定实施例涉及适于由用户携带的图像处理设备以及用于渲染与图像馈入一起登记的虚拟对象的图像处理方法。
技术介绍
用于向用户提供虚拟现实(VR)和/或增强现实(AR)体验的图像处理设备在本领域中是公知的。这种设备通常配备有头戴式显示器(HMD)并且具有内嵌的传感器，其允许根据设备的实际物理动作来改变渲染场景的视点。如此，用户可以通过移动他或她的头部，从而有效地移动虚拟相机来环顾虚拟环境或用虚拟对象增强的真实环境。在VR设备尤其是在HMD中出现的已知问题是：在基于传感器的输入获取虚拟视点时开始渲染与渲染完成之间存在延迟。在延迟的期间，VR设备可能已经改变了位置和/或定向，这导致渲染图像与VR设备的实际位置和/或定向不对应。一般通过测量渲染开始与渲染完成之间VR设备的位置和/或定向差来解决该问题，并且通过添加根据延迟改变虚拟相机的视点的快速附加渲染通道来补偿延迟。
技术实现思路
与VR设备相比，AR设备使用与AR设备一起登记的实时内容，并且在登记实时内容的时刻与渲染开始之间可存在额外的显著延迟。这种延迟的内容更新可能对用户导致诱发恶心效应，因此在现有技术VR设备中不被考虑。本专利技术的实施例的目的是提供一种图像处理设备，更具体地提供一种适于由用户携带并且降低对用户导致诱发恶心效应的风险的增强现实设备。本专利技术的实施例旨在提供一种降低对用户导致诱发恶心效应的风险的图像处理设备(更具体地增强现实设备)和图像处理方法。根据本专利技术的第一方面，提供了一种适于由用户携带的图像处理设备，其包括：-相机单元，其被配置为捕获用户位于其中的环境的场景的图像馈入；-传感器单元，其被配置为获得传感器数据，传感器数据表示图像处理设备在相机单元捕获图像馈入时的定向；-第一估计单元，其被配置为至少基于在第一时刻捕获的场景的第一捕获图像，估计相机单元在第一时刻在环境内的位置和方向；-渲染单元，其被配置为在第一时刻后，在第二时刻渲染虚拟对象；-第二估计单元，其被配置为至少基于所估计的相机单元在第一时刻的位置和方向以及由传感器单元在第一时刻和第二时刻获得的传感器数据，估计相机单元在第二时刻在环境内的位置和方向，其中，渲染单元被配置为基于所估计的相机单元在第二时刻的位置和方向，在第二时刻渲染虚拟对象；-显示单元，其被配置为显示与所捕获的图像馈入一起登记的所渲染的虚拟对象。本专利技术的实施例尤其基于以下观点：估计相机单元在第二时刻在环境内的位置和方向，并基于所估计的相机单元在第二时刻的位置和方向，在第二时刻渲染虚拟对象，当虚拟对象被渲染时，相机单元在第一时刻的位置和/定向与相机单元在第二时刻的位置和/或定向之间的差异可以被补偿。由于估计相机单元在第二时刻的位置和方向是基于所估计的相机单元在第一时刻的位置和方向以及在第一和第二时刻获得的传感器数据，因此可以快速提供对相机单元在第二时刻的位置和方向的估计。基于在第二时刻捕获的场景的捕获图像来估计相机单元在第二时刻的位置和方向将因为需要必要的图像处理而花费很长时间，并且将导致引入又一个延迟。然而，由传感器单元获得的传感器数据可以更快速地处理，并且与所估计的相机单元在第一时刻的位置和方向相结合可导致快速准确地估计相机单元在第二时刻的位置和方向。如此，当将要渲染虚拟对象时，考虑了相机单元在第一时刻与第二时刻的方向和定向之间的差异，并且显示单元可以显示与所捕获的图像馈入一起登记的所渲染的虚拟对象，其中降低了对图像处理设备的用户导致诱发恶心效应的风险。本领域的技术人员清楚所描述的图像处理设备可用于增强现实和虚拟现实应用两者。根据实施例，第一估计单元被配置为被配置为至少基于场景在第一时刻的捕获图像，估计相机单元的相机参数，其中，相机参数表示相机单元的焦距、宽高比、分辨率和视场中的至少一项；以及渲染单元被配置为基于所估计的相机参数，在第二时刻渲染虚拟对象。通过基于在第一时刻的场景的捕获图像来估计相机参数，更多的数据和信息可用于渲染单元，以渲染虚拟对象。诸如焦距、宽高比、分辨率和视场的相机参数有助于在第二时刻更准确地渲染虚拟对象。根据实施例，图像处理设备包括渲染更新单元，其被配置为在显示所渲染的虚拟对象前，在第三时刻更新所渲染的虚拟对象，其中，更新基于在第三时刻获得的传感器数据。通常，在第二时刻开始渲染虚拟对象与渲染虚拟对象完成之间存在延迟。通过在第三时刻获得传感器数据，所渲染的虚拟对象可以被相应地更新，以补偿可能在渲染过程中发生的相机单元的定向和/或位置的变化。在增强现实应用中，渲染的开始与完成之间的延迟与当图像被捕获的第一时刻与当渲染单元开始渲染的第二时刻之间的延迟相比通常相对较小，因为在增强现实应用中将要渲染的虚拟对象通常并不很复杂。根据实施例，渲染单元被配置为将所渲染的虚拟对象输出为2D或2D+Z对象。与全3D渲染虚拟对象相比，通过将所渲染的虚拟对象限制为2D或2D+Z(具有关联深度2D)可以更快地执行渲染更新或补偿步骤，因为计算要求更低。换句话说，将所渲染的虚拟对象限制为2D或2D+Z可以实现虚拟对象的低延迟渲染。根据实施例，第一估计单元被配置为基于至少检测在场景中的预定义标记、模板或图案来估计相机单元在环境内的位置和方向。场景中的预定义标记、模板或图案允许估计单元估计相机单元在环境内的位置和方向，或者换句话说，其使得能够关于虚拟内容应当被如何放置在图像馈入上来进行登记。例如，可以使用标记来执行登记。这些标记被放置在真实世界环境中，以指示虚拟对象应放置的位置。这些标记可以是显式地放置在场景中的预先制作的图案。然而，这些标记也可以是存在于环境中的已有的视觉元素，诸如墙上的海报。本领域的技术人员清楚还可以应用其它公知的执行登记的方式，诸如无标记登记，以确定虚拟对象应当被如何放置在所捕获的图像馈入上。根据实施例，渲染单元被配置为基于3D模型来渲染虚拟对象，并基于在第一时刻获得的传感器数据与在第二时刻获得的传感器数据之间的差异来缩减3D模型。替代仅通过更新对相机单元的位置和方向的估计来补偿发生的延迟，可以基于在第一时刻获得的传感器数据与在第二时间获得的传感器数据之间的差异来缩减将要渲染的虚拟对象的3D模型。基于传感器数据中的差异，例如，可以确定戴有ARHMD的用户已将其头部转动一定角度，可以确定3D模型的某些视图或方面不再与该特定情况相关。通过相应地缩减3D模型，可以更快地执行渲染步骤，并且可以基于所缩减的3D模型来优化设备内的其它资源。根据实施例，渲染单元被配置为基于在第一时刻获得的传感器数据与在第二时刻获得的传感器数据之间的差异，缩减所捕获的图像馈入。所捕获的图像馈入可以通过各种方式来缩减。例如，所捕获的3D图像馈入可被缩减为2D图像馈入，或者可以根据所估计的在每个时间点的活动范围来缩减所捕获的馈入。例如，当以大于显示器的视场来捕获实时馈入时，在接近最终渲染阶段时，可以缩减“多余的”或“过剩的”视场。基于在第一时刻获得的传感器数据与在第二时刻的获得的传感器数据之间的差异，可以估计用户或图像处理设备的可能最大活动范围。基于所估计的活动范围，所捕获的实时馈入中的信息可能对于渲染过程变得多余。通过缩减所捕获的图像馈入，可以更快地执行本文档来自技高网...

【技术保护点】
1.一种适于由用户携带的图像处理设备，包括：‑相机单元，其被配置为捕获所述用户位于其中的环境的场景的图像馈入；‑传感器单元，其被配置为获得传感器数据，所述传感器数据表示所述图像处理设备在所述相机单元捕获所述图像馈入时的定向；‑第一估计单元，其被配置为至少基于在第一时刻捕获的所述场景的第一捕获图像，估计所述相机单元在所述第一时刻在所述环境内的位置和方向；‑渲染单元，其被配置为在所述第一时刻后，在第二时刻渲染虚拟对象；‑第二估计单元，其被配置为至少基于所估计的所述相机单元在所述第一时刻的位置和方向以及由所述传感器单元在所述第一时刻和所述第二时刻获得的传感器数据，估计所述相机单元在所述第二时刻在所述环境内的位置和方向，其中，所述渲染单元被配置为基于所估计的所述相机单元在所述第二时刻的位置和方向，在所述第二时刻渲染所述虚拟对象；以及‑显示单元，其被配置为显示与所捕获的图像馈入一起登记的所渲染的虚拟对象。

【技术特征摘要】
【国外来华专利技术】2016.06.30 EP 16305805.01.一种适于由用户携带的图像处理设备，包括：-相机单元，其被配置为捕获所述用户位于其中的环境的场景的图像馈入；-传感器单元，其被配置为获得传感器数据，所述传感器数据表示所述图像处理设备在所述相机单元捕获所述图像馈入时的定向；-第一估计单元，其被配置为至少基于在第一时刻捕获的所述场景的第一捕获图像，估计所述相机单元在所述第一时刻在所述环境内的位置和方向；-渲染单元，其被配置为在所述第一时刻后，在第二时刻渲染虚拟对象；-第二估计单元，其被配置为至少基于所估计的所述相机单元在所述第一时刻的位置和方向以及由所述传感器单元在所述第一时刻和所述第二时刻获得的传感器数据，估计所述相机单元在所述第二时刻在所述环境内的位置和方向，其中，所述渲染单元被配置为基于所估计的所述相机单元在所述第二时刻的位置和方向，在所述第二时刻渲染所述虚拟对象；以及-显示单元，其被配置为显示与所捕获的图像馈入一起登记的所渲染的虚拟对象。2.根据权利要求1所述的图像处理设备，其中，-所述第一估计单元被配置为至少基于在所述第一时刻的所述场景的所述捕获图像，估计所述相机单元的相机参数，其中，所述相机参数表示所述相机单元的焦距、宽高比、分辨率和视场中的至少一项；以及-所述渲染单元被配置为基于所估计的相机参数，在所述第二时刻渲染所述虚拟对象。3.根据权利要求1或2所述的图像处理设备，包括：-渲染更新单元，其被配置为在显示所渲染的虚拟对象前，在第三时刻更新所渲染的虚拟对象，其中，所述更新基于在所述第三时刻获得的传感器数据。4.根据权利要求3所述的图像处理设备，其中，所述渲染单元被配置为将所渲染的虚拟对象输出为2D或2D+Z对象。5.根据前述任一权利要求所述的图像处理设备，其中，所述第一估计单元被配置为基于至少检测在所述场景中的预定义标记、模板或图案，估计所述相机单元在所述环境内的位置和方向。6.根据前述权利要求中任一项所述的图像处理设备，其中，所述渲染单元被配置为基于3D模型来渲染所述虚拟对象，并基于在所述第一时刻获得的传感器数据与在所述第二时刻获得的传感器数据之间的差异来缩减所述3D模型。...

【专利技术属性】
技术研发人员：D·蒂盖特，JF·麦克，
申请(专利权)人：阿尔卡特朗讯公司，
类型：发明
国别省市：法国,FR