用于图像处理的设备和方法技术

一种包括图像处理器装置的设备，所述图像处理器装置用于实现作为端到端处理管道的一部分的基于图像的计算模型。所述处理管道用于通过以下方式进行操作：接收表示场景的颜色特定图像数据；接收所述场景的深度数据；使用所述基于图像的计算模型处理所述颜色特定图像数据，以形成所述场景的特征图；根据所述特征图和所述深度数据形成照度图，所述照度图表示所述场景中一组三维位置的照度估计。所述场景中一组三维位置的照度估计。所述场景中一组三维位置的照度估计。

【技术实现步骤摘要】
【国外来华专利技术】用于图像处理的设备和方法


[0001]本专利技术涉及场景中用于对象渲染的照度估计(estimation of illumination)。

技术介绍

[0002]增强现实(Augmented Reality，AR)应用比以往任何时候都更受欢迎，用户每天都需要更逼真的增强功能。协调是通过将从一个图像中提取的前景图像与另一个图像的背景相结合来匹配两个图像外观的任务，从而产生逼真的最终合成效果。这是AR中的一个关键概念，它允许应用程序在不破坏幻觉的情况下向场景添加元素。这项任务的一个关键部分需要从背景中检索照度信息并将其无缝应用于前景。
[0003]为成功调整这些外观，人们面临三大挑战：外观协调，涉及匹配全局图像特征，如亮度、饱和度等；几何协调，涉及全包前景定位与背景具有几何一致性；照度协调，涉及恢复照度信息以及正确地重新照亮前景。
[0004]照度估计是一个不适定问题，因为它需要反转光源、几何反射和遮挡、相机属性的影响。由于场景的3D特性，估计空间中特定点处的光线这一任务本质上呈3D变化，即照度相对于该点的3D位置发生变化。
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种包括图像处理器装置的设备(1101)，其特征在于，所述图像处理器装置用于实现作为端到端处理管道的一部分的基于图像的计算模型(104)，所述处理管道用于通过以下方式进行操作：接收表示场景的颜色特定图像数据(102)；接收所述场景的深度数据(108)；使用所述基于图像的计算模型处理所述颜色特定图像数据，以形成所述场景的特征图(106)；根据所述特征图和所述深度数据形成照度图(110)，所述照度图表示所述场景中一组三维位置的照度估计。2.根据权利要求1所述的设备，其特征在于，所述基于图像的计算模型(104)是神经网络模型。3.根据权利要求1至2所述的设备，其特征在于，从所述设备的相机(1102)接收所述颜色特定图像数据。4.根据权利要求1至3中任一项所述的设备，其特征在于，从所述设备的深度传感器接收所述深度数据。5.根据权利要求1至3中任一项所述的设备，其特征在于，接收所述深度数据作为基于所述颜色特定图像数据的估计。6.根据上述任一权利要求所述的设备，其特征在于，确定所述场景内选定位置(202)处的照度包括：移位所述照度图的参照系使其以所述选定位置为中心，并且基于所述照度图的光照点在所述参照系中心处所述选定位置周围的空间分布来组合这些光照点。7.根据权利要求6所述的设备，其特征在于，可以通过实现所述参照系的移位来同时表示多个选定位置。8.根据上述任一权利要求所述的设备，其特征在于，所述照度图(110)包括多个光照点，对于所述颜色特定图像的相应像素，每个光照点表示以下各项中的一个：(i)照度级别和(ii)照度色调。9.根据权利要求8所述的设备，其特征在于，所述照度图还包括表示对应于每个光照点的深度的数据。10.根据上述任一权利要求所述的设备，其特征在于，通过提取神经网络模型(204)从所述照度图中提取所述选定位置处的所述照度的特征向量表示。11.一种用于通过图像处理器装置(1101...

【专利技术属性】
技术研发人员：佩德罗，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：