用于处理3D场景的方法和装置制造方法及图纸

公开了一种用于处理3D场景的方法和装置。(41)确定所述3D场景中的至少一个虚拟参考视点。(42)从由位于与所述虚拟参考视点不同的视点的摄像机捕获的输入图像捕获所述3D场景中的对象的配准的真实投射阴影的图，真实投射阴影的所述图相对于所述虚拟参考视点被配准。(44)使用配准的真实投射阴影所述的图和由所述至少一个光源从所述虚拟参考视点投射的所述3D场景中的对象的虚拟阴影的至少一个图，确定针对所述3D场景中的至少一个光源的参数。

【技术实现步骤摘要】
【国外来华专利技术】用于处理3D场景的方法和装置1.
本公开涉及用于混合现实的3D场景照明。更具体地，本公开涉及插入到3D真实场景中的虚拟对象照明。2.
技术介绍
在混合现实中，即当虚拟对象被插入到真实场景的3D模型中时，虚拟对象的3D照明是关键特征，以便提供3D场景的现实方面。虚拟对象应当通过模仿场景的真实照明而被正确地照明。然而，照明环境可以动态地改变。因此，必须连续地估计真实场景的3D照明。但是，照明在实时再现中是耗时的任务，并且需要被极大地简化，特别是当在移动设备上再现时。因此，必须在复杂的建模和图形渲染时间之间找到折衷。因此，需要一种能够对复杂的室内动态场景光源进行建模的新方法。3.
技术实现思路
根据本公开的一方面，公开了一种用于处理3D场景的方法。这种方法包括：确定3D场景中的至少一个虚拟参考视点；从由位于与虚拟参考视点不同的视点处的摄像机捕获的输入图像，获得3D场景中的对象的配准的真实投射阴影的图，所述真实投射阴影图相对于虚拟参考视点被配准；使用配准的真实投射阴影的图和由至少一个光源从虚拟参考视点投射的3D场景中本文档来自技高网...

【技术保护点】
1.一种用于处理3D场景的方法，其包括：/n-(41)确定所述3D场景中的至少一个虚拟参考视点，/n-(42)从由位于与所述虚拟参考视点不同的视点处的摄像机捕获的输入图像，捕获所述3D场景中的对象的配准的真实投射阴影的图，所述真实投射阴影的图相对于所述虚拟参考视点被配准，/n-(44)使用所述配准的真实投射阴影的图和由至少一个光源从所述虚拟参考视点投射的所述3D场景中的对象的虚拟阴影的至少一个图，确定针对所述3D场景中的所述至少一个光源的参数。/n

【技术特征摘要】
【国外来华专利技术】20180313 EP 18305266.11.一种用于处理3D场景的方法，其包括：
-(41)确定所述3D场景中的至少一个虚拟参考视点，
-(42)从由位于与所述虚拟参考视点不同的视点处的摄像机捕获的输入图像，捕获所述3D场景中的对象的配准的真实投射阴影的图，所述真实投射阴影的图相对于所述虚拟参考视点被配准，
-(44)使用所述配准的真实投射阴影的图和由至少一个光源从所述虚拟参考视点投射的所述3D场景中的对象的虚拟阴影的至少一个图，确定针对所述3D场景中的所述至少一个光源的参数。


2.一种用于处理3D场景的装置，其包括：
-用于确定所述3D场景中的至少一个虚拟参考视点的装置(810、820)，
-用于从由位于与所述虚拟参考视点不同的视点处的所述摄像机捕获的输入图像捕获所述3D场景中的对象的配准的真实投射阴影的图的装置(810、820)，所述真实投射阴影的图相对于所述虚拟参考视点被配准，
-用于使用所述配准的真实投射阴影的图和由至少一个光源从所述虚拟参考视点投射的所述3D场景中的对象的虚拟阴影的至少一个图来确定针对所述3D场景中的所述至少一个光源的参数的装置(810、820)。


3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中获得所述配准的真实投射阴影的图包括：
-检测所述输入图像中的所述真实投射阴影，以获得所检测的真实投射阴影的图，以及
-将所检测的真实投射阴影的图相对于所述虚拟参考视点进行配准。


4.根据权利要求1所述的方法或根据权利要求2所述的装置，其中获得所述配准的真实投射阴影的图包括：
-将所述输入图像相对于所述虚拟参考视点进行配准，以获得配准图像，以及
-检测所述配准图像中的所述真实投射阴影。


5.根据权利要求1-4中任一项所述的方法或装置，其中使用所述配准的真实投射阴影的图和由所述至少一个光源从所述虚拟参考视点投射的所述3D场景中的对象的虚拟阴影的至少一个图包括：将所述配准的真实投射阴影的图与虚拟阴影的所述至少一个图进行匹配，并且选择与所述配准的真实投射阴影的图最匹配的所述虚拟阴影的图。


6.根据权利要求1-5中任一项所述的方法或装置，其中...

【专利技术属性】
技术研发人员：菲利普·罗伯特，萨尔玛·吉迪，罗涛，
申请(专利权)人：交互数字CE专利控股公司，
类型：发明
国别省市：法国;FR