环境图生成和孔填充制造技术

本公开的实施例涉及环境图生成和孔填充。在一些实施例中，图像操纵应用接收二维背景图像并且将背景图像投影到球体上以生成球体图像。基于球体图像，可以生成包含缺少图像内容的孔区域的未填充的环境图。可以使用图投影将未填充的环境图的一部分投影到未填充的投影图像。未填充的投影图像包含孔区域。将孔填充模型应用于未填充的投影图像以生成包含孔区域的图像内容的经填充的投影图像。可以通过对经填充的投影图像应用图投影的逆投影并且将未填充的环境图与针对环境图的孔区域而生成的图像内容组合来生成经填充的环境图。

【技术实现步骤摘要】
环境图生成和孔填充相关申请的交叉引用本申请要求于2018年10月12日提交的题为“EnvironmentMapGenerationandHoleFilling(环境图生成和孔填充)”的美国临时申请号62/745,220的优先权，还要求于2018年11月13日提交的题为“EnvironmentMapGenerationandHoleFilling(环境图生成和孔填充)”的美国专利申请号16/188,479的优先权，其通过引用整体并入本文。
本公开总体上涉及用于计算机图形处理的计算机实现的方法和系统。具体地，本公开涉及基于图像生成和孔填充环境图。
技术介绍
一些图像操纵应用提供允许用户将二维(“2D”)背景图像与三维(“3D”)对象组合以生成合成图像的功能，该合成图像示出被定位在由2D背景图像图示的环境中的3D对象。为了创建逼真的合成图像，可以创建球形环境以提供3D对象被真实环境包围的视觉印象。描绘包围3D对象的球形环境的360度全景图像在本文中被称为“环境图”。然而，创建环境图是具有挑战性的。一个原因是，基于其生成环境图的本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，其中一个或多个处理设备执行操作，所述操作包括：/n基于背景图像来生成未填充的环境图，所述未填充的环境图包含缺少图像内容的孔区域；/n将所述未填充的环境图的一部分投影到未填充的投影图像，所述未填充的投影图像包含所述孔区域的至少一部分；/n基于所述未填充的投影图像来生成经填充的投影图像，所述经填充的投影图像包含针对所述孔区域的所述一部分的图像内容；/n使用逆投影来投影所述经填充的投影图像，以生成针对所述未填充的环境图的所述孔区域的图像内容；以及/n通过将所述未填充的环境图与针对所述未填充的环境图的所述孔区域的、所生成的所述图像内容组合，生成经填充的环境图。/n

【技术特征摘要】
20181012 US 62/745,220;20181113 US 16/188,4791.一种计算机实现的方法，其中一个或多个处理设备执行操作，所述操作包括：
基于背景图像来生成未填充的环境图，所述未填充的环境图包含缺少图像内容的孔区域；
将所述未填充的环境图的一部分投影到未填充的投影图像，所述未填充的投影图像包含所述孔区域的至少一部分；
基于所述未填充的投影图像来生成经填充的投影图像，所述经填充的投影图像包含针对所述孔区域的所述一部分的图像内容；
使用逆投影来投影所述经填充的投影图像，以生成针对所述未填充的环境图的所述孔区域的图像内容；以及
通过将所述未填充的环境图与针对所述未填充的环境图的所述孔区域的、所生成的所述图像内容组合，生成经填充的环境图。


2.根据权利要求1所述的计算机实现的方法，其中所述经填充的环境图表示360度的视场。


3.根据权利要求2所述的计算机实现的方法，其中生成所述未填充的环境图包括：
将所述背景图像投影到球体上，以生成球体图像；
缩放所述球体图像，以覆盖180度的水平视场；以及
水平翻转经缩放的所述球体图像；以及
将经缩放的所述球体图像和经翻转的所述球体图像水平连结，以生成所述未填充的环境图。


4.根据权利要求1所述的计算机实现的方法，所述操作还包括基于所述未填充的投影图像来生成掩模图像，所述掩模图像将所述孔区域指示为要被填充的区域，其中生成所述经填充的投影图像包括将孔填充模型应用于所述未填充的投影图像和所述掩模图像。


5.根据权利要求4所述的计算机实现的方法，其中生成所述经填充的投影图像包括：
将孔填充模型应用于所述未填充的投影图像和所述掩模图像，以生成第一经填充的投影图像；
通过在所述未填充的投影图像的所述孔区域内添加包含图像内容的谕示区域，生成经修改的未填充的投影图像；
基于经修改的所述未填充的投影图像，生成经修改的掩模图像；以及
将所述孔填充模型应用于经修改的所述未填充的投影图像和经修改的所述掩模图像，以生成第二经填充的投影图像作为所述经填充的投影图像。


6.根据权利要求5所述的计算机实现的方法，其中所述谕示区域的所述图像内容基于所述第一经填充的投影图像的所述图像内容而被确定。


7.根据权利要求5所述的计算机实现的方法，其中所述谕示区域的所述图像内容独立于所述第一经填充的投影图像的所述图像内容而被确定。


8.根据权利要求1所述的计算机实现的方法，其中将所述未填充的环境图的一部分投影到未填充的投影图像使用图投影而被执行，并且其中所述图投影是球心投影。


9.根据权利要求1所述的计算机实现的方法，其中所述未填充的投影图像通过以下而被生成：从由所述环境图表示的球体的北极投影所述未填充的环境图。


10.根据权利要求1所述的计算机实现的方法，其中所述未填充的环境图和所述经填充的环境图使用相应的等距矩形投影图像而被表示。


11.根据权利要求1所述的计算机实现的方法，其中生成所述经填充的投影图像包括将孔填充模型应用于所述未填充的投影图像，并且其中所述孔填充模型是生成对抗网络(GAN)。


12.一种系统，包括：
处理设备；以及
非暂态计算机可读介质，所述非暂态计算机可读介质通信地耦合到所述处理设备，其中所述处理设备被配置为执行被存储在所述非暂态计算机可读介质中的程序代码并且从而执行操作，所述操作包括：
基于背景图像来生成未...

【专利技术属性】
技术研发人员：J·艾森曼，林哲，M·费舍尔，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US