This paper describes the use of neural networks to predict block displacement maps. Firstly, the digital image to be edited is provided as input to a block matcher with an offset prediction neural network. From the image and based on the image editing operation trained by the network, the offset prediction neural network generates the offset prediction formed as a displacement map, which has the offset vectors representing the pixels of the digital image to the displacements at different locations where the image editing operation is performed. The pixel values of the digital image are copied to the image pixels affected by the operation by determining the vector pixels corresponding to the image pixels affected by the image editing operation and mapping the pixel values of the image pixels represented by the determined offset vector to the affected pixels. According to the mapping, the pixel values of the affected pixels are set to effectively perform image editing operations.
【技术实现步骤摘要】
使用神经网络预测分块位移图
技术介绍
内容创建系统继续在计算技术方面取得进步，以便以过去很大程度上受限于专业摄影师的各种方式来增强数字图像。利用这些进步，内容创建系统能够从由设备用户捕获的数字图像生成专业质量的数字图像，设备用户几乎没有构成视觉上令人愉快的图像的经验或者规则知识，例如三分法则。举例来说，内容创建系统可以分析数字图像，并基于该分析来选择后处理操作(诸如裁剪、缩放、过滤等等)以对数字图像执行。在一些情况中，这些内容创建系统使用分块匹配来执行这种图像编辑操作。一般来说，分块匹配涉及将来自图像中一组像素的值复制到受操作影响的图像像素。考虑一个示例，其中结合填充图像的孔洞来利用分块匹配。为了填充这样的孔洞，可以利用分块匹配来将对应于剩余图像的像素的值复制到对应于孔洞的像素。传统的分块匹配技术试图定位具有与通过图像编辑操作正在编辑的像素大致匹配的像素值的最近的分块(例如像素组)。然而，在某些场景中，这种仅仅最近的分块匹配会导致在语义上不一致的编辑图像。考虑一个示例，其中人脸的数字图像在人的眼睛之一处有孔洞。使用涉及分块匹配的常规孔洞填充技术，基于孔洞附近的像素(例如...
【技术保护点】
1.一种在用于执行涉及分块匹配的图像编辑操作的数字媒体环境中由计算设备实现的方法，所述方法包括：由所述计算设备接收数字图像，相对于所述数字图像，图像编辑操作要被执行；由所述计算设备将所述数字图像展露给具有偏移预测神经网络的分块匹配器；以及由所述计算设备接收作为来自所述分块匹配器的输出的经编辑的数字图像，所述分块匹配器执行关于所述数字图像的所述图像编辑操作，以通过以下项来生成用于输出的所述经编辑的数字图像：用所述偏移预测神经网络生成作为位移图的偏移预测，所述位移图包括偏移向量，所述偏移向量表示用于执行所述图像编辑操作的所述数字图像的图像像素的位移；确定与受所述图像编辑操作影响...
【技术特征摘要】
2017.10.16 US 15/785,3861.一种在用于执行涉及分块匹配的图像编辑操作的数字媒体环境中由计算设备实现的方法，所述方法包括：由所述计算设备接收数字图像，相对于所述数字图像，图像编辑操作要被执行；由所述计算设备将所述数字图像展露给具有偏移预测神经网络的分块匹配器；以及由所述计算设备接收作为来自所述分块匹配器的输出的经编辑的数字图像，所述分块匹配器执行关于所述数字图像的所述图像编辑操作，以通过以下项来生成用于输出的所述经编辑的数字图像：用所述偏移预测神经网络生成作为位移图的偏移预测，所述位移图包括偏移向量，所述偏移向量表示用于执行所述图像编辑操作的所述数字图像的图像像素的位移；确定与受所述图像编辑操作影响的所述图像像素相对应的所述偏移向量；将由所确定的所述偏移向量表示的所述图像像素的像素值映射到受影响的所述图像像素，根据所述映射来设置受影响的所述图像像素的像素值。2.根据权利要求1所述的方法，其中所述映射还包括：通过基于由相对于受所述操作影响的对应图像像素的所述偏移向量描述的所述位移而计算所标识的图像像素的位置，来标识由所述偏移向量表示的图像像素。3.根据权利要求1所述的方法，其中所述偏移预测神经网络基于通过在训练期间展露于训练图像而学习的图像特征、而不是基于像素值确定最近的相邻分块，来生成作为所述位移图的所述偏移预测。4.根据权利要求1所述的方法，其中所述偏移预测神经网络包括卷积神经网络，所述卷积神经网络具有中间扩张层，所述中间扩张层用于执行一个或多个卷积运算，作为生成作为所述位移图的所述偏移预测以用于所述图像编辑操作的一部分。5.根据权利要求1所述的方法，其中所述偏移预测神经网络使用可微分采样以在训练期间对由所述偏移预测神经网络生成的偏移预测的所述偏移向量进行采样而被训练。6.根据权利要求1所述的方法，其中所述经编辑的数字图像作为来自所述分块匹配器的输出而被接收，而没有图像后处理操作相对于受影响的所述图像像素被执行。7.根据权利要求1所述的方法，其中所述偏移预测神经网络被训练以生成针对所述图像编辑操作的偏移预测，所述图像编辑操作包括涉及分块匹配的多个图像编辑操作中的一个操作，所述多个图像编辑操作包括以下项中的至少一项：孔洞填充操作；图像重定向操作；光流预测操作；或未来的视频帧预测操作。8.根据权利要求1所述的方法，还包括：接收具有至少一个孔洞的孔洞数字图像，所述至少一个孔洞包括具有指示不存在所描绘图像的值的一组连续图像像素；将所述孔洞数字图像展露给所述分块匹配器；接收作为来自所述分块匹配器的输出的填充数字图像，所述填充数字图像包括代替所述至少一个孔洞的孔洞填充数字内容，所述分块匹配器通过以下项输出所述填充数字图像：用所述偏移预测神经网络生成作为所述位移图的所述偏移预测，所述偏移向量表示所述孔洞数字图像的、被配置为填充所述孔洞数字图像的所述孔洞的所述图像像素的位移；确定对应于所述孔洞数字图像的所述孔洞的所述偏移向量；将由所确定的所述偏移向量表示的所述图像像素的所述像素值映射到所述孔洞的所述图像像素，以及根据有效的所述映射来设置所述孔洞的所述图像像素的所述像素值，以用所描绘的内容来填充所述孔洞。9.根据权利要求8所述的方法，其中所述孔洞数字图像具有多个孔洞。10.根据权利要求1所述的方法，其中接收所述数字图像、展露所述数字图像、和接收所述经编辑的数字图像结合包括所述分块匹配器的所述计算设备的图像编辑应用而被执行。11.根据权利要求10所述的方法，还包括：...
【专利技术属性】
技术研发人员：林哲，卢昕，沈晓辉，杨济美，余佳慧，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。