使用尺度多样化的分割神经网络标识目标对象制造技术

本公开的实施例涉及使用尺度多样化的分割神经网络标识目标对象。本公开涉及用于训练和利用尺度多样化的分割神经网络来分析不同尺度的数字图像并且标识数字图像中所描绘的不同目标对象的系统、非瞬态计算机可读介质和方法。例如，在一个或多个实施例中，所公开的系统利用尺度多样化的分割神经网络来分析数字图像和不同尺度的对应的用户指示符(例如，前景指示符、背景指示符、边缘指示符、边界区域指示符和/或语音指示符)。特别地，所公开的系统可以利用尺度多样化的分割神经网络来生成多个语义上有意义的对象分割输出。此外，所公开的系统可以提供用于显示和选择的多个对象分割输出，以提高标识目标对象和修改数字图像的效率和准确性。

【技术实现步骤摘要】
使用尺度多样化的分割神经网络标识目标对象
本公开的实施例涉及神经网络，并且更具体地，涉及使用尺度多样化的分割神经网络标识目标对象。
技术介绍
近年来，在用于标识和编辑数字图像中描绘的对象的硬件和软件平台中已经看到了显著的发展。实际上，常规的数字图像编辑系统可以选择在数字图像中描绘的对象，然后基于该选择来修改数字图像(例如，修改在数字图像中描绘的对象或将在数字图像中描绘的对象放置在不同的背景图像上)。为了说明，常规的数字图像编辑系统可以利用在大型标记数字图像库上训练的机器学习模型来分析用户对一个或多个前景像素的选择(例如，经由像素选择工具或数字套索工具)，并且然后标识对应于前景像素的对象进行编辑。尽管常规的数字图像系统可以标识在数字图像中描绘的对象，但是这些系统在准确性和效率方面仍然存在许多缺点。例如，关于准确性，常规的数字图像编辑系统经常标识在数字图像中描绘的不正确的对象。实际上，因为许多数字图像描绘了各种不同的对象，所以存在多种可能的模式/选择，这些模式/选择在给定点击集合的情况下同样合理。结果，常规的系统通常标识不准确的对象(例如，本文档来自技高网...

【技术保护点】
1.一种存储指令的非瞬态计算机可读介质，所述指令在由至少一个处理器执行时使计算机系统：/n标识包括数字图像的一个或多个像素的用户指示符，所述数字图像描绘一个或多个目标对象；/n基于所述数字图像和所述用户指示符，利用尺度多样化的分割神经网络来生成第一尺度的第一对象分割输出；/n基于所述数字图像和所述用户指示符，利用所述尺度多样化的分割神经网络来生成第二尺度的第二对象分割输出；以及/n提供所述第一对象分割输出和所述第二对象分割输出以用于显示。/n

【技术特征摘要】
20181224 US 16/231,7461.一种存储指令的非瞬态计算机可读介质，所述指令在由至少一个处理器执行时使计算机系统：
标识包括数字图像的一个或多个像素的用户指示符，所述数字图像描绘一个或多个目标对象；
基于所述数字图像和所述用户指示符，利用尺度多样化的分割神经网络来生成第一尺度的第一对象分割输出；
基于所述数字图像和所述用户指示符，利用所述尺度多样化的分割神经网络来生成第二尺度的第二对象分割输出；以及
提供所述第一对象分割输出和所述第二对象分割输出以用于显示。


2.根据权利要求1所述的非瞬态计算机可读介质，其中所述尺度多样化的分割神经网络包括对应于多个尺度的多个输出通道，并且还包括指令，所述指令在由所述至少一个处理器执行时使所述计算机系统：
利用对应于所述第一尺度的第一输出通道来生成所述第一对象分割输出；以及
利用对应于所述第二尺度的第二输出通道来生成所述第二对象分割输出。


3.根据权利要求1所述的非瞬态计算机可读介质，其中所述第一尺度包括第一大小和第一宽高比，并且所述第二尺度包括第二大小和第二宽高比。


4.根据权利要求1所述的非瞬态计算机可读介质，还包括指令，所述指令在由所述至少一个处理器执行时使所述计算机系统：
提供尺度滑块用户界面元素以用于显示；
响应于经由所述尺度滑块用户界面元素标识对应于所述第一尺度的第一位置的用户输入，提供所述第一对象分割输出以用于显示；以及
响应于经由所述尺度滑块用户界面元素标识对应于所述第二尺度的第二位置的用户输入，提供所述第二对象分割输出以用于显示。


5.根据权利要求1所述的非瞬态计算机可读介质，还包括指令，所述指令在由所述至少一个处理器执行时使所述计算机系统执行以下中的至少一个：
利用尺度提议神经网络来分析所述数字图像和所述用户指示符以生成所述第一尺度和所述第二尺度；或
基于用户交互的时间量来确定所述第一尺度。


6.根据权利要求1所述的非瞬态计算机可读介质，还包括指令，所述指令在由所述至少一个处理器执行时使所述计算机系统：
应用所述尺度多样化的分割神经网络的对象验证模型，来确定对应于所述第一尺度的第一对象得分和对应于所述第二尺度的第二对象得分；以及
基于所述第一对象得分和所述第二对象得分，提供所述第一对象分割输出和所述第二对象分割输出以用于显示。


7.根据权利要求1所述的非瞬态计算机可读介质，其中所述第一对象分割输出包括以下中的至少一个：分割掩模或分割边界。


8.根据权利要求1所述的非瞬态计算机可读介质，还包括指令，所述指令在由所述至少一个处理器执行时使所述计算机系统：
标识选择所述第一对象分割输出的用户输入；以及
基于选择所述第一对象分割输出的所述用户输入，选择对应于所述一个或多个目标对象的所述数字图像的像素。


9.一种系统，包括：
至少一个处理器；
至少一种非瞬态计算机可读存储介质，包括：
描绘训练对象的训练数字图像；
对应于所述训练对象的一个或多个训练指示符；
对应于第一尺度、所述训练对象和所述一个或多个训练指示符的第一地面实况分割；以及
指令，所述指令在由所述至少一个处理器执行时使所述系统通过以下方式训练尺度多样化的分割神经网络：
基于所述训练数字图像和所述第一尺度的所述一个或多个训练指示符，利用所述尺度多样化的分割神经网络来生成第一预测对象分割输出；以及
基于所述第一预测对象分割输出与对应于所述第一尺度、所述训练对象和所述一个或多个训练指示符的所述第一地面实...

【专利技术属性】
技术研发人员：S·科恩，L·麦，J·H·刘，B·普赖斯，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US