动态对象实例检测、分割和结构映射的优化制造技术

在一个实施例中，系统可以访问图像并使用神经网络为图像生成特征图。该系统可以识别特征图中的感兴趣区域。可以分别为感兴趣区域生成区域特征图。每个区域特征图都有第一维度、第二维度和第三维度。该系统可以通过组合区域特征图来生成第一组合区域特征图。组合区域特征图具有第一维度、第二维度和第三维度。该系统可以通过使用一个或更多个卷积层处理第一组合区域特征图来生成第二组合区域特征图。该系统可以针对每个感兴趣区域，基于第二组合区域特征图的与该感兴趣区域相关联的一部分，生成与对象实例相关联的信息。

【技术实现步骤摘要】
【国外来华专利技术】动态对象实例检测、分割和结构映射的优化
本公开通常涉及计算机视觉。背景机器学习可以用来使机器自动检测和处理图像中出现的对象。一般而言，机器学习通常包括根据机器学习模型处理训练数据集，并基于训练算法更新模型，使得它逐渐“学习”数据集中可预测期望输出的特征。机器学习模型的一个例子是神经网络，它是由相互连接的节点组成的网络。节点组可以分层排列。接收输入数据的网络的第一层可以称为输入层，从网络输出数据的最后一层可以称为输出层。可以有任意数量的内部隐藏层将输入层中的节点映射到输出层中的节点。在前馈神经网络中，除了输出层之外，每一层中节点的输出都被配置为前馈到下一层中的节点。机器学习模型可以被训练来识别在图像中捕获的对象特征。然而，这种模型通常很大，需要许多操作。虽然大型和复杂模型可以在具有快速处理器(例如，多个中央处理单元(“CPU”)和/或图形处理单元(“GPU”)以及大型存储器(例如，随机存取存储器(“RAM”)和/或高速缓存)的高端计算机上充分执行，但是这样的模型可能不能在具有更少能力的硬件资源的计算设备上操作。需要来自模型的接近实时的结果(例本文档来自技高网...

【技术保护点】
1.一种方法，包括由计算系统：/n访问图像；/n使用神经网络生成所述图像的特征图；/n识别所述特征图中的多个感兴趣区域；/n分别为所述多个感兴趣区域生成多个区域特征图，其中，所述多个区域特征图中的每一个都具有第一维度、第二维度和第三维度；/n通过组合所述多个区域特征图来生成第一组合区域特征图，其中，所述组合区域特征图具有第一维度、第二维度和第三维度；/n通过使用一个或更多个卷积层处理所述第一组合区域特征图来生成第二组合区域特征图；和/n针对所述多个感兴趣区域中的每一个感兴趣区域，基于所述第二组合区域特征图的与该感兴趣区域相关联的一部分，生成与对象实例相关联的信息。/n

【技术特征摘要】
【国外来华专利技术】20171203 US 62/593,980;20180504 US 15/971,9301.一种方法，包括由计算系统：
访问图像；
使用神经网络生成所述图像的特征图；
识别所述特征图中的多个感兴趣区域；
分别为所述多个感兴趣区域生成多个区域特征图，其中，所述多个区域特征图中的每一个都具有第一维度、第二维度和第三维度；
通过组合所述多个区域特征图来生成第一组合区域特征图，其中，所述组合区域特征图具有第一维度、第二维度和第三维度；
通过使用一个或更多个卷积层处理所述第一组合区域特征图来生成第二组合区域特征图；和
针对所述多个感兴趣区域中的每一个感兴趣区域，基于所述第二组合区域特征图的与该感兴趣区域相关联的一部分，生成与对象实例相关联的信息。


2.根据权利要求1所述的方法，
其中，所述第一组合区域特征图的第一维度和第二维度分别等于所述多个区域特征图中的每一个的第一维度和第二维度。


3.根据权利要求2所述的方法，其中，所述第一组合区域特征图的第三维度等于或大于所述多个区域特征图的相应第三维度的组合。


4.根据权利要求3所述的方法，
其中，所述多个区域特征图中的每一个的第三维度对应于高度尺寸或宽度尺寸；
其中，所述第一维度或所述第二维度对应于通道尺寸。


5.根据权利要求1所述的方法，其中，所述第一组合区域特征图包括所述多个区域特征图，并且在所述多个区域特征图的相邻对之间插入了填充。


6.根据权利要求5所述的方法，其中，所述多个区域特征图的每个相邻对之间的填充的大小至少与所述一个或更多个卷积层使用的内核大小一样宽。


7.根据权利要求1所述的方法，其中，所述第一组合区域特征图的处理是使用神经处理引擎来执行的，所述神经处理引擎被配置为对三维张量执行卷积运算。


8.根据权利要求1所述的方法，其中，与所述对象实例相关联的信息是实例分割遮罩、关键点遮罩或边界框。


9.一种系统，包括：一个或更多个处理器和耦合到一个或更多个所述处理器的一个或更多个计算机可读非暂时性存储介质，所述一个或更多个计算机可读非暂时性存储介质包括指令，当由一个或更多个所述处理器执行时所述指令可操作来使所述系统执行操作，所述操作包括：
访问图像；
使用神经网络生成所述图像的特征图；
识别所述特征图中的多个感兴趣区域；
分别为所述多个感兴趣区域生成多个区域特征图，其中，所述多个区域特征图中的每一个都具有第一维度、第二维度和第三维度；
通过组合所述多个区域特征图来生成第一组合区域特征图，其中，所述组合区域特征图具有第一维度、第二维度和第三维度；
通过使用一个或更多个卷积层处理所述第一组合区域特征图来生成第二组合区域特征图；和
针对所述多个感兴趣区域中的每一个感兴趣区域，基于所述第二组合区域特征图的与该感兴趣区域相关联的一部分，生成与对象实例相关联的信息。


10.根据权利要求9所述的系统，
其中，所述第一组合区域特征图的第一维度和第二维度分别等于所述多个区域特征图中的每一个的第一维度和第二维度。


11.根据权利要求10所述的系统，其中，所述第一组合区域特征图的第三维度等于或大于所述多个区域特征图的相应第三维度的组合。


12.根据权利要求11所述的系统，
其中，所述多个区域特征图中的每一个的第三维度对应于高度尺寸或宽度尺寸；和
其中，所述第一维度或所述第二维度对应于通道尺寸。


13.根据权利要求9所述的系统，其中，所述第一组合区域特征图包括所述多个区域特征图，并且在所述多个区域特征图的相邻对之间插入了填充。


14.根据权利要求13所述的系统，其中，所述多个区域特征图的每个相邻对之间的填充的大小至少与所述一个或更多个卷积层使用的内核大小一样宽。


15.根据权利要求9所述的系统，其中，所述第一组合区域特征图的处理是使用神经处理引擎来执行的，所述神经处理引擎被配置为对三维张量执行卷积运算。


16.一种或更多种包含软件的计算机可读非暂时性存储介质，该软件在被执行时可操作来使一个或更多个处理器执行操作，所述操作包括：
访问图像；
使用神经网络生成所述图像的特征图；
识别所述特征图中的多个感兴趣区域；
分别为所述多个感兴趣区域生成多个区域特征图，其中所述多个区域特征图中的每一个都具有第一维度、第二维度和第三维度；
通过组合所述多个区域特征图来生成第一组合区域特征图，其中，所述组合区域特征图具有第一维度、第二维度和第三维度；
通过使用一个或更多个卷积层处理所述第一组合区域特征图来生成第二组合区域特征图；和
针对所述多个感兴趣区域中的每一个感兴趣区域，基于所述第二组合区域特征图的与该感兴趣区域相关联的一部分，生成与对象实例相关联的信息。


17.根据权利要求16所述的介质，
其中，所述第一组合区域特征图的第一维度和第二维度分别等于所述多个区域特征图中的每一个的第一维度和第二维度。


18.根据权利要求17所述的介质，其中，所述第一组合区域特征图的第三维度等于或大于所述多个区域特征图的相应第三维度的组合。


19.根据权利要求18所述的方法，
其中，所述多个区域特征图中的每一个的第三维度对应于高度尺寸或宽度尺寸；
其中，所述第一维度或所述第二维度对应于通道尺寸。


20.根据...

【专利技术属性】
技术研发人员：皮特·瓦伊达，张培钊，杨飞，王阳涵，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国;US