学习和传播视觉属性制造技术

公开了学习和传播视觉属性。本发明专利技术的一个实施例提出了一种用于执行空间传播的技术。该技术包括通过经由沿第一方向的有向边连接包括在非结构化点集合中的空间上相邻的点来生成第一有向无环图(DAG)。该技术还包括将第一组神经网络层应用于与该非结构化点集合相关联的一个或更多个图像以生成(i)非结构化点集合的特征集合和(ii)由有向边连接的空间上相邻的点之间的逐对相关度集合。该技术还包括通过基于逐对相关度集合跨第一DAG传播特征集合来生成用于非结构化点集合的标签集合。来生成用于非结构化点集合的标签集合。来生成用于非结构化点集合的标签集合。

【技术实现步骤摘要】
学习和传播视觉属性


[0001]本公开的实施例总体上涉及空间传播，并且更具体地，涉及在任意结构化数据中学习和传播视觉属性。

技术介绍

[0002]在计算机视觉中，相关度矩阵包括表征空间中的两个点的相似度或接近度的通用矩阵。例如，相关度矩阵可存储图像中的像素对的权重集合。每个权重可表示相应像素对之间的语义相似度或接近度；越接近0的权重指示缺少语义相似度或者接近度，而越接近1的权重指示语义相似度或者接近度高。
[0003]接着可使用相关度矩阵来执行和/或增强各种图像处理或计算机视觉任务。例如，图像中的像素之间的逐对相关度可用于执行或细化语义分割、着色、滤波、聚类和/或与向像素指派值相关的其他操作。更确切地说，逐对相关度可以用于控制与跨像素的操作相关的属性(例如，类别标签、颜色等)的传播。在此传播期间，给定像素的属性通过由像素与其他像素之间的相关度缩放其他像素的属性来更新。
[0004]然而，用于学习相关度并且基于相关度传播信息的现有技术通常对结构化数据(诸如，布置在图像或视频内的规则网格中的像素)进行操作。结果，这些技术可能不适合与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于执行空间传播的方法，包括：通过连接包括在空间分布点集合中的两个或更多个点来生成第一结构；将第一组神经网络层应用于与所述空间分布点集合相关联的一个或更多个图像，以生成(i)所述空间分布点集合的特征集合以及(ii)所述两个或更多个点之间的相关度集合；以及通过基于所述相关度集合跨所述第一结构传播所述特征集合来为所述空间分布点集合生成标签集合。2.根据权利要求1所述的方法，还包括：通过沿着一个或更多个方向经由一个或更多个边连接包括在所述空间分布点集合中的两个或更多个附加点来生成一个或更多个结构；以及通过基于用于所述两个或更多个附加点的所述相关度集合跨所述一个或更多个结构传播所述特征集合来生成所述标签集合。3.根据权利要求2所述的方法，其中生成所述标签集合包括：将跨所述第一结构传播所述特征集合的第一结果和跨所述一个或更多个结构传播所述特征集合的一个或更多个结果聚合成用于所述空间分布点集合的特征向量集合；以及将第二组神经网络层应用于所述特征向量集合，以生成所述标签集合。4.根据权利要求2所述的方法，其中所述一个或更多个方向包括与所述第一方向正交的第二方向和与所述第一方向相反的第三方向。5.根据权利要求1所述的方法，其中将所述第一组神经网络层应用于所述一个或更多个图像包括：将残差块序列应用于图像，以产生所述图像中的第一像素的第一一元特征。6.根据权利要求5所述的方法，其中将所述第一组神经网络层应用于所述一个或更多个图像还包括：将相关度块集合应用于所述残差块集合的第一组输出，以产生所述第一像素的第一逐对特征。7.根据权利要求6所述的方法，其中将所述第一组神经网络层应用于所述一个或更多个图像还包括：将相似度内核应用于所述第一逐对特征和所述图像中的第二像素的第二逐对特征，以产生所述第一像素与所述第二像素之间的逐对相关度。8.根据权利要求6所述的方法，其中将所述相关度块集合应用于所述残差块集合的所述第一组输出包括：产生所述第一逐对特征作为所述相关度块集合的第二组输出的加权和。9.根据权利要求1所述的方法，其中将所述第一组神经网络层应用于所述一个或更多个图像包括：将所述一个或更多个图像中的像素集合的所述特征集合的对应于第一空间分布点的子集聚合成所述第一空间分布点的一个或更多个逐点特征；以及基于所述一个或更多个逐点特征中的第一逐对特征与所述第二非结构化点的第二逐对特征之间的相似度，计算所述第一空间分布点与第二空间分布点之间的逐对相关度。10.根据权利要求1所述的方法，其中跨所述第一结构传播所述特征集合包括：基于所述空间分布点集合的子集的所述特征集合的子集的总和来更新所述第一结构中的第一点的特征，所述空间分布点集合的子集具有到所述第一结构中的所述第一点的出边，所述出边由所述空间分布点集合的所述子集与所述第一点之间的所述逐对相关度集合的子集进
行加权。11.根据权利要求1所述的方法，其中跨所述第一结构传播所述特征集合包括：基于所述第一结构的拓扑将所述空间分布点集合划分为多个组的点，其中包括在所述多个组的点中的每个组包括：(i)空间分布点的子集，其在所述第一结构中彼此不链接，以及(ii)来自包括在所述多个组中的一个或更多个组的入边，所述一个或更多个组在所述第一结构中沿着所述第一方向在所述组前面；以及将所述特征集合的子集从所述多个组中的第一组并行地传播到所述多个组中的第二组，所述第二组通过所述一条或更多条边的子集连接到所述第一组。12.根据权利要求1所述的方法，其中连接所述两个或更多个点包括：经由沿第一方向的有向边连接包括在所述空间分布点集合中的两个或更多个空间相邻点。13.根据权利要求1所述的方法，其中所述第一结构包括有向无环图(DAG)。14.根据权利要求1所述的方法，其中所述空间分布点集合包括点云或一个或更多个超级像素中的至少一个。15.根据权利要求1所述的方法，其中所述标签集合包括类别标签或颜色中的至少一个。16.一种非暂态计算机可读介质，其存储指令，所述指令在由处理器执行时使所述处理器执行以下步骤：通过沿第一方向经由有向边连接包括在非结构化点集合中的空间相邻点来生成第一有向无环图(DAG)；将第一组神经网络层应用于与所述非结构化点集合相关联的一个或更多个图像以生成(i)所述非结构化点集合的特征集合和(ii)由所述有向边连接的所述空间相邻点之间的逐对相关度集合；以及通过基于所述逐对相关度集...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：辉达公司，
类型：发明
国别省市：