基于深度学习的图像处理系统、方法、终端、及介质技术方案

本申请提供基于深度学习的图像处理系统、方法、终端、及介质，本申请利用深度学习在计算机视觉领域的优秀的图像理解能力，尤其是对图像全局语义的推力能力，提出了一种全新的用于图像中的线段检测的卷积神经网络，从而有效解决了传统的线段检测算法仅依赖于局部特征而对尺度和照明的变化敏感，且容易忽略具有较低局部边缘响应的问题。

Image Processing System, Method, Terminal and Media Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的图像处理系统、方法、终端、及介质
本申请涉及图像处理
，特别是涉及基于深度学习的图像处理系统、方法、终端、及介质。
技术介绍
从二维图像中提取三维信息一直是计算机视觉中的一个重要问题。一些已有的技术工作已经证明了基于局部特征检测、匹配和跟踪(例如：角点和边缘)检测线段的可行性。然而，在现代应用中，尤其是涉及机器人与人造物理环境之间的交互对线段检测提出了更复杂的挑战。一方面，人造环境往往包含丰富的均匀表面和/或高度重复的模式，这给特征匹配和跟踪带来困难。另一方面，对于性能高度依赖于几何元素(如点、线)的即时定位与地图构建问题，丰富和准确的线段信息显得尤为重要。对于线段检测，许多已有的工作基于曼哈顿世界空间结构的假设或特定的房间拓扑。这些先验知识对理解三维结构非常有益，但在现实生活中，这些假设经常并不成立。而一般的节点和线段既能够传递重要的几何信息，又不依赖于任何先前的假设，因此可用于更为广泛的场景中。传统的线段检测算法一般从边缘检测开始，进而对其进行合并和细化，最终得到线段。然而，由于这些方法仅依赖于局部特征，因此通常对尺度和照明的变化敏感；此外，一些几何信息丰富的线，例如两个白色墙壁之间的交线，往往具有较低的局部边缘响应，因此往往被这些方法忽略。相比之下，如果能通过全局语义推理，计算机就可以容易地识别这种视觉上模糊的线段。申请内容鉴于以上所述现有技术的缺点，本申请的目的在于提供，用于解决现有传统的线段检测算法仅依赖于局部特征而对尺度和照明的变化敏感，且容易忽略具有较低局部边缘响应的问题。为实现上述目的及其他相关目的，本申请的第一方面提供一种基于深度学习的图像处理系统，用于将待处理图像转换为对应的简单图；所述系统包括：图像特征提取模块，用于从待处理图像中提取图像特征；节点检测模块，用于基于所提取的图像特征检测出多个线段节点；连接性特征池化模块，用于从所述图像特征中提取对应于由所述多个线段节点所生成的多个候选线段的连接性特征；邻接矩阵推断模块，用于根据所述连接性特征推断每对线段节点之间的连接概率，据以组合成相应的邻接矩阵；其中，所述系统以所述多个选段节点的坐标集合作为所述简单图的节点集合，并以所述邻接矩阵作为所述简单图的连接集合，据以输出所述待处理图像对应的简单图。于本申请的第一方面的一些实施例中，所述图像特征提取模块包括使用特征金字塔结构的神经网络和/或使用空间金字塔池化结构的神经网络。于本申请的第一方面的一些实施例中，所述节点检测模块所检测出的多个线段节点包括线段端点；所述线段端点的坐标集合作为简单图的节点集合。于本申请的第一方面的一些实施例中，令线段节点个数为n，其中n≥1，则所述候选线段的个数为(n*(n-1)/2)。于本申请的第一方面的一些实施例中，所述邻接矩阵为n×n矩阵，矩阵中的各个元素表示对应的两个线段节点之间的连接概率。为实现上述目的及其他相关目的，本申请的第二方面提供一种基于深度学习的图像处理方法，所述方法用于将待处理图像转换为对应的简单图；所述方法包括：从待处理图像中提取图像特征；基于所提取的图像特征检测出多个线段节点；从所述图像特征中提取对应于由所述多个线段节点所生成的多个候选线段的连接性特征；根据所述连接性特征推断每对线段节点之间的连接概率，据以组合成相应的邻接矩阵；其中，以所述多个选段节点的坐标集合作为所述简单图的节点集合，并以所述邻接矩阵作为所述简单图的连接集，据以输出所述待处理图像对应的简单图于本申请的第二方面的一些实施例中，所述方法包括：使用特征金字塔结构的神经网络和/或使用空间金字塔池化结构的神经网络，从待处理图像中提取图像特征。于本申请的第二方面的一些实施例中，所述方法包括：所述线段节点包括线段端点；所述线段端点的坐标集合作为简单图的节点集合。为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度学习的图像处理方法。为实现上述目的及其他相关目的，本申请的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于深度学习的图像处理方法。如上所述，本申请提供基于深度学习的图像处理系统、方法、终端、及介质，具有以下有益效果：本申请利用深度学习在计算机视觉领域的优秀的图像理解能力，尤其是对图像全局语义的推力能力，提出了一种全新的用于图像中的线段检测的卷积神经网络，从而有效解决了传统的线段检测算法仅依赖于局部特征而对尺度和照明的变化敏感，且容易忽略具有较低局部边缘响应的问题。附图说明图1显示为本申请一实施例中基于深度学习的图像处理系统的结构示意图。图2显示为本申请一实施例中基于深度学习的图像处理的结果示意图。图3显示为本申请一实施例中基于深度学习的图像处理方法的流程示意图。图4显示为本申请一实施例中电子终端的结构示意图。具体实施方式以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。现有的线段检测算法一般从边缘检测开始，进而对其进行合并和细化，最终得到线段。然而，由于这些方法仅依赖于局部特征，因此通常对尺度本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像处理系统，其特征在于，用于将待处理图像转换为对应的简单图；所述系统包括：图像特征提取模块，用于从待处理图像中提取图像特征；节点检测模块，用于基于所提取的图像特征检测出多个线段节点；连接性特征池化模块，用于从所述图像特征中提取对应于由所述多个线段节点所生成的多个候选线段的连接性特征；邻接矩阵推断模块，用于根据所述连接性特征推断每对线段节点之间的连接概率，据以组合成相应的邻接矩阵；其中，所述系统以所述多个选段节点的坐标集合作为所述简单图的节点集合，并以所述邻接矩阵作为所述简单图的连接集合，据以输出所述待处理图像对应的简单图。

【技术特征摘要】
1.一种基于深度学习的图像处理系统，其特征在于，用于将待处理图像转换为对应的简单图；所述系统包括：图像特征提取模块，用于从待处理图像中提取图像特征；节点检测模块，用于基于所提取的图像特征检测出多个线段节点；连接性特征池化模块，用于从所述图像特征中提取对应于由所述多个线段节点所生成的多个候选线段的连接性特征；邻接矩阵推断模块，用于根据所述连接性特征推断每对线段节点之间的连接概率，据以组合成相应的邻接矩阵；其中，所述系统以所述多个选段节点的坐标集合作为所述简单图的节点集合，并以所述邻接矩阵作为所述简单图的连接集合，据以输出所述待处理图像对应的简单图。2.根据权利要求1所述的系统，其特征在于，所述图像特征提取模块包括使用特征金字塔结构的神经网络和/或使用空间金字塔池化结构的神经网络。3.根据权利要求1所述的系统，其特征在于，所述节点检测模块所检测出的多个线段节点包括线段端点；所述线段端点的坐标集合作为简单图的节点集合。4.根据权利要求1所述的系统，其特征在于，包括：令线段节点个数为n，其中n≥1，则所述候选线段的个数为(n*(n-1)/2)。5.根据权利要求4所述的系统，其特征在于，所述邻接矩阵为n×n矩阵，矩阵中的各个元素表示对应的两个线段节点之间的连接...

【专利技术属性】
技术研发人员：高盛华，张子恒，厉征鑫，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：上海,31