实例分割方法及装置制造方法及图纸

本发明专利技术提供了一种实例分割方法及装置，所述实例分割方法包括：接收待处理图像；通过第一神经网络对所述待处理图像进行处理以生成第一特征张量；通过第二神经网络对所述第一特征张量进行处理以生成不同尺度的多个第二特征张量，其中每个所述第二特征张量表示相应尺度的所述待处理图像；以及通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割。根据本发明专利技术实施例的实例分割方法及装置基于包括新的网络组件的新的网络架构同时进行物体检测与图像分割，使得不需要使用图片金字塔就能够一次生成所有的物体分割，解决了多尺度问题，同时提高了算法的速度。

Method and device for instance segmentation

The present invention provides a method and device for example segmentation, the segmentation example method includes: receiving the image to be processed; through the first neural network of the image to be processed is processed to generate a first characteristic tensor; a plurality of second characteristic tensor through second neural network on the first feature Zhang Liangjin processed to generate different scales, wherein each of the second characteristics of the corresponding scale tensor representation of the image processing; and by third neural networks of the second plurality of characteristic tensor processing to achieve real cases of the image segmentation. Examples of segmentation method and device according to the embodiment of the invention of the new network architecture including new network components based on simultaneous object detection and image segmentation, which can generate a all object segmentation does not require the use of pictures in Pyramid, to solve the multi scale problems, and improve the speed of the algorithm.

【技术实现步骤摘要】

本专利技术涉及图像处理
，更具体地涉及一种实例分割方法及装置。
技术介绍
物体检测和图像分割是两种不同的计算机视觉基础任务。物体检测要求算法把各种物体从图像中识别并定位出来，图像分割要求算法把图像的每一个像素加上类别标注。将物体检测和图像分割两者结合起来称为实例分割，实例分割要求算法找到每一个待检测的物体并把物体所在的像素标注出来。现有的物体分割方法(例如DeepMask、SharpMask、InstanceFCN等)在对图片中的实例(指图片中的待分割对象，例如人、车等)进行分割时通常包括如下步骤：首先，对待处理图像的尺度(scale)进行调整以形成包括多张不同尺度图片的图片金字塔；然后，利用神经网络(例如DeepMask网络)的身体网络(bodymodule)从每个调整后的图片中提取全特征张量(fullfeaturemap)，从而得到多个尺度不同的特征张量；最后，利用固定尺度的滑动窗口(fixed-sizeslidingwindow)对该多个尺度不同的特征图进行操作得到对应数目的窗口特征张量，利用神经网络的头网络(headmodule)确定每个窗口特征张量的置信度并基于置信本文档来自技高网...

【技术保护点】
一种实例分割方法，其特征在于，所述实例分割方法包括：接收待处理图像；通过第一神经网络对所述待处理图像进行处理以生成第一特征张量；通过第二神经网络对所述第一特征张量进行处理以生成不同尺度的多个第二特征张量，其中每个所述第二特征张量表示相应尺度的所述待处理图像；以及通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割。

【技术特征摘要】
1.一种实例分割方法，其特征在于，所述实例分割方法包括：接收待处理图像；通过第一神经网络对所述待处理图像进行处理以生成第一特征张量；通过第二神经网络对所述第一特征张量进行处理以生成不同尺度的多个第二特征张量，其中每个所述第二特征张量表示相应尺度的所述待处理图像；以及通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割。2.根据权利要求1所述的实例分割方法，其特征在于，所述第二神经网络包括至少两个子网络，每个子网络用于生成一种预定尺度的所述第二特征张量。3.根据权利要求2所述的实例分割方法，其特征在于，所述子网络之间是残余连接并共享参数的，后一个子网络基于前一个子网络的输出生成另一种预定尺度的所述第二特征张量。4.根据权利要求3所述的实例分割方法，其特征在于，基于所述后一个子网络生成的第二特征张量的尺度小于基于所述前一个子网络生成的第二特征张量的尺度。5.根据权利要求2所述的实例分割方法，其特征在于，所述子网络包括卷积层和池化层。6.根据权利要求1-5中的任一项所述的实例分割方法，其特征在于，所述通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割包括：通过所述第三神经网络的滑动窗口分别从所述多个第二特征张量中提取相应的窗口特征张量；基于所述窗口特征张量生成所述滑动窗口中存在物体的置信度；以及基于所述置信度和所述窗口特征张量生成所述待处理图像的实例分割。7.根据权利要求1-5中的任一项所述的实例分割方法，其特征在于，所述通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割包括：通过所述第三神经网络的滑动窗口分别从所述多个第二特征张量中提取相应的窗口特征张量；基于所述窗口特征张量生成所述滑动窗口中存在物体的置信度，选择存在物体的置信度大于预定阈值的窗口特征张量作为有效窗口特征张量；基于每个所述有效窗口特征张量生成相应的注意力矩阵，其中所述注意力矩阵包括相应的所述有效窗口特征张量上的每一点位于待检测物体所在区域内的置信度值；将每个所述注意力矩阵广播乘相应的所述有效窗口特征张量以生成第三特征张量；以及基于所述第三特征张量生成所述待处理图像的实例分割。8.根据权利要求1-5中的任一项所述的实例分割方法，其特征在于，所述通过第三神经网络对所述多个第二特征张量进行处理以实现对所述待处理图像的实例分割包括：通过所述第三神经网络的滑动窗口分别从所述多个第二特征张量中提取相应的窗口特征张量；基于每个所述窗口特征张量生成相应的注意力矩阵和所述滑动窗口中存在物体的置信度，其中所述注意力矩阵包括相应的所述窗口特征张量上的每一点位于待检测物体所在区域内的置信度值；将每个所述注意力矩阵广播乘相应的所述窗口特征张量以生成第三特征张量；以及基于所述第三特征张量以及所述滑动窗口中存在物体的置信度生成所述待处理图像的实例分割。9.根据权利要求7或8所述的实例分割方法，其特征在于，所述注意力矩阵通过由全连接层组成的注意力生成器而生成。10.根据权利要求1所述的实例分割方法，其特征在于，所述第三神经网络中还包括上采样层，所述上采样层用于提高所生成的实例分割结果的分辨率。11.一种实例分割装置，其特征在于，所述实例分割装置包括：接收模块，用于接收待处理图像；第一神经网络模块，用于对所述待处理图像进行处理以生成第一特征张量；第二神经网络...

【专利技术属性】
技术研发人员：兰石懿，胡鹤翔，姜宇宁，
申请(专利权)人：北京旷视科技有限公司，北京小孔科技有限公司，
类型：发明
国别省市：北京;11