基于紧框标的识别方法、测量方法及识别装置制造方法及图纸

技术编号:35825577 阅读:9 留言:0更新日期:2022-12-03 13:52
本公开描述了一种基于紧框标的识别方法、测量方法及识别装置,其特征在于,是利用基于目标的紧框标进行训练的网络模块对目标进行识别的识别方法,网络模块包括基于弱监督学习的图像分割的分割网络和基于边框回归的回归网络的,回归网络识别方法包括:获取包括至少一个目标的输入图像,至少一个目标属于至少一个感兴趣的类别;将输入图像输入网络模块以获取由分割网络输出的第一输出和由回归网络输出的第二输出,第一输出包括输入图像中的各个像素点属于各个类别的概率,第二输出包括输入图像中各个像素点的位置与每个类别的目标的紧框标的偏移;基于第一输出和第二输出对目标进行识别。由此,能够识别目标。能够识别目标。能够识别目标。

【技术实现步骤摘要】
基于紧框标的识别方法、测量方法及识别装置
[0001]本申请是申请日为2021年10月19日、申请号为2021112166277、专利技术名称为基于紧框标的深度学习的测量方法及测量装置的专利申请的分案申请。


[0002]本公开大体涉及基于深度学习的识别
,具体涉及一种基于紧框标的识别方法、测量方法及识别装置。

技术介绍

[0003]图像中常常包括各种目标的信息,基于图像处理技术识别图像中目标的信息可以自动对目标进行分析。例如,在医学领域,可以对医学图像中的组织对象进行识别,进而能够测量组织对象的尺寸以监测组织对象的变化。
[0004]近年,以深度学习为代表的人工智能技术得到了显著地发展,其在目标识别或测量等方面的应用也越来越得到关注。研究者们利用深度学习技术对图像中的目标进行识别或进行进一步地测量。具体而言,在一些基于深度学习的研究中,常常利用标注数据对基于深度学习的神经网络进行训练以对图像中的目标进行识别并分割出该目标,进而能够对该目标进行测量。
[0005]然而,上述的目标识别或测量的方法常常需要精确的像素级别的标注数据用于神经网络的训练,而采集像素级别的标注数据常常需要耗费大量的人力和物力。另外,一些目标识别的方法虽然不是基于像素级别的标注数据,但仅仅是识别图像中的目标,对目标的边界识别还不够精确或在靠近目标的边界位置往往精度较低,不适用于要求精确测量的场景。在这种情况下,对图像中的目标进行测量的精确性还有待于提高。

技术实现思路

[0006]本公开是有鉴于上述的状况而提出的,其目的在于提供一种能够识别目标且能够精确地对目标进行测量的基于紧框标的深度学习的测量方法及测量装置。
[0007]为此,本公开第一方面提供了一种基于紧框标的深度学习的测量方法,是利用基于目标的紧框标进行训练的网络模块对所述目标进行识别从而实现测量的测量方法,所述紧框标为所述目标的最小外接矩形,所述测量方法包括:获取包括至少一个目标的输入图像,所述至少一个目标属于至少一个感兴趣的类别;将所述输入图像输入所述网络模块以获取第一输出和第二输出,所述第一输出包括所述输入图像中的各个像素点属于各个类别的概率,所述第二输出包括所述输入图像中各个像素点的位置与每个类别的目标的紧框标的偏移,将所述第二输出中的偏移作为目标偏移,其中,所述网络模块包括骨干网络、基于弱监督学习的图像分割的分割网络、以及基于边框回归的回归网络,所述骨干网络用于提取所述输入图像的特征图,所述分割网络将所述特征图作为输入以获得所述第一输出,所述回归网络将所述特征图作为输入以获得所述第二输出,其中,所述特征图与所述输入图像的分辨率一致;基于所述第一输出和所述第二输出对所述目标进行识别以获取各个类别
的目标的紧框标。
[0008]在本公开中,构建包括骨干网络、基于弱监督学习的图像分割的分割网络和基于边框回归的回归网络的网络模块,网络模块是基于目标的紧框标进行训练的,骨干网络接收输入图像并提取与输入图像分辨率一致的特征图,将特征图分别输入分割网络和回归网络以获取第一输出和第二输出,然后基于第一输出和第二输出获取输入图像中目标的紧框标从而实现测量。在这种情况下,基于目标的紧框标的训练的网络模块能够精确地预测输入图像中目标的紧框标,进而能够基于目标的紧框标进行精确地测量。
[0009]另外,在本公开第一方面所涉及的测量方法中,可选地,基于所述目标的紧框标对各个目标的尺寸进行测量。由此,能够基于目标的紧框标对目标进行精确地测量。
[0010]另外,在本公开第一方面所涉及的测量方法中,可选地,所述网络模块通过如下方法训练:构建训练样本,所述训练样本的输入图像数据包括多张待训练图像,所述多张待训练图像包括包含至少属于一个类别的目标的图像,所述训练样本的标签数据,包括所述目标所属的类别的金标准和所述目标的紧框标的金标准;通过所述网络模块基于所述训练样本的输入图像数据,获得所述训练样本对应的由所述分割网络输出的预测分割数据和由所述回归网络输出的预测偏移;基于所述训练样本对应的标签数据、所述预测分割数据和所述预测偏移确定所述网络模块的训练损失;并且基于所述训练损失对所述网络模块进行训练以优化所述网络模块。由此,能够获得已优化的网络模块。
[0011]另外,在本公开第一方面所涉及的测量方法中,可选地,所述基于所述训练样本对应的标签数据、所述预测分割数据和所述预测偏移确定所述网络模块的训练损失,包括:基于所述训练样本对应的预测分割数据和标签数据,获取所述分割网络的分割损失;基于所述训练样本对应的预测偏移和基于标签数据对应的真实偏移,获取所述回归网络的回归损失,其中,所述真实偏移为所述待训练图像的像素点的位置与标签数据中的目标的紧框标的金标准的偏移;并且基于所述分割损失和所述回归损失,获取所述网络模块的训练损失。在这种情况下,能够通过分割损失使分割网络的预测分割数据近似标签数据,且能够通过回归损失使回归网络的预测偏移近似真实偏移。
[0012]另外,在本公开第一方面所涉及的测量方法中,可选地,所述目标偏移为基于各个类别的目标的平均宽度和平均高度进行归一化后的偏移。由此,能够提高对尺寸变化不大的目标进行识别或测量的精确性。
[0013]另外,在本公开第一方面所涉及的测量方法中,可选地,按类别对所述标签数据中目标的紧框标的宽度和高度分别求平均以获取平均宽度和平均高度。由此,能够通过训练样本获取目标的平均宽度和平均宽度。
[0014]另外,在本公开第一方面所涉及的测量方法中,可选地,利用多示例学习,按类别基于各个待训练图像中的目标的紧框标的金标准获取多个待训练包,基于各个类别的多个待训练包获取所述分割损失,其中,所述多个待训练包包括多个正包和多个负包,将连接所述目标的紧框标的金标准相对的两个边的多条直线中的各条直线上的全部像素点划分为一个正包,所述多条直线包括至少一组相互平行的第一平行线和分别与每组第一平行线垂直的相互平行的第二平行线,所述负包为一个类别的所有目标的紧框标的金标准之外的区域的单个像素点。由此,能够基于多示例学习的正包和负包获取分割损失。
[0015]另外,在本公开第一方面所涉及的测量方法中,可选地,所述第一平行线的角度为
所述第一平行线的延长线与所述目标的紧框标的金标准的任意一个未相交的边的延长线的夹角的角度,所述第一平行线的角度大于

90
°
且小于90
°
。在这种情况下,能够划分不同角度的正包对分割网络进行优化。由此,能够提高分割网络的预测分割数据的准确性。
[0016]另外,在本公开第一方面所涉及的测量方法中,可选地,所述分割损失包括一元项和成对项,所述一元项描述每个待训练包属于各个类别的金标准的程度,所述成对项描述所述待训练图像的像素点与该像素点相邻的像素点属于同类别的程度。在这种情况下,能够通过一元损失使紧框标同时通过正包和负包进行约束,且能够通过成对损失使预测分割结果平滑。
[0017]另外,在本公开第一方面所涉及的测量方本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于紧框标的识别方法,其特征在于,是利用基于目标的紧框标进行训练的网络模块对所述目标进行识别的识别方法,所述网络模块包括用于图像分割的分割网络和基于边框回归的回归网络的,所述识别方法包括:获取包括至少一个目标的输入图像,所述至少一个目标属于至少一个感兴趣的类别;将所述输入图像输入所述网络模块以获取由所述分割网络输出的第一输出和由所述回归网络输出的第二输出,所述第一输出包括所述输入图像中的各个像素点属于各个类别的概率,所述第二输出包括所述输入图像中各个像素点的位置与每个类别的目标的紧框标的偏移;基于所述第一输出和所述第二输出对所述目标进行识别。2.根据权利要求1所述的识别方法,其特征在于:所述网络模块还包括骨干网络,所述骨干网络用于提取所述输入图像的特征图,所述分割网络将所述特征图作为输入以获得所述第一输出,所述回归网络将所述特征图作为输入以获得所述第二输出。3.根据权利要求2所述的识别方法,其特征在于:所述特征图和所述输入图像的分辨率一致。4.根据权利要求1所述的识别方法,其特征在于:将所述第二输出中的偏移作为目标偏移,所述目标偏移是基于各个类别的目标的平均大小进行归一化后的偏移。5.根据权利要求1所述的识别方法,其特征在于:所述网络模块通过如下方法训练:构建训练样本,所述训练样本的输入图像数据包括多张待训练图像,所述多张待训练图像包括包含至少属于一个类别的目标的图像,所述训练样本的标签数据,包括所述目标所属的类别的金标准和所述目标的紧框标的金标准;通过所述网络模块基于所述训练样本的输入图像数据,获得所述训练样本对应的由所述分割网络输出的预测分割数据和由所述回归网络输出的预测偏移;基于所述训练样本对应的标签数据、所述预测分割数据和所述预测偏移确定所述网络模块的训练损失;并且基于所述训练损失对所述网络模块进行训练以优化所述网络模块。6.根据权利要求5所述的识别方法,其特征在于:所述基于所述训练样本对应的标签数据、所述预测分割数据和所述预测偏移确定所述网络模块的训练损失,包括:基于所述训练样本对应的预测分割数据和标签数据,获取所述分割网络的分割损失;基于所述训练样本对应的预测...

【专利技术属性】
技术研发人员:王娟夏斌
申请(专利权)人:深圳硅基智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1