基于多模型融合的图像标注方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及图像检测领域，通过融合基于DenseNet网络的分类模型的二分类结果以及基于Vnet网络和FPN网络的分割模型的二值化分割结果，提升标注效果。具体公开了一种基于多模型融合的图像标注方法、装置、计算机设备及存储介质，该方法包括：获取待标注图像并对待标注图像进行预处理以得到若干实例图像；将各实例图像输入基于DenseNet网络的分类模型进行二分类；将若干实例图像对应的二分类结果拼接以获取分类结果图像；将各实例图像输入基于Vnet网络和FPN网络的分割模型进行二值化分割；将若干实例图像对应的二值化分割结果拼接以获取分割结果图像；根据分类结果图像和分割结果图像计算二值化的融合图像；提取融合图像的轮廓以根据轮廓标注待标注图像中的感兴趣区域。

Image annotation method, device, computer equipment and storage medium based on Multi-model fusion

【技术实现步骤摘要】
基于多模型融合的图像标注方法、装置、计算机设备及存储介质
本申请涉及图像处理
，尤其涉及一种基于多模型融合的图像标注方法、装置、计算机设备及存储介质。
技术介绍
在一些应用场景中，需要在图像中分割出感兴趣的目标区域；但是由于有些图像，如皮肤病变图像的细粒度变化，让系统自动对图像各区域进行分类十分困难。虽然现有的深度卷积神经网络(CNN)常被用于分类各种不同细粒度的对象，并且在多项任务中表现良好，但是仍存在准确率低的问题。
技术实现思路
本申请实施例提供一种基于多模型融合的图像标注方法、装置、计算机设备及存储介质，能够较佳地实现对待标注图像中感兴趣区域的标注，标注的重合率、查准率较高。第一方面，本申请提供了一种基于多模型融合的图像标注方法，所述方法包括：获取待标注图像并对所述待标注图像进行预处理以得到若干实例图像；将各所述实例图像输入基于DenseNet网络的分类模型进行二分类；将所述若干实例图像对应的二分类结果拼接以获取分类结果图像；将各所述实例图像输入基于Vnet网络和FPN网络的分割模型进行二值化分割；将所述若干实例图像对应的二值化分割结果拼接以获取分割结果图像；根据所述分类结果图像和所述分割结果图像计算二值化的融合图像；提取所述融合图像的轮廓，并根据所述轮廓标注所述待标注图像中的感兴趣区域。第二方面，本申请提供了一种基于多模型融合的图像标注装置，所述装置包括：预处理模块，用于获取待标注图像并对所述待标注图像进行预处理以得到若干实例图像；二分类模块，用于将各所述实例图像输入基于DenseNet网络的分类模型进行二分类；分类拼接模块，用于将所述若干实例图像对应的二分类结果拼接以获取分类结果图像；二值化分割模块，用于将各所述实例图像输入基于Vnet网络和FPN网络的分割模型进行二值化分割；分割拼接模块，用于将所述若干实例图像对应的二值化分割结果拼接以获取分割结果图像；融合模块，用于根据所述分类结果图像和所述分割结果图像计算二值化的融合图像；标注模块，用于提取所述融合图像的轮廓，并根据所述轮廓标注所述待标注图像中的感兴趣区域。第三方面，本申请提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现上述的基于多模型融合的图像标注方法。第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，若所述计算机程序被处理器执行，实现上述的基于多模型融合的图像标注方法。本申请公开了一种基于多模型融合的图像标注方法、装置、设备及存储介质，通过基于DenseNet网络的分类模型对待标注图像的实例图像进行二分类以获取分类结果图像，以及通过基于Vnet网络和FPN网络的分割模型对待标注图像的实例图像进行二值化分割以获取分割结果图像，进而将分类结果图像和分割结果图像融合提取用于标注待标注图像中感兴趣区域的轮廓；标注的重合率、查准率较高，可降低假阳性率。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请一实施例的基于多模型融合的图像标注方法的流程示意图；图2为一实施例中图像标注方法的应用场景示意图；图3为待标注图像的示意图；图4为图3中待标注图像处理得到的实例图像的示意图；图5为DenseNet网络的结构示意图；图6为一实施例中的分类模型进行二分类的子流程示意图；图7为DenseNet网络中稠密块的结构示意图；图8为一实施例中的分类模型进行二分类的子流程示意图；图9为分类结果图像的示意图；图10为分割模型中Vnet网络的结构示意图；图11为FPN网络的结构示意图；图12为分割模型进行二值化分割的子流程示意图；图13为FPN网络根据Vnet网络上采样处理的结果输出二值化分割结果的子流程示意图；图14为实例图像对应的二值化分割结果的示意图；图15为分割结果图像的示意图；图16为本申请另一实施例的基于多模型融合的图像标注方法的流程示意图；图17为分类结果图像与分割结果图像取交集得到二值化的融合图像的子流程示意图；图18为本申请再一实施例的基于多模型融合的图像标注方法的流程示意图；图19为标注待标注图像中的感兴趣区域的示意图；图20为本申请一实施例提供的基于多模型融合的图像标注装置的结构示意图；图21为本申请另一实施例提供的基于多模型融合的图像标注装置的结构示意图；图22为本申请一实施例提供的一种计算机设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。本申请的实施例提供了一种基于多模型融合的图像标注方法、装置、设备及存储介质。其中，该基于多模型融合的图像标注方法可以应用于终端或服务器中，以实现对图像中感兴趣区域的标注。例如，基于多模型融合的图像标注方法用于服务器，当然可以用于终端，比如手机、笔记本、台式机等。但为了便于理解，以下实施例将以应用于服务器的基于多模型融合的图像标注方法进行详细介绍。下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。请参阅图1，图1是本申请的实施例提供的一种基于多模型融合的图像标注方法的流程示意图。如图1所示，基于多模型融合的图像标注方法包括以下步骤：步骤S110、获取待标注图像并对所述待标注图像进行预处理以得到若干实例图像。在一些可选的实施例中，待标注图像为用于实现基于多模型融合的图像标注方法的装置在本地存储的图像、该装置从网络获取的图像、该装置从与其连接的输入装置获取的图像、该装置从其他电子设备获取的图像等。如图2所示，服务器从终端获取待标注图像，服务器与终端均连接于互联网，用户在终端将待标注图像上传至服务器；服务器通过基于多模型融合的图像标注方法标注待标注图像中的感兴趣区域，还可以将标注结果传回该终端。待标注图像可以为彩色图像、灰度图像等。获取到待标注图像后可以对待标注图像进行一些预处理，如尺寸调整、裁剪处理、旋转处理和/或图像算法处理等等；其中图像算法处理包括：调整色温算法、调整曝光算法、调整对比度算法、高光恢复算法、低光补偿算法、白平衡算法、调整清晰度算法、雾化算法索引、调整自然饱和度算法等。示例性的，如图3所示为服务器获取的待标注图像，具体为皮肤基底细胞癌病理图像。在一些实施例中，待标注图像的尺寸较大，可以通过图像切割等预处理将待标注图像处理为若干预设尺寸的实例图像，即patch或instance本文档来自技高网...

【技术保护点】
1.一种基于多模型融合的图像标注方法，其特征在于，包括：获取待标注图像并对所述待标注图像进行预处理以得到若干实例图像；将各所述实例图像输入基于DenseNet网络的分类模型进行二分类；将所述若干实例图像对应的二分类结果拼接以获取分类结果图像；将各所述实例图像输入基于Vnet网络和FPN网络的分割模型进行二值化分割；将所述若干实例图像对应的二值化分割结果拼接以获取分割结果图像；根据所述分类结果图像和所述分割结果图像计算二值化的融合图像；提取所述融合图像的轮廓，并根据所述轮廓标注所述待标注图像中的感兴趣区域。

【技术特征摘要】
1.一种基于多模型融合的图像标注方法，其特征在于，包括：获取待标注图像并对所述待标注图像进行预处理以得到若干实例图像；将各所述实例图像输入基于DenseNet网络的分类模型进行二分类；将所述若干实例图像对应的二分类结果拼接以获取分类结果图像；将各所述实例图像输入基于Vnet网络和FPN网络的分割模型进行二值化分割；将所述若干实例图像对应的二值化分割结果拼接以获取分割结果图像；根据所述分类结果图像和所述分割结果图像计算二值化的融合图像；提取所述融合图像的轮廓，并根据所述轮廓标注所述待标注图像中的感兴趣区域。2.如权利要求1所述的基于多模型融合的图像标注方法，其特征在于，所述将各所述实例图像输入基于DenseNet网络的分类模型进行二分类，具体包括：若基于DenseNet网络的分类模型预测所述实例图像存在感兴趣区域，所述实例图像对应的二分类结果为第一值区块；若基于DenseNet网络的分类模型预测所述实例图像不存在感兴趣区域，所述实例图像对应的二分类结果为第二值区块。3.如权利要求2所述的基于多模型融合的图像标注方法，其特征在于，所述将各所述实例图像输入基于Vnet网络和FPN网络的分割模型进行二值化分割，具体包括：将所述实例图像输入所述分割模型的Vnet网络；基于所述Vnet网络对所述实例图像依次进行非线性激活、若干次下采样和若干次上采样处理；基于所述分割模型的FPN网络，根据各所述上采样处理的结果输出二值化分割的结果。4.如权利要求3所述的基于多模型融合的图像标注方法，其特征在于，若所述分割模型预测所述实例图像存在感兴趣区域，所述二值化分割的结果中与所述感兴趣区域对应的区域为第一值区域；若所述分割模型预测所述实例图像存在非感兴趣区域，所述二值化分割的结果中与所述非感兴趣区域对应的区域为第二值区域。5.如权利要求4所述的基于多模型融合的图像标注方法，其特征在于，所述根据所述分类结果图像和所述分割结果图像计算二值化的融合图像，具体包括：将所述分类结果图像与所述分割结果图像取交集，以得到所述二值化的融合图像。6.如权利...

【专利技术属性】
技术研发人员：李风仪，南洋，侯晓帅，吕传峰，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44