基于弱分割的损伤检测方法及装置制造方法及图纸

本说明书实施例提供一种计算机执行的基于弱分割进行损伤检测的方法和装置。在实施例中，获取对样本图片进行人工标注的边框标注数据，将标注框作为损伤对象的轮廓，自动生成分割弱标注数据。基于这样的边框标注数据和分割弱标注数据，训练两分支的弱分割损伤检测模型。在使用时，将待测图片输入该弱分割损伤检测模型，通过上述两个分支分别得到损伤预测边框和损伤对象区域。损伤预测边框和损伤对象区域可以互相验证补充，从而提高损伤检测的准确性。

Damage Detection Method and Device Based on Weak Segmentation

【技术实现步骤摘要】
基于弱分割的损伤检测方法及装置
本说明书一个或多个实施例涉及机器学习领域，尤其涉及利用机器学习基于弱分割进行损伤检测的方法和装置。
技术介绍
随着机器学习的快速发展，各种人工智能技术已经应用于多种场景，帮助人们解决相应场景下的技术问题。其中，计算机视觉图像识别技术在多种领域多种场景下，都有强烈的应用需求，例如，应用于医疗影像分析，车损智能识别，等等。例如，在传统车险理赔场景中,保险公司需要派出专业的查勘定损人员到事故现场进行现场查勘定损，给出车辆的维修方案和赔偿金额，并拍摄现场照片，定损照片留档以供后台核查人员核损核价。由于需要人工查勘定损，保险公司需要投入大量的人力成本，和专业知识的培训成本。从普通用户的体验来说，理赔流程由于等待人工查勘员现场拍照、定损员在维修地点定损、核损人员在后台核损，理赔周期长达1-3天，用户的等待时间较长，体验较差。针对这样的行业痛点，希望能够利用图像识别技术，根据普通用户拍摄的现场损失图片，自动识别图片中反映的车损状况，并自动给出维修方案。如此，无需人工查勘定损核损，大大减少保险公司的成本，提升普通用户的车险理赔体验。在医疗影像分析中，也希望能够借助于图像识别技术，基于医疗影像智能地给出图像特点的分析，帮助医师进行诊断。以上场景中，都需要从图片(车损图片或医疗图像)中识别出损伤对象。然而，目前的图像识别方案中，对于损伤对象识别的准确度以及可用性还有待进一步提高。因此，希望能有改进的方案，能够更精准地从图片中识别出损伤对象。
技术实现思路
本说明书一个或多个实施例描述了基于弱分割的损伤检测方法和装置，其中基于自动生成的弱分割标注数据训练弱分割损伤检测模型，该模型预测输出的损伤边框和损伤分割轮廓可以互相验证，提升损伤预测的准确性。根据第一方面，提供了一种计算机执行的、训练弱分割损伤检测模型的方法，包括：获取样本图片，所述样本图片对应具有边框标注数据，所述边框标注数据指示出至少一个损伤标注框，每个损伤标注框是标注人员标注的、框选出所述样本图片中损伤对象的最小矩形框；将各个损伤标注框作为对应损伤对象的轮廓，基于所述轮廓为所述样本图片中各个像素点标注分割类别，从而生成分割标注数据；将所述样本图片输入弱分割损伤检测模型，所述弱分割损伤检测模型包括边框预测分支和分割预测分支，所述边框预测分支输出用于指示损伤预测框的边框预测数据，所述分割预测分支输出针对所述样本图片中各个像素点的分割类别进行预测的分割预测数据；基于所述边框预测数据与所述边框标注数据的比对，确定边框预测损失项，以及，基于所述分割预测数据和分割标注数据的比对，确定分割预测损失项；根据所述边框预测损失项和所述分割预测损失项，确定本次预测的损失函数；在所述损失函数减小的方向，更新所述弱分割损伤检测模型。在一个实施例中，通过以下方式为各个像素点标注分割类别：将位于损伤标注框之内的像素点标注为第一分割类别，将位于损伤标注框之外的像素点标注为第二分割类别。在一种实施方式中，上述至少一个损伤标注框包括第一损伤标注框；所述边框标注数据还包括，标注人员从预定的N个损伤类别中，针对该第一损伤标注框选择标注的第一损伤类别；在这样的情况下，为各个像素点标注分割类别包括：对于位于所述第一损伤标注框之内的像素点，将其分割类别标注为所述第一损伤类别对应的类别。在一种实施方式中，所述至少一个损伤标注框包括第一损伤标注框和第二损伤标注框，所述第一损伤标注框和第二损伤标注框存在交叠区域；所述边框标注数据还包括，标注人员从预定的N个损伤类别中，针对该第一损伤标注框选择标注的第一损伤类别和针对第二损伤标注框选择标注的第二损伤类别，其中第二损伤类别的损伤严重程度大于所述第一损伤类别；在这样的情况下，为各个像素点标注分割类别包括：对于位于所述交叠区域之内的像素点，将其分割类别标注为所述第二损伤类别对应的类别。根据一种实施方式，弱分割损伤检测模型基于卷积神经网络CNN实现，所述卷积神经网络CNN包括基础卷积层，用于对所述样本图片进行卷积处理，得到对应的卷积特征图；所述边框预测分支用于基于所述卷积特征图预测得到所述边框预测数据；所述分割预测分支用于基于所述卷积特征图预测得到所述分割预测数据。进一步的，在一个实施例中，所述分割预测分支可以包括：上采样层，用于将经卷积处理的特征上采样为与所述样本图片大小相同的第一特征图；预测处理层，用于基于所述第一特征图预测各个像素点属于各个分割类别的概率。根据一种实现方式，分割预测数据包括，各个像素点属于各个分割类别的概率；在这样的情况下，可以如下确定分割预测损失项：根据各个像素点属于各个分割类别的概率确定各个像素点的预测分割类别；将各个像素点的预测分割类别与其标注分割类别进行比对，根据比对结果确定所述分割预测损失项。根据另一种实现方式，可以如下确定分割预测损失项：确定各个像素点属于其对应的标注分割类别的预测概率；根据所述预测概率，确定所述分割预测损失项。根据第二方面，提供一种计算机执行的从图片中检测损伤的方法，包括：获取根据第一方面的方法训练得到的弱分割损伤检测模型；将待测图片输入所述弱分割损伤检测模型，所述弱分割损伤检测模型包括边框预测分支和分割预测分支，所述边框预测分支输出用于指示至少一个损伤预测框的边框预测数据，所述分割预测分支输出针对所述待测图片中各个像素点的分割类别进行预测的分割预测数据；根据所述边框预测数据和所述分割预测数据，确定针对所述待测图片的损伤检测结果。在一种情况下，边框预测数据可能未指示出损伤预测框，或者分割预测数据未指示出损伤对象区域，其中损伤对象区域为预测分割类别为同一类别的像素点集合构成的面积大于一定阈值的连通区域，此时，根据一种实施方式，可以将损伤检测结果确定为待测图片不包含损伤对象。在另一种情况下，边框预测数据指示出至少一个损伤预测框，分割预测数据指示出至少一个损伤对象区域；在此情况下，可以根据所述至少一个损伤预测框和所述至少一个损伤对象区域，确定针对所述待测图片的损伤检测结果。根据一种具体实施方式，确定针对所述待测图片的损伤检测结果可以包括：将所述至少一个损伤预测框对应的区域集合，与所述至少一个损伤对象区域对应的区域集合的并集，作为损伤检测结果。根据另一种实施方式，确定针对所述待测图片的损伤检测结果可以包括：如果所述至少一个损伤预测框中任意的第一损伤预测框与各个损伤对象区域的交并比均小于预设阈值，则从所述损伤检测结果中移除该第一损伤预测框。根据又一种实施方式，确定针对所述待测图片的损伤检测结果可以包括：如果所述至少一个损伤预测框中任意的第一损伤预测框与各个损伤对象区域的交叠面积，与该第一损伤预测框的框面积的比例均小于预设阈值，则从所述损伤检测结果中移除该第一损伤预测框。在一个实施例中，所述至少一个损伤预测框包括第一损伤预测框，所述边框预测数据还包括针对该第一损伤预测框预测的第一损伤类别；所述至少一个损伤对象区域包括第一损伤对象区域，所述第一损伤对象区域中的像素点对应于第一分割类别；在这样的情况下，确定针对所述待测图片的损伤检测结果可以包括：如果所述第一损伤预测框与所述第一损伤对象区域的交并比大于预设阈值，但所述第一损伤类别与所述第一分割类别不对应，则将所述第一损伤检测框确定为异常检测框，或将所本文档来自技高网...

【技术保护点】
1.一种计算机执行的、训练弱分割损伤检测模型的方法，包括：获取样本图片，所述样本图片对应具有边框标注数据，所述边框标注数据指示出至少一个损伤标注框，每个损伤标注框是标注人员标注的、框选出所述样本图片中损伤对象的最小矩形框；将各个损伤标注框作为对应损伤对象的轮廓，基于所述轮廓为所述样本图片中各个像素点标注分割类别，从而生成分割标注数据；将所述样本图片输入弱分割损伤检测模型，所述弱分割损伤检测模型包括边框预测分支和分割预测分支，所述边框预测分支输出用于指示损伤预测框的边框预测数据，所述分割预测分支输出针对所述样本图片中各个像素点的分割类别进行预测的分割预测数据；基于所述边框预测数据与所述边框标注数据的比对，确定边框预测损失项，以及，基于所述分割预测数据和分割标注数据的比对，确定分割预测损失项；根据所述边框预测损失项和所述分割预测损失项，确定本次预测的损失函数；在所述损失函数减小的方向，更新所述弱分割损伤检测模型。

【技术特征摘要】
1.一种计算机执行的、训练弱分割损伤检测模型的方法，包括：获取样本图片，所述样本图片对应具有边框标注数据，所述边框标注数据指示出至少一个损伤标注框，每个损伤标注框是标注人员标注的、框选出所述样本图片中损伤对象的最小矩形框；将各个损伤标注框作为对应损伤对象的轮廓，基于所述轮廓为所述样本图片中各个像素点标注分割类别，从而生成分割标注数据；将所述样本图片输入弱分割损伤检测模型，所述弱分割损伤检测模型包括边框预测分支和分割预测分支，所述边框预测分支输出用于指示损伤预测框的边框预测数据，所述分割预测分支输出针对所述样本图片中各个像素点的分割类别进行预测的分割预测数据；基于所述边框预测数据与所述边框标注数据的比对，确定边框预测损失项，以及，基于所述分割预测数据和分割标注数据的比对，确定分割预测损失项；根据所述边框预测损失项和所述分割预测损失项，确定本次预测的损失函数；在所述损失函数减小的方向，更新所述弱分割损伤检测模型。2.根据权利要求1所述的方法，其中，基于所述轮廓为所述样本图片中各个像素点标注分割类别包括：将位于损伤标注框之内的像素点标注为第一分割类别，将位于损伤标注框之外的像素点标注为第二分割类别。3.根据权利要求1所述的方法，其中，所述至少一个损伤标注框包括第一损伤标注框；所述边框标注数据还包括，标注人员从预定的N个损伤类别中，针对该第一损伤标注框选择标注的第一损伤类别；基于所述轮廓为所述样本图片中各个像素点标注分割类别包括：对于位于所述第一损伤标注框之内的像素点，将其分割类别标注为所述第一损伤类别对应的类别。4.根据权利要求1所述的方法，其中，所述至少一个损伤标注框包括第一损伤标注框和第二损伤标注框，所述第一损伤标注框和第二损伤标注框存在交叠区域；所述边框标注数据还包括，标注人员从预定的N个损伤类别中，针对该第一损伤标注框选择标注的第一损伤类别和针对第二损伤标注框选择标注的第二损伤类别，其中第二损伤类别的损伤严重程度大于所述第一损伤类别；基于所述轮廓为所述样本图片中各个像素点标注分割类别包括：对于位于所述交叠区域之内的像素点，将其分割类别标注为所述第二损伤类别对应的类别。5.根据权利要求1所述的方法，其中，所述弱分割损伤检测模型基于卷积神经网络CNN实现，所述卷积神经网络CNN包括基础卷积层，用于对所述样本图片进行卷积处理，得到对应的卷积特征图；所述边框预测分支用于基于所述卷积特征图预测得到所述边框预测数据；所述分割预测分支用于基于所述卷积特征图预测得到所述分割预测数据。6.根据权利要求5所述的方法，其中，所述分割预测分支包括：上采样层，用于将经卷积处理的特征上采样为与所述样本图片大小相同的第一特征图；预测处理层，用于基于所述第一特征图预测各个像素点属于各个分割类别的概率。7.根据权利要求1所述的方法，其中，所述基于所述分割预测数据和分割标注数据的比对，确定分割预测损失项包括：根据所述分割预测数据，确定各个像素点属于各个分割类别的预测概率；根据所述各个像素点属于各个分割类别的预测概率以及其标注分割类别，确定所述分割预测损失项。8.一种计算机执行的从图片中检测损伤的方法，包括：获取根据权利要求1的方法训练得到的弱分割损伤检测模型；将待测图片输入所述弱分割损伤检测模型，所述弱分割损伤检测模型包括边框预测分支和分割预测分支，所述边框预测分支输出用于指示损伤预测框的边框预测数据，所述分割预测分支输出针对所述待测图片中各个像素点的分割类别进行预测的分割预测数据；根据所述边框预测数据和所述分割预测数据，确定针对所述待测图片的损伤检测结果。9.根据权利要求8的方法，其中，根据所述边框预测数据和所述分割预测数据，确定针对所述待测图片的损伤检测结果包括：当所述边框预测数据未指示出损伤预测框，或者所述分割预测数据未指示出损伤对象区域时，将所述损伤检测结果确定为待测图片不包含损伤对象，其中所述损伤对象区域为预测分割类别为同一损伤类别的像素点集合构成的面积大于一定阈值的连通区域。10.根据权利要求8所述的方法，其中，所述边框预测数据指示出至少一个损伤预测框，所述分割预测数据指示出至少一个损伤对象区域，其中所述损伤对象区域为预测分割类别为同一损伤类别的像素点集合构成的面积大于一定阈值的连通区域；所述根据所述边框预测数据和所述分割预测数据，确定针对所述待测图片的损伤检测结果包括，根据所述至少一个损伤预测框和所述至少一个损伤对象区域，确定针对所述待测图片的损伤检测结果。11.根据权利要求10所述的方法，其中，根据所述至少一个损伤预测框和所述至少一个损伤对象区域，确定针对所述待测图片的损伤检测结果包括：将所述至少一个损伤预测框对应的区域集合，与所述至少一个损伤对象区域对应的区域集合的并集，作为损伤检测结果。12.根据权利要求10所述的方法，其中，所述至少一个损伤预测框包括第一损伤预测框；根据所述至少一个损伤预测框和所述至少一个损伤对象区域，确定针对所述待测图片的损伤检测结果，包括：如果所述第一损伤预测框与各个损伤对象区域的交并比均小于预设阈值，则从所述损伤检测结果中移除该第一损伤预测框。13.根据权利要求10所述的方法，其中，所述至少一个损伤预测框包括第一损伤预测框；根据所述至少一个损伤预测框和所述至少一个损伤对象区域，确定针对所述待测图片的损伤检测结果，包括：如果所述第一损伤预测框与各个损伤对象区域的交叠面积与所述第一损伤预测框的框面积的比例均小于预设阈值，则从所述损伤检测结果中移除该第一损伤预测框。14.根据权利要求10所述的方法，其中，所述至少一个损伤预测框包括第一损伤预测框，所述边框预测数据还包括针对该第一损伤预测框预测的第一损伤类别；所述至少一个损伤对象区域包括第一损伤对象区域，所述第一损伤对象区域中的像素点对应于第一分割类别；根据所述至少一个损伤预测框和所述至少一个损伤对象区域，确定针对所述待测图片的损伤检测结果，包括：如果所述第一损伤预测框与所述第一损伤对象区域的交并比大于预设阈值，但所述第一损伤类别与所述第一分割类别不对应，则将所述第一损伤检测框确定为异常检测框，...

【专利技术属性】
技术研发人员：张伟，褚崴，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY