【技术实现步骤摘要】
一种基于多目标查询Transformer的车辆外观部件损伤识别方法及系统
[0001]本专利技术涉及图像处理
，具体涉及一种基于多目标查询Transformer的车辆外观部件损伤识别方法及系统。
技术介绍
[0002]在车辆发生事故进行定损场景中，需要现场工作人员去事故现场对事故车辆进行查勘并确定车辆损伤部件及对应的损伤类型，进行后续理赔。或者让现场用户拍摄现场照片，视频等上传到相关软件，采用深度学习模型对受损区域进行识别，确定受损部件和损伤类型，实现智能定损。采用深度学习模型进行智能定损时，需要分别准确标注含受损区域中的所有部件和损伤轮廓，导致数据标注成本高；同时需要分别训练部件和损伤分割模型，缺少了两者之间的交互影响和增加了算法开发成本。
[0003]目前，对于车辆外观部件采用深度学习模型进行智能定损时，会分别检测部件(如保险杠，机盖，中网，大灯等)和损伤(如刮擦，凹陷，开裂等)的位置并识别出对应的名称，进而匹配部件和损伤之间的关联性，给出不同部件的损伤结果。该方法需要分别标注部件和损伤的位置及名称，然后训练部件分割模型和损伤分割模型，进一步对分割好的部件和损伤进行匹配，得到不同部件和对应的损伤类型。
[0004]针对车辆外观部件损伤识别场景，现有的技术方案存在以下问题：
[0005]1.数据标注成本高。需要标注图像上不同部件的轮廓和损伤轮廓，耗时比较长；
[0006]2.算法开发成本高。需要分别训练部件分割模型和损伤分割模型，增加模型研发成本。
技术实现思路
>[0007]本专利技术的目的在于提供一种数据标注成本低的基于多目标查询Transformer的车辆外观部件损伤识别方法及系统。
[0008]为解决上述技术问题，本专利技术提供一种基于多目标查询Transformer的车辆外观部件损伤识别方法，包括以下步骤：
[0009]获取车辆损伤图像；
[0010]对车辆损伤图像进行预处理，得到预处理后图像；
[0011]提取预处理后图像的特征，得到特征图；
[0012]根据特征图，生成位置信息positional encoding；
[0013]通过Transformer模型对特征图和位置信息positional encoding进行编码处理，得到图像向量image embedding；
[0014]获取目标query；
[0015]通过Transformer模型对目标query和图像向量image embedding进行并行解码处理，得到图像解码向量image decoder embedding；
[0016]对图像解码向量image decoder embedding进行分类处理，得到预测结果。
[0017]优选地，提取预处理后图像的特征，得到特征图，具体包括以下步骤：
[0018]将预处理后图像输入backbone网络中进行提取，得到特征图。
[0019]优选地，所述backbone网络为swin Transformer网络。
[0020]优选地，根据特征图，生成位置信息positional encoding，具体包括以下步骤：
[0021]对特征图进行卷积压缩，得到有效特征；
[0022]对有效特征进行正余弦计算，得到位置信息positional encoding。
[0023]优选地，通过Transformer模型对特征图和位置信息positional encoding进行编码处理，得到图像向量image embedding，具体包括以下步骤：
[0024]将位置信息positional encoding输入Transformer encoder结构中进行编码，得到图像向量image embedding。
[0025]优选地，通过Transformer模型对目标query和图像向量image embedding进行并行解码处理，得到图像解码向量image decoder embedding，具体包括以下步骤：
[0026]将图像向量image embedding和目标query共同输入Transformer decoder结构中进行并行解码，得到图像解码向量image decoder embedding。
[0027]优选地，对图像解码向量image decoder embedding进行分类处理，得到预测结果，具体包括以下步骤：
[0028]将图像解码向量image decoder embedding输入分类模型进行分类，输出预测结果。
[0029]优选地，对车辆损伤图像进行预处理，具体包括以下步骤：
[0030]将车辆损伤图像调整到预设大小，再进行归一化处理。
[0031]本专利技术还公开一种基于多目标查询Transformer的车辆外观部件损伤识别系统，包括：
[0032]第一获取模块，用于获取车辆损伤图像；
[0033]预处理模块，用于对车辆损伤图像进行预处理，得到预处理后图像；
[0034]特征提取模块，用于提取预处理后图像的特征，得到特征图；
[0035]位置信息生成模块，用于根据特征图，生成位置信息positional encoding；
[0036]编码模块，用于通过Transformer模型对特征图和位置信息positional encoding进行编码处理，得到图像向量image embedding；
[0037]第二获取模块，用于获取目标query；
[0038]解码模块，用于通过Transformer模型对目标query和图像向量image embedding进行并行解码处理，得到图像解码向量image decoder embedding；
[0039]分类模块，用于对图像解码向量image decoder embedding进行分类处理，得到预测结果。
[0040]与现有技术相比，本专利技术的有益效果为：
[0041]本专利技术首先拍摄车辆损伤区域照片，仅需要标注出图像上出现的部件名称和对应的损伤类型，然后采用Transformer模型进行部件和损伤的联合训练，最后推理得到图像上的部件损伤结果。
[0042]具有有以下优点：
[0043](1)数据标注成本低。只需要标注出当前车辆损伤区域上的部件名称和对应的损伤类型，不需要标注不同部件和损伤的轮廓信息，非常方便；同时后续增加新样本的成本也比较低；
[0044](2)降低了算法开发成本。训练了单个Transformer模型用于识别外观部件和对应的损伤类型，而不用分别开发检测外观部件和损伤类型的分割模型，降低了模型训练成本，同时利用了部件和损伤两者之间的关联性。
附图说明
[0045]下面结合附图对本专利技术的具体实施方式作进一步详细说明。
[0046]图1是车辆定损右前侧视角示意图；
[0047]图2是车辆定损右后侧视角本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多目标查询Transformer的车辆外观部件损伤识别方法，其特征在于，包括以下步骤：获取车辆损伤图像；对车辆损伤图像进行预处理，得到预处理后图像；提取预处理后图像的特征，得到特征图；根据特征图，生成位置信息positional encoding；通过Transformer模型对特征图和位置信息positional encoding进行编码处理，得到图像向量image embedding；获取目标query；通过Transformer模型对目标query和图像向量image embedding进行并行解码处理，得到图像解码向量image decoder embedding；对图像解码向量image decoder embedding进行分类处理，得到预测结果。2.根据权利要求1所述的基于多目标查询Transformer的车辆外观部件损伤识别方法，其特征在于，提取预处理后图像的特征，得到特征图，具体包括以下步骤：将预处理后图像输入backbone网络中进行提取，得到特征图。3.根据权利要求2所述的基于多目标查询Transformer的车辆外观部件损伤识别方法，其特征在于：所述backbone网络为swin Transformer网络。4.根据权利要求1所述的基于多目标查询Transformer的车辆外观部件损伤识别方法，其特征在于，根据特征图，生成位置信息positional encoding，具体包括以下步骤：对特征图进行卷积压缩，得到有效特征；对有效特征进行正余弦计算，得到位置信息positional encoding。5.根据权利要求1所述的基于多目标查询Transformer的车辆外观部件损伤识别方法，其特征在于，通过Transformer模型对特征图和位置信息positional encoding进行编码处理，得到图像向量image embedding，具体包括以下步骤：将特征图和位置信息positional encoding输入Transformer encoder结构中进行编码，得到图像向量image embedding。6.根据权利要求1所述的基于多目标查询Transformer的车辆外观部件...
【专利技术属性】
技术研发人员：张军委，侯进，黄贤俊，
申请(专利权)人：北京深智恒际科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。