计算机执行的基于视频流的车辆定损方法及装置制造方法及图纸

本说明书实施例提供一种计算机执行的车辆定损的方法和装置，基于对受损车辆进行拍摄产生的视频流进行智能定损。具体的，首先对视频流中的图像帧进行初步的目标检测和特征提取，得到视频流特征矩阵。另一方面，还对视频流中的关键帧再次进行目标检测，得到关键帧向量。接着，分别针对各个部件，融合视频流特征矩阵和关键帧向量中的特征，生成部件的综合特征向量，最后基于该部件的综合特征向量确定该部件的受损状况。

Method and device of vehicle loss assessment based on video stream executed by computer

【技术实现步骤摘要】
计算机执行的基于视频流的车辆定损方法及装置
本说明书一个或多个实施例涉及机器学习领域，尤其涉及利用机器学习进行车辆智能定损的方法和装置。
技术介绍
在传统车险理赔场景中,保险公司需要派出专业的查勘定损人员到事故现场进行现场查勘定损，给出车辆的维修方案和赔偿金额，并拍摄现场照片，定损照片留档以供后台核查人员核损核价。由于需要人工查勘定损，保险公司需要投入大量的人力成本，和专业知识的培训成本。从普通用户的体验来说，理赔流程由于等待人工查勘员现场拍照、定损员在维修地点定损、核损人员在后台核损，理赔周期长达1-3天，用户的等待时间较长，体验较差。针对需求背景中提到的这一人工成本巨大的行业痛点，开始设想将人工智能和机器学习应用到车辆定损的场景中，希望能够利用人工智能领域计算机视觉图像识别技术，根据普通用户拍摄的现场损失图片，自动识别图片中反映的车损状况，并自动给出维修方案。如此，无需人工查勘定损核损，大大减少了保险公司的成本，提升了普通用户的车险理赔体验。不过，目前的智能定损方案，对车损进行确定的准确度还有待进一步提高。因此，希望能有改进本文档来自技高网...

【技术保护点】
1.一种计算机执行的车辆定损方法，包括：/n获取视频流的特征矩阵，所述视频流针对损伤车辆而拍摄，所述特征矩阵至少包括与所述视频流中N个图像帧分别对应、且按照所述N个图像帧的时序排列的N个M维向量，每个M维向量至少包括，针对对应的图像帧，通过预先训练的第一部件检测模型得到的部件检测信息，以及通过预先训练的第一损伤检测模型得到的损伤检测信息；/n获取所述视频流中的K个关键帧；/n针对所述K个关键帧，生成对应的K个关键帧向量，每个关键帧向量包括，针对对应的关键帧图像，通过预先训练的第二部件检测模型得到的部件检测信息，以及通过预先训练的第二损伤检测模型得到的损伤检测信息；/n确定至少一个备选受损部件，...

【技术特征摘要】
1.一种计算机执行的车辆定损方法，包括：
获取视频流的特征矩阵，所述视频流针对损伤车辆而拍摄，所述特征矩阵至少包括与所述视频流中N个图像帧分别对应、且按照所述N个图像帧的时序排列的N个M维向量，每个M维向量至少包括，针对对应的图像帧，通过预先训练的第一部件检测模型得到的部件检测信息，以及通过预先训练的第一损伤检测模型得到的损伤检测信息；
获取所述视频流中的K个关键帧；
针对所述K个关键帧，生成对应的K个关键帧向量，每个关键帧向量包括，针对对应的关键帧图像，通过预先训练的第二部件检测模型得到的部件检测信息，以及通过预先训练的第二损伤检测模型得到的损伤检测信息；
确定至少一个备选受损部件，其中包括第一部件；
对于所述N个图像帧和所述K个关键帧中的各个帧，通过对该帧对应向量中的部件检测信息和损伤检测信息进行帧内融合，得到所述第一部件的帧综合特征，并通过将针对各个帧得到的所述第一部件的帧综合特征进行帧间融合，针对该第一部件生成综合特征向量；
将所述综合特征向量输入预先训练的决策树模型，根据所述决策树模型的输出，确定该第一部件的损伤状况。


2.根据权利要求1所述的方法，其中，获取视频流的特征矩阵包括，从移动终端接收所述特征矩阵。


3.根据权利要求1所述的方法，其中，获取视频流的特征矩阵包括：
获取所述视频流；
针对所述N个图像帧中的各个图像帧，通过所述第一部件检测模型进行部件检测，得到部件检测信息，并通过所述第一损伤检测模型进行损伤检测，得到损伤检测信息；
至少基于所述部件检测信息和所述损伤检测信息，形成各个图像帧对应的M维向量，
根据N个图像帧各自的M维向量，生成所述特征矩阵。


4.根据权利要求1所述的方法，其中，获取所述视频流中的K个关键帧包括：从移动终端接收所述K个关键帧。


5.根据权利要求1所述的方法，其中，获取所述视频流中的K个关键帧包括：将所述特征矩阵输入基于卷积神经网络CNN的关键帧预测模型，根据所述关键帧预测模型的输出，确定所述K个关键帧。


6.根据权利要求1所述的方法，其中，所述第二部件检测模型不同于所述第一部件检测模型，所述第二损伤检测模型不同于所述第一损伤检测模型。


7.根据权利要求1所述的方法，其中，确定至少一个备选受损部件包括：
基于所述N个M维向量中的部件检测信息，确定第一备选部件集合；
基于所述K个关键帧向量中的部件检测信息，确定第二备选部件集合；
将所述第一备选部件集合和第二备选部件集合的并集中的部件，作为所述至少一个备选受损部件。


8.根据权利要求1所述的方法，其中，所述N个图像帧包括第一图像帧，对应于第一M维向量；
所述得到所述第一部件的帧综合特征包括：
从所述第一M维向量中的部件检测信息中提取与所述第一部件有关的第一检测信息；
基于所述第一检测信息，确定所述第一图像帧中所述第一部件的部件特征，作为与所述第一图像帧对应的、所述第一部件的帧综合特征的一部分。


9.根据权利要求8所述的方法，其中，所述N个图像帧还包括在所述第一图像帧之后的第二图像帧，对应于第二M维向量；所述每个M维向量还包括，视频连续性特征；
所述得到所述第一部件的帧综合特征还包括：
从所述第二M维向量中提取视频连续性特征；
基于所述第一检测信息和所述视频连续性特征，确定该第一部件在所述第二图像帧中的第二检测信息；
基于所述第二检测信息，确定所述第一部件在所述第二图像帧中的部件特征，作为与所述第二图像帧对应的、所述第一部件的帧综合特征的一部分。


10.根据权利要求9所述的方法，其中，所述视频连续性特征包括以下中的至少一项：图像帧之间的光流变化特征，图像帧之间的相似性特征，基于图像帧之间的投影矩阵确定的变换特征。


11.根据权利要求1所述的方法，其中，所述N个图像帧包括第一图像帧，对应于第一M维向量；所述第一M维向量中的损伤检测信息包括，从所述第一图像帧中框选出多个损伤对象的多个损伤检测框的信息；
所述得到所述第一部件的帧综合特征包括：
根据所述第一M维向量中的部件检测信息和所述多个损伤检测框的信息，确定同属于该第一部件的至少一个损伤检测框；
获取所述至少一个损伤检测框的损伤特征；
将所述至少一个损伤检测框的损伤特征进行第一融合操作，得到综合损伤特征，作为与所述第一图像帧对应的、所述第一部件的帧综合特征的一部分。


12.根据权利要求11所述的方法，其中，所述第一M维向量中的部件检测信息包括，从所述第一图像帧中框选出多个部件的多个部件检测框的信息；
所述确定同属于该第一部件的至少一个损伤检测框，包括：
确定所述第一部件对应的第一部件检测框；
根据所述多个损伤检测框与所述第一部件检测框的位置关系，确定同属于该第一部件的至少一个损伤检测框。


13.根据权利要求11所述的方法，其中，所述第一M维向量中的部件检测信息包括部件分割信息；
所述确定同属于该第一部件的至少一个损伤检测框，包括：
根据所述部件分割信息，确定所述第一部件覆盖的第一区域；
根据所述多个损伤检测框的位置信息，确定其是否落入所述第一区域；
将落入所述第一区...

【专利技术属性】
技术研发人员：蒋晨，程远，郭昕，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY