利用车辆视频中的多个图像帧进行损伤识别的方法及装置制造方法及图纸

本说明书实施例提供一种利用车辆视频中的多个图像帧进行损伤识别的方法和装置，在损伤识别过程中，对于相邻的图像帧，一方面，通过光流变换进行帧与帧之间的损伤特征融合，另一方面，分别通过预先训练的神经网络处理各图像帧，得到标注边框，并将相邻帧间相对应的标注边框进行框与框之间的损伤特征融合。通过帧与帧之间，以及框与框之间，两个级别的特征融合，可以解决单张图片受限于角度、自然光照等因素导致的不利于损伤检测的影响，每一个图像帧都可以从邻近帧得到特征的补充，从而，可以提高损伤识别的准确度。

A method and device for damage identification using multiple image frames in vehicle video

【技术实现步骤摘要】
利用车辆视频中的多个图像帧进行损伤识别的方法及装置
本说明书一个或多个实施例涉及计算机
，尤其涉及通过计算机利用车辆视频中的多个图像帧对受损车辆进行损伤识别的方法和装置。
技术介绍
在传统车险理赔场景中,保险公司需要派出专业的查勘定损人员到事故现场进行现场查勘定损，给出车辆的维修方案和赔偿金额，并拍摄现场照片，定损照片留档以供后台核查人员核损核价。由于需要人工查勘定损，保险公司需要投入大量的人力成本，和专业知识的培训成本。从普通用户的体验来说，理赔流程由于等待人工查勘员现场拍照、定损员在维修地点定损、核损人员在后台核损，理赔周期长达1-3天，用户的等待时间较长，体验较差。针对需求背景中提到的这一人工成本巨大的行业痛点，开始设想将人工智能和机器学习应用到车辆定损的场景中，希望能够利用人工智能领域计算机视觉图像识别技术，根据普通用户拍摄的现场图像，自动识别图片中反映的车损状况。如此，可以大大减少保险公司的人工成本，提升普通用户的车险理赔体验。在智能定损方案中，损伤识别的准确度关系着方案的可行性、有效性等，因此，提高损伤识别的准本文档来自技高网...

【技术保护点】
1.一种利用车辆视频中的多个图像帧进行损伤识别的方法，所述多个图像帧包括第t图像帧，其中第t-k图像帧至第t-1图像帧、第t图像帧、第t+1图像帧至第t+k图像帧在所述多个图像帧中按照时间先后顺序依次相邻，所述方法包括：/n分别将所述第t-k图像帧至第t-1图像帧、第t+1图像帧至所述第t+k图像帧的图像特征按照图像帧的光流变化规律，融合到所述第t图像帧的图像特征中；/n利用预先训练的目标标注模型分别处理所述第t-k图像帧至所述第t+k图像帧中的各个图像帧，所述目标标注模型用于通过所述标注边框标记识别出的预定损伤所在的区域；/n在所述目标标注模型对所述第t图像帧的标注结果中存在标注边框的情况下...

【技术特征摘要】
1.一种利用车辆视频中的多个图像帧进行损伤识别的方法，所述多个图像帧包括第t图像帧，其中第t-k图像帧至第t-1图像帧、第t图像帧、第t+1图像帧至第t+k图像帧在所述多个图像帧中按照时间先后顺序依次相邻，所述方法包括：
分别将所述第t-k图像帧至第t-1图像帧、第t+1图像帧至所述第t+k图像帧的图像特征按照图像帧的光流变化规律，融合到所述第t图像帧的图像特征中；
利用预先训练的目标标注模型分别处理所述第t-k图像帧至所述第t+k图像帧中的各个图像帧，所述目标标注模型用于通过所述标注边框标记识别出的预定损伤所在的区域；
在所述目标标注模型对所述第t图像帧的标注结果中存在标注边框的情况下，将第t-k图像帧至第t-1图像帧、第t+1图像帧至所述第t+k图像帧中相应的标注边框所标记区域内的图像特征，融合到所述第t图像帧中的标注边框所标记的区域；
基于特征融合结果确定车辆的损伤识别结果。


2.根据权利要求1所述的方法，其中，所述多个图像帧是通过以下至少一种方式从所述车辆的现场视频中提取的关键帧：
按照预定时间间隔提取、通过关键帧提取模型提取。


3.根据权利要求1所述的方法，其中，所述分别将所述第t-k图像帧至第t-1图像帧、第t+1图像帧至所述第t+k图像帧的图像特征按照图像帧的帧级变化特征，融合到所述第t图像帧的图像特征中包括：
将第t-k图像帧至第t+k图像帧输入预先确定的光流模型，以确定图像帧的光流变化规律，所述光流变化规律通过所述第t-k图像帧至第t-1图像帧、第t+1图像帧至所述第t+k图像帧分别到所述第t图像帧的各个光流变化矩阵描述；
按照各个光流变化矩阵，将第t-k图像帧至第t+k图像帧中各个图像帧的图像特征分别映射为所述第t图像帧上的各个映射特征，并将各个映射特征均与所述第t图像帧的图像特征进行融合，以对所述第t图像帧的图像特征进行修正。


4.根据权利要求3所述的方法，其中，所述第t-k图像帧至第t-1图像帧、第t+1图像帧至所述第t+k图像帧中包括第一图像帧，所述按照各个光流变化矩阵，将第t-k图像帧至第t+k图像帧中各个图像帧的图像特征分别映射为所述第t图像帧上的各个映射特征包括，将所述第一图像帧的图像特征的特征矩阵与相应光流变化矩阵相乘的结果，作为所述第一图像帧映射到所述第t图像帧的映射特征对应的特征矩阵。


5.根据权利要求1所述的方法，其中，所述目标标注模型基于RPN架构实现，包括，预标注模块、打分模块和调整模块，所述预标注模块用于针对单个图像帧，标注多个初级目标框，所述打分模块用于为所述预标注模块标注的各个初级目标框打分，所述调整模块用于将各个初级目标框调整到真实标注区域位置。


6.根据权利要求5所述的方法，其中，所述利用预先训练的目标标注模型处理所述第t-k图像帧至所述第t+k图像帧中的各个图像帧包括：
对单个图像帧通过所述预标注模块确定多个初级目标框；
检测该单个图像帧的各个初级目标框中是否存在通过所述打分模块得到的分数高于预定分数阈值的初级标注框；
如果存在，将该单个图像帧中，通过所述打分模块得到的分数高于预定分数阈值的初级标注框确定为，该单个图像帧的目标框；
对各个目标框通过所述调整模块进行调整，得到各个标注边框，并将各个标注边框的分数分别作为相应标注边框的置信度。


7.根据权利要求5所述的方法，其中，所述调整模块通过以下方式训练：
获取多个标注图片，各个标注图片对应通过预标注模块标注的初级目标框作为特征，人工标注的真实标注框作为标签；
利用所述多个标注图片训练所述调整模块。


8.根据权利要求7所述的方法，其中，在所述调整模块训练过程中，根据标签调整的模型参数包括，目标框相对于真实标注框的平移距离和/或缩放比例。


9.根据权利要求5-8任一所述的方法，其中，第t图像帧中包含第一标注边框，第t-k图像帧至第t-1图像帧及第t+1图像帧至第t+k图像帧中包括第二图像帧，所述第二图像帧包含第二标注边框，第一标注边框和第二标注边框对应区域的损伤类别相同，且所述第二标注边框是所述第二图像帧中与所述第一标注框映射到同一坐标系的交并比值最大的标注边框；
所述将第t-k图像帧至第t-1图像帧、第t+1图像帧至所述第t+k图像帧中相对应的标注边框所包围区域内的图像特征，融合到所述第t图像帧中的标注边框包围区域包括：
在所述交并比值大于预设交并比阈值的情况下，将所述第一标注边框对应区域的图像特征和第二标注边框对应区域的图像特征进行融合，得到相应的框级融合特征；
将所得到的框级融合特征分别映射到第t图像帧中第一标注边框所包围的区域，以及第二图像帧中第二标注边框所包围的区域。


10.根据权利要求6所述的方法，其中，所述打分模块和/或所述调整模块还用于确定各个初级目标框所包围的损伤区域的损伤类别；所述损伤识别结果至少包括标注边框，还包括损伤类别以及置信度中的至少一个。


11.一种利用车辆视...

【专利技术属性】
技术研发人员：徐富荣，张伟，程远，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33