目标标注的方法及装置制造方法及图纸

本说明书实施例提供一种目标标注的方法和装置，根据一个实施方式，获取当前关键帧，当前关键帧是从视频流的各个图像帧中确定的多个关键帧中的一个，然后，使用预先训练的标注模型处理当前关键帧，得到针对当前关键帧的第一标注结果，标注模型用于通过目标边框从图片中标注出包含预定目标的区域，接着，基于第一标注结果，对视频流中当前关键帧之后的非关键帧进行目标标注。如此，可以提高目标标注的有效性。

Method and device of target marking

【技术实现步骤摘要】
目标标注的方法及装置
本说明书一个或多个实施例涉及计算机
，尤其涉及通过计算机进行目标标注的方法和装置。
技术介绍
在传统车险验车场景中，往往通过保险公司的专业查勘人员进行验车。例如，在投保时，需要检验车辆是否有损，车险理赔场景中,保险公司需要派出专业的查勘定损人员到事故现场进行现场查勘定损。由于需要人工查勘定损，保险公司需要投入大量的人力成本，和专业知识的培训成本。从普通用户的体验来说，投保和理赔流程由于等待人工查勘员现场查验等，用户的等待时间较长，体验较差。针对需求背景中提到的这一人工成本巨大的行业痛点，开始设想将人工智能和机器学习应用到车辆损伤检测的场景中，希望能够利用人工智能领域计算机视觉图像识别技术，根据普通用户拍摄的现场图像，自动识别图片中反映的车损状况。如此，可以大大减少人工成本，提升用户体验。然而，常规技术中的自动识别技术，通常是基于单张图片的标注进行的。因此，基于以上背景，亟需提供一种充分考虑前后图像帧之间关联的普适性目标标注方式(不限于车损状况标注)，提高目标标注的有效性。
技术实现思路
本说明书一个或多个实施例描述了一种目标标注的方法和装置，可以提高损伤识别的准确度。根据第一方面，提供了一种基于视频流进行目标标注的方法，所述方法包括：获取当前关键帧，所述当前关键帧是从所述视频流的各个图像帧中确定的多个关键帧中的一个；使用预先训练的标注模型对所述当前关键帧进行目标标注，得到针对所述当前关键帧的标注结果，所述标注模型用于通过目标边框从图片中标注出包含预定目标的区域；基于针对所述当前关键帧的标注结果，对所述视频流中所述当前关键帧之后的非关键帧进行目标标注。在一个实施例中，初始的多个关键帧通过以下任一种方式提取：按照预定时间间隔从所述视频流中选择出多个图像帧作为关键帧；将所述视频流输入预先训练的抽帧模型，根据所述抽帧模型的输出结果确定出多个关键帧。在一个实施例中，所述视频流是车辆视频，所述目标是车辆损伤，所述标注模型通过以下方式训练：获取多张车辆图片，各张车辆图片对应各个样本标注结果，其中，在车辆图片中包括车辆损伤的情况下，单个样本标注结果包括至少一个损伤边框，所述损伤边框是包围连续损伤区域的最小矩形框；至少基于所述多张车辆图片，训练所述标注模型。在一个实施例中，在所述视频流中，相邻的关键帧分别记为第一图像帧和第二图像帧，针对所述当前图像帧，所述当前关键帧为初始的第一图像帧，所述当前关键帧的下一帧为初始的第二图像帧；所述基于针对所述当前关键帧的标注结果，对所述视频流中，所述当前关键帧之后的非关键帧进行目标标注包括：在对所述第一图像帧标注完成后，检测所述第二图像帧是否为关键帧；在所述第二图像帧不是关键帧的情况下，检测所述第二图像帧与所述第一图像帧的相似度；如果所述第二图像帧与所述第一图像帧的相似度大于预先设定的相似度阈值，将所述第一图像帧对应的标注结果映射到所述第二图像帧，从而得到所述第二图像帧对应的标注结果；用所述第二图像帧与所述第二图像帧的下一帧，分别更新所述第一图像帧与所述第二图像帧，基于更新后的第一图像帧的标注结果对更新后的第二图像帧进行目标标注。在一个实施例中，如果所述第二图像帧与所述第一图像帧的相似度小于所述相似度阈值，将所述第二图像帧确定为关键帧。在一个实施例中，确定所述第二图像帧与所述第一图像帧的相似度包括：基于所述第一图像帧的标注结果，确定所述第一图像帧中的参考区域；利用预先确定的卷积神经网络分别处理所述第一图像帧中的参考区域、所述第二图像帧，并分别得到第一卷积结果、第二卷积结果；将所述第一卷积结果作为卷积核，对所述第二卷积结果进行卷积处理，得到第三卷积结果，所述第三卷积结果对应的数值阵列中，各个数值分别描绘出所述第二图像帧的相应区域与所述第一图像帧的参考区域的各个相似度；基于所述第三卷积结果对应的数值阵列中的最大数值，确定所述第二图像帧与所述第一图像帧的相似度。在一个实施例中，在所述第二图像帧与所述第一图像帧的相似度大于预先设定的相似度阈值的情况下，所述将所述第一图像帧对应的标注结果映射到所述第二图像帧，从而得到所述第二图像帧对应的第二标注结果包括：按照所述第一图像帧的标注结果，标注出所述最大数值对应到的所述第二图像帧的图像区域。在一个实施例中，所述基于所述第一图像帧的标注结果，确定所述第一图像帧中的参考区域包括：在所述第一标注结果包含目标边框的情况下，将初始的参考区域确定为，所述目标边框包围的区域；在所述第一标注结果不包含目标边框的情况下，将初始的参考区域确定为，所述当前关键帧中指定位置的区域。在一个实施例中，所述当前关键帧还对应有置信标识，所述基于针对所述当前关键帧的标注结果，对所述视频流中，所述当前关键帧之后的非关键帧进行目标标注包括：确定所述当前关键帧之后、下一关键帧之前的各个非关键帧的置信标识，与所述当前关键帧的标注结果对应的置信标识一致。在一个实施例中，所述置信标识包括，高置信度标识、低置信度标识，其中，所述高置信度标识对应所述标注模型针对相应关键帧的输出结果包含目标边框，参考区域指示出可提供高置信度的预定目标的情况，所述低置信度标识对应所述标注模型针对相应关键帧的输出结果不包含目标边框，参考区域不指示预定目标的情况；所述方法还包括：将对应有高置信度标识的图像帧加入目标标注集。根据第二方面，提供一种基于视频流进行目标标注的装置，所述装置包括：获取单元，配置为获取当前关键帧，所述当前关键帧是从所述视频流的各个图像帧中确定的多个关键帧中的一个；第一标注单元，配置为使用预先训练的标注模型对所述当前关键帧进行目标标注，得到针对所述当前关键帧的标注结果，所述标注模型用于通过目标边框从图片中标注出包含预定目标的区域；第二标注单元，配置为基于针对所述当前关键帧的标注结果，对所述视频流中所述当前关键帧之后的非关键帧进行目标标注。根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。通过本说明书实施例提供的目标标注的方法和装置，在目标标注的过程中，在目标标注的过程中，仅通过标注模型处理视频流中的关键帧，对于非关键帧，通过关键帧的标注结果进行标注，从而大大减少数据处理量。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1示出本说明书披露的一个实施例的实施场景示意图；图2示出根据一个实施例的目标标注的方法流程图；图3示出一个具体例子中确定图像帧相似度的流程示意图；图4示出本文档来自技高网...

【技术保护点】
1.一种基于视频流进行目标标注的方法，所述方法包括：/n获取当前关键帧，所述当前关键帧是从所述视频流的各个图像帧中确定的多个关键帧中的一个；/n使用预先训练的标注模型对所述当前关键帧进行目标标注，得到针对所述当前关键帧的标注结果，所述标注模型用于通过目标边框从图片中标注出包含预定目标的区域；/n基于针对所述当前关键帧的标注结果，对所述视频流中所述当前关键帧之后的非关键帧进行目标标注。/n

【技术特征摘要】
1.一种基于视频流进行目标标注的方法，所述方法包括：
获取当前关键帧，所述当前关键帧是从所述视频流的各个图像帧中确定的多个关键帧中的一个；
使用预先训练的标注模型对所述当前关键帧进行目标标注，得到针对所述当前关键帧的标注结果，所述标注模型用于通过目标边框从图片中标注出包含预定目标的区域；
基于针对所述当前关键帧的标注结果，对所述视频流中所述当前关键帧之后的非关键帧进行目标标注。


2.根据权利要求1所述的方法，其中，初始的多个关键帧通过以下任一种方式提取：
按照预定时间间隔从所述视频流中选择出多个图像帧作为关键帧；
将所述视频流输入预先训练的抽帧模型，根据所述抽帧模型的输出结果确定出多个关键帧。


3.根据权利要求1所述的方法，其中，所述视频流是车辆视频，所述目标是车辆损伤，所述标注模型通过以下方式训练：
获取多张车辆图片，各张车辆图片对应各个样本标注结果，其中，在车辆图片中包括车辆损伤的情况下，单个样本标注结果包括至少一个损伤边框，所述损伤边框是包围连续损伤区域的最小矩形框；
至少基于所述多张车辆图片，训练所述标注模型。


4.根据权利要求1-3任一所述的方法，其中，在所述视频流中，相邻的关键帧分别记为第一图像帧和第二图像帧，针对所述当前关键帧，初始的第一图像帧为所述当前关键帧，初始的第二图像帧为所述当前关键帧的下一帧；
所述基于针对所述当前关键帧的标注结果，对所述视频流中，所述当前关键帧之后的非关键帧进行目标标注包括：
在对所述第一图像帧标注完成后，检测所述第二图像帧是否为关键帧；
在所述第二图像帧不是关键帧的情况下，检测所述第二图像帧与所述第一图像帧的相似度；
如果所述第二图像帧与所述第一图像帧的相似度大于预先设定的相似度阈值，将所述第一图像帧对应的标注结果映射到所述第二图像帧，从而得到所述第二图像帧对应的标注结果；
用所述第二图像帧与所述第二图像帧的下一帧，分别更新所述第一图像帧与所述第二图像帧，基于更新后的第一图像帧的标注结果对更新后的第二图像帧进行目标标注。


5.根据权利要求4所述的方法，其中，如果所述第二图像帧与所述第一图像帧的相似度小于所述相似度阈值，将所述第二图像帧确定为关键帧。


6.根据权利要求4所述的方法，其中，确定所述第二图像帧与所述第一图像帧的相似度包括：
基于所述第一图像帧的标注结果，确定所述第一图像帧中的参考区域；
利用预先确定的卷积神经网络分别处理所述第一图像帧中的参考区域、所述第二图像帧，并分别得到第一卷积结果、第二卷积结果；
将所述第一卷积结果作为卷积核，对所述第二卷积结果进行卷积处理，得到第三卷积结果，所述第三卷积结果对应的数值阵列中，各个数值分别描绘出所述第二图像帧的相应区域与所述第一图像帧的参考区域的各个相似度；
基于所述第三卷积结果对应的数值阵列中的最大数值，确定所述第二图像帧与所述第一图像帧的相似度。


7.根据权利要求6所述的方法，其中，在所述第二图像帧与所述第一图像帧的相似度大于预先设定的相似度阈值的情况下，所述将所述第一图像帧对应的标注结果映射到所述第二图像帧，从而得到所述第二图像帧对应的第二标注结果包括：
按照所述第一图像帧的标注结果，标注出所述最大数值对应到的所述第二图像帧的图像区域。


8.根据权利要求6所述的方法，其中，所述基于所述第一图像帧的标注结果，确定所述第一图像帧中的参考区域包括：
在所述第一标注结果包含目标边框的情况下，将初始的参考区域确定为，所述目标边框包围的区域；
在所述第一标注结果不包含目标边框的情况下，将初始的参考区域确定为，所述当前关键帧中指定位置的区域。


9.根据权利要求8所述的方法，其中，所述当前关键帧还对应有置信标识，所述基于针对所述当前关键帧的标注结果，对所述视频流中，所述当前关键帧之后的非关键帧进行目标标注包括：
确定所述当前关键帧之后、下一关键帧之前的各个非关键帧的置信标识，与所述当前关键帧的标注结果对应的置信标识一致。


10.根据权利要求9所述的方法，其中，所述置信标识包括，高置信度标识、低置信度标识，其中，所述高置信度标识对应所述标注模型针对相应关键帧的输出结果包含目标边框，参考区域指示出可提供高置信度的预定目标的情况，所述低置信度标识对应所述标注模型针对相应关键帧的输出结果不包含目标边框，参考区域不指示预定目标的情况；
所述方法还包括：
将对应有高置信度标识的图像帧加入目标标注集。


11.一种基于视频流进行目标标注的装置，所述装置包括：
获取单元，配置为获取当前关键帧，所述当前关键帧是从所述视频流的各个图像帧...

【专利技术属性】
技术研发人员：蒋晨，张伟，程远，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY