用于提取难样本的方法、装置及机械设备制造方法及图纸

本申请公开了一种用于提取难样本的方法、装置及机械设备。该方法包括：获取候选关键帧；根据候选关键帧构建语义分割模型；通过语义分割模型确定预测难样本以及边缘标记样本；对边缘标记样本进行筛选以得到标记难样本；根据预测难样本和标记难样本确定候选难样本。本申请通过语义分割模型确定预测难样本和边缘标记样本，通过多种筛选方式，降低了人工待确认图片的规模，提高难样本的识别效率，提高难样本的样本库的质量。的样本库的质量。的样本库的质量。

【技术实现步骤摘要】
用于提取难样本的方法、装置及机械设备


[0001]本申请涉及智能监控
，具体地，涉及一种用于提取难样本的方法、装置及机械设备。

技术介绍

[0002]语义分割标签制作要求对样本图片中各个感兴趣区域的边缘点集能够进行准确标注。但是由于标注成本较高，构建一个一定规模、合格的样本库需要耗费较大的成本。目前对于高价值样本(难样本)的评价主要还是以标签为基准的，以最终的损失函数或者其变种作为最终量化评价标准。现有技术中，对于难样本的提取是在模型训练过程中定义相关规则来挖掘难样本，这并不能减少标注量；或者人力观察数据进行选择性标注，这对于样本价值识别具有一定的盲目性，无法保障样本库的质量，且耗费大量人力。因此，现有技术无法降低标注数量且无法直观评价样本价值，从而导致难样本的提取效率较低。

技术实现思路

[0003]本申请的目的是提供一种用于提取难样本的方法、装置及机械设备，用以解决现有技术无法降低标注数量且无法直观评价样本价值，从而导致难样本的提取效率较低的问题。
[0004]为了实现上述目的，本申请第一方面提供一种用于提取难样本的方法，包括：
[0005]获取候选关键帧；
[0006]根据候选关键帧构建语义分割模型；
[0007]通过语义分割模型确定预测难样本以及边缘标记样本；
[0008]对边缘标记样本进行筛选以得到标记难样本；
[0009]根据预测难样本和标记难样本确定候选难样本。
[0010]在本申请实施例中，根据候选关键帧构建语义分割模型包括：
[0011]将候选关键帧分为多组候选关键帧；
[0012]选取预设组的候选关键帧进行标注，以得到初始样本库；
[0013]根据初始样本库训练语义分割模型，语义分割模型用于预测剩余候选关键帧；
[0014]在每预测一组剩余候选关键帧之后，更新初始样本库并重新训练语义分割模型，以更新语义分割模型。
[0015]在本申请实施例中，在每预测一组剩余候选关键帧之后，更新初始样本库并重新训练语义分割模型，以更新语义分割模型包括：
[0016]将当前组对应的预测难样本加入上一组更新后的初始样本库中，以得到当前样本库；
[0017]根据当前样本库重新训练语义分割模型，以得到当前语义分割模型；当前语义分割模型用于预测下一组剩余候选关键帧。
[0018]在本申请实施例中，通过语义分割模型确定预测难样本以及边缘标记样本包括：
[0019]针对每张候选关键帧，确定当前候选关键帧的最大概率层及次大概率层的差值图；
[0020]统计差值图中差值小于第一阈值的目标像素数量；
[0021]确定目标像素数量与当前候选关键帧的总像素数量的比值；
[0022]判断比值是否大于第二阈值；
[0023]在比值大于第二阈值的情况下，判定当前候选关键帧为预测难样本；
[0024]在比值不大于第二阈值的情况下，判定当前候选关键帧为边缘标记样本。
[0025]在本申请实施例中，对边缘标记样本进行筛选以得到标记难样本包括：
[0026]获取在时间上依次相邻的第一边缘标记样本和第二边缘标记样本；
[0027]将第二边缘标记样本确定为目标边缘标记样本；
[0028]确定目标边缘标记样本与第一边缘标记样本的相似度；
[0029]根据相似度判断目标边缘标记样本是否为待人工标记样本；
[0030]获取待人工标记样本中的标记难样本。
[0031]在本申请实施例中，根据相似度判断目标边缘标记样本是否为待人工标记样本包括：
[0032]判断相似度是否小于第三阈值；
[0033]在相似度小于第三阈值的情况下，判定目标边缘标记样本为待人工标记样本。
[0034]在本申请实施例中，获取候选关键帧包括：
[0035]通过三帧帧差法获取包含运动的候选关键帧。
[0036]本申请第二方面提供一种用于提取难样本的装置，包括：
[0037]存储器，被配置成存储指令；以及
[0038]处理器，被配置成从存储器调用指令以及在执行指令时能够实现上述的用于提取难样本的方法。
[0039]本申请第三方面提供一种机械设备，包括：
[0040]视频采集装置，用于采集固定视角的运动场景视频；
[0041]上述的用于提取难样本的装置。
[0042]本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于提取难样本的方法。
[0043]通过上述技术方案，根据获取的候选关键帧构建语义分割模型；通过语义分割模型确定预测难样本以及边缘标记样本；对边缘标记样本进行筛选以得到标记难样本；再根据预测难样本和标记难样本确定候选难样本。相比于直接利用模型预测结果并标记在原始图像，再进行人工确认相比，本申请通过语义分割模型确定预测难样本和边缘标记样本，通过多种筛选方式，降低了人工待确认图片的规模，提高难样本的识别效率，提高难样本的样本库的质量。
[0044]本申请的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0045]附图是用来提供对本申请的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请，但并不构成对本申请的限制。在附图中：
[0046]图1示意性示出了根据本申请实施例的一种用于提取难样本的方法的流程示意图；
[0047]图2示意性示出了根据本申请实施例的一种用于提取难样本的装置的结构框图；
[0048]图3示意性示出了根据本申请实施例的一种机械设备的结构示意图。
具体实施方式
[0049]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0050]需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0051]另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于提取难样本的方法，其特征在于，包括：获取候选关键帧；根据所述候选关键帧构建语义分割模型；通过所述语义分割模型确定预测难样本以及边缘标记样本；对所述边缘标记样本进行筛选以得到标记难样本；根据所述预测难样本和所述标记难样本确定候选难样本。2.根据权利要求1所述的方法，其特征在于，所述根据所述候选关键帧构建语义分割模型包括：将所述候选关键帧分为多组候选关键帧；选取预设组的候选关键帧进行标注，以得到初始样本库；根据所述初始样本库训练所述语义分割模型，所述语义分割模型用于预测剩余候选关键帧；在每预测一组剩余候选关键帧之后，更新所述初始样本库并重新训练所述语义分割模型，以更新所述语义分割模型。3.根据权利要求2所述的方法，其特征在于，所述在每预测一组剩余候选关键帧之后，更新所述初始样本库并重新训练所述语义分割模型，以更新所述语义分割模型包括：将当前组对应的预测难样本加入上一组更新后的初始样本库中，以得到当前样本库；根据当前样本库重新训练所述语义分割模型，以得到当前语义分割模型；所述当前语义分割模型用于预测下一组剩余候选关键帧。4.根据权利要求1所述的方法，其特征在于，所述通过所述语义分割模型确定预测难样本以及边缘标记样本包括：针对每张候选关键帧，确定当前候选关键帧的最大概率层及次大概率层的差值图；统计所述差值图中差值小于第一阈值的目标像素数量；确定所述目标像素数量与当前候选关键帧的总像素数量的比值；判断所述比值是否大于第二阈值；在所述比值大于所述第二阈值的情况下...

【专利技术属性】
技术研发人员：付玲，周志忠，秦拯，向超前，虢彦，
申请(专利权)人：中科云谷科技有限公司，
类型：发明
国别省市：