基于视频的无监督难例数据挖掘方法、装置、介质及设备制造方法及图纸

本发明专利技术公开了一种基于视频的无监督难例数据挖掘方法，包括：利用待优化的第一检测模型对无标注的视频进行逐帧检测，生成第一检测结果；根据所述第一检测结果，选取不具有连续性的相邻两帧图片构成难例图片对；利用第二检测模型对所述难例图片对中的第一帧图片进行检测，得到第二检测结果；根据所述第二检测结果判断所述难例图片对中存在的难例类型。本发明专利技术有针对性地选择到了有用图片，避免了大量重复简单图片的产生。复简单图片的产生。复简单图片的产生。

【技术实现步骤摘要】
基于视频的无监督难例数据挖掘方法、装置、介质及设备


[0001]本专利技术涉及人工智能领域，具体涉及一种基于视频的无监督难例数据挖掘方法、装置、介质及设备。

技术介绍

[0002]深度学习训练时需要大量的数据，一种方法是在视频中均匀截帧，之后送给人工进行标注。然而这种方法没有针对性，会挖掘出很多无用的图片(比如某些场景神经网络效果已经非常好)。这些无用的图片送去人工标注不仅造成极大的人力资源浪费，而且使某些极具价值的图片淹没在无用的图片中，最终导致模型的性能没有提升。另一种方法可以将待优化模型在原始视频中跑检测，人为观察在哪儿些场景效果不好，之后将视频中该区域选出，这种做法选择图片时有针对性，但人工成本过高。

技术实现思路

[0003]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于视频的无监督难例数据挖掘方法、装置、介质及设备，用于解决现有技术存在的问题。
[0004]为实现上述目的及其他相关目的，本专利技术提供一种基于视频的无监督难例数据挖掘方法，包括：
[0005]利用待优化的第一检测模型对无标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的无监督难例数据挖掘方法，其特征在于，包括：利用待优化的第一检测模型对无标注的视频进行逐帧检测，生成第一检测结果；根据所述第一检测结果，选取不具有连续性的相邻两帧图片构成难例图片对；利用第二检测模型对所述难例图片对中的第一帧图片进行检测，得到第二检测结果；根据所述第二检测结果判断所述难例图片对中存在的难例类型。2.根据权利要求1所述的基于视频的无监督难例数据挖掘方法，其特征在于，所述难例类型包括难例正例、难例负例。3.根据权利要求1所述的基于视频的无监督难例数据挖掘方法，其特征在于，所述不具有连续性的相邻两帧图片的判断方法，包括：获取相邻两帧图片的第一交并比；根据所述第一交并比判断相邻两帧图片是否具有连续性；若所述第一交并比小于第一交并比阈值，则相邻两帧图片不具有连续性，反之则具有连续性。4.根据权利要求3所述的基于视频的无监督难例数据挖掘方法，其特征在于，所述难例图片对包括具有第一检测框的第一帧图片和不具有第一检测框的第二帧图片。5.根据权利要求4所述的基于视频的无监督难例数据挖掘方法，其特征在于，若第二检测结果中包含第二检测框，则所述第二帧图片中存在难例正例，保留第二帧图片；若第二检测结果中不包含第二检测框，则所述第一帧图片中存在难例负例，保留第一帧图片。6.根据权利要求5所述的基于视频的无监督难例数据挖掘方法，其特征在于，若第二检测结果中含第二检测框，该方法还包括：计算所述第一检测框与所述第二检测框的第二交并比；根据所述第二交并比判断所述难例图片对中存在的难例类型。7.根据权利要求6所述的基于视频的无监督难例数据挖掘方法，其特征在于，若所述第二交并比大于或等于第二交并比阈值，则所述第二帧图片中存在难例正例，保留第二帧图片；若所述第二交并比小于第二交并比阈值，则所述第一帧图片中存在难例负例，保留第一帧图片。8.根据权利要求5或7所述的基于视频的无监督难例数据挖掘方法，其特征在于，利用保留的难例正例图片与难例负例图片组成的数据集对第一检测模型进行再训练，以优化所述第一检测模型。9.根据权利要求8所述的基于视频的无监督难例数据挖掘方法，其特征在于，在对第一检测模型进行再训练时，对难例正例图片中的第二检测框区域或/和难例负例图片中的第一检测框区域或/和对难例负例图片中的第一检测框区域与第二检测框区域的交集区域进行加权处理。10.一种基于视频的无监督难例数据挖掘装置，其特征在于，包括：第一检测模...

【专利技术属性】
技术研发人员：陈佳鹏，李远钱，
申请(专利权)人：江苏云从曦和人工智能有限公司，
类型：发明
国别省市：