一种视频数据集标注方法及装置制造方法及图纸

本发明专利技术公开了一种视频数据集标注方法及装置。该方法包括：根据设定的动作类别选择规则确定数据集标签，该数据集标签表征短时间的瞬时动作和循环动作类型；根据所述数据集标签筛选出匹配的待标注视频；将待标注视频上传至标注工具平台进行动作行为检测和标注，以确定动作行为类型标签以及对应的起始帧和结束帧位置。本发明专利技术对于动作行为的边界定义更加精确，并且标注效率和标注质量均有显著提高。

【技术实现步骤摘要】
一种视频数据集标注方法及装置
本专利技术涉及计算机视觉
，更具体地，涉及一种视频数据集标注方法及装置。
技术介绍
近年来，视频理解在视频内容分析，智能监控，人机交互等领域得到了广泛应用。在视频行为理解中，基于深度学习，有两类比较重要的任务，一类是视频行为分类，其主要是针对修剪过的视频，按照其中的人类行为进行分类。另一类是视频行为检测，目的是在长视频中定位一个动作的开始时间和结束时间。视频行为检测作为视频理解的重要部分，在计算机视觉界已得到了广泛研究。相比于行为分类，行为检测难度更高，现有的行为检测方法通常是首先生成可能存在动作的片段提案，然后再对其进行分类。然而，因为边界的定义较为模糊，统一视频中可能还会存在多个动作同时进行的情况，导致对动作的准确检测具有巨大挑战。不同于行为识别，行为检测要求进行精确的动作片段检测，而对于真实场景下的动作产生，往往边界不是十分确定，尤其是动作的终止，并且对动作完整性的判断也相对困难。由于视频本身边界不明确、以及现有时序检测标注工具相对简陋，导致现有的视频时序检测数据集大多是弱标定方式，这也导致了目前行为检测平均精准度偏低。经分析，现有的视频标注方案主要存在以下缺陷：1)、相关视频时序检测数据集标签定义较为粗粒度，不同标签的时序时长相差较大并且不同标签的边界定义不明晰，无法更为直观地明晰起止边界定义。2)、现有的视频标注工具主要针对目标检测工作，而非对一段未修剪的视频进行行为段的起止时间标注。此外，现有的视频标注工具功能相对简单，界面相对简陋。对于大量的未修剪的数据，没有一个相对便捷，功能齐全的标注工具，所需人工成本昂贵。由于现实视频的复杂性，现有的视频标注工具浏览一次视频大多只能针对一类标签进行标注，然而现实场景中，往往是多个行为同时出现，因此需要对一段时间的多标签情况也要进行考虑。另外，现有的标注工具往往不能清晰地体现已标注标签的时间片段，容易导致漏标，重复标，错标等情况，并且无法很好地体现同一行为段的起止关联性，也不方便二次质检，因此对于已标注行为段的显示也较为重要。
技术实现思路
本专利技术的目的是克服上述现有技术的缺陷，提供一种视频数据集标注方法及装置。根据本专利技术的第一方面，提供一种视频数据集标注方法。该方法包括以下步骤：步骤S1：根据设定的动作类别选择规则确定数据集标签，该数据集标签表征短时间的瞬时动作和循环动作类型；步骤S2：根据所述数据集标签筛选出匹配的待标注视频；步骤S3：将待标注视频上传至标注工具平台进行动作行为检测和标注，以确定动作行为类型标签以及对应的起始帧和结束帧位置。步骤S4：对标注结果进行抽样可视化质检并通过行为识别模型对背景样例以及行为段样例进行识别，通过这种方式检测标注质量可以在大幅节省人工成本的同时提高精度。根据本专利技术的第二方面，提供一种视频数据集标注装置。该装置包括：标签选择模块：用于根据设定的动作类别选择规则确定数据集标签，该数据集标签表征短时间的瞬时动作和循环动作类型；视频检索模块：用于根据所述数据集标签筛选出匹配的待标注视频；数据集标注模块：将待标注视频上传至标注工具平台进行动作行为检测和标注，以确定动作行为类型标签以及对应的起始帧和结束帧位置。与现有技术相比，本专利技术的优点在于，提供了一种用于深度学习行为时序检测的数据集的标注技术方案，首先对收集来的视频进行视频查重。为了更好地统一边界定义指标，针对现有的视频数据集的标签根据一定规则进行筛选，通过拆解，合并等方式将标签结构化，并按照一定规则进行了排除，更加精确不同行为的起止边界。此外，还设计了一个视频时序标注的工具，针对一段输入视频进行不同标签起止帧的选取，使得多种标签的时间序列更好地体现，并且对已标注行为段都可以更加直观的展现。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1是根据本专利技术一个实施例的视频数据集标注方法的流程图；图2是根据本专利技术一个实施例的视频数据集标注方法的总体过程示意图；图3是根据本专利技术一个实施例的视频标注工具标注示意图；图4是根据本专利技术一个实施例的视频标注工具流程示意图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。结合图1和图2所示，所提供的视频数据集标注方法包括以下步骤：步骤S110，根据设定规则选择数据集标签。在此步骤中，通过一定规则定义数据集标签，例如，选择通用场景下的常见标签，而非特定场景特定人群类的标签；排除动作定义较宽泛的标签；排除主要通过交互对象的差异性区分而非人类姿态变化的不同而分类的标签；排除在每个动作中都通用的基础身体状态标签；将可以分为原子动作的动作进行拆分。在一个实施例中，将标签主要分为两类：短时间的瞬时动作和循环动作对动作的过程周期进行划分。所选取数据可通过现有行为识别方法进行筛选。通过定义动作类别中的“动作”并进行筛选和划分，是标签更为合理，粗粒度动作可以划分为更多的细微动作。步骤S120，根据选择的标签检索筛选出待标注的视频。针对标签搜集相关视频，并对其进行查重和筛选。在一个实施例中，查重过程包括：对于待处理视频，在视频库中进行近邻检索，筛选出与待处理视频相似的候选视频，得到候选视频集合；计算每一候选视频与待处理视频的相似性，得到相似度结果；根据相似度结果确定待处理视频是否通过查重检测。其中，可通过对视频第一帧和最后一帧的哈希值的汉明距离来计算相似性。步骤S130，将待标注视频上传至标注工具平台进行动作行为检测和标注，以确定动作行为类型标签以及对应的起始帧和结束帧位置。具体地，参见图3所示，将视频输入至标注工具平台进行视频标注，其中左上方为实际标注起始帧与结束帧的选择区域；右上方为视频选择区域，可批量进行选取(已标注视频会显示已标注结果)；视频选择下方为标签选择菜单，delete(删除)，label(标注)，save(保存)按钮分别具备删除误操作框，标注操作框以及保存现有结果的功能。利用图3的标注工具本文档来自技高网...

【技术保护点】
1.一种视频数据集标注方法，包括以下步骤：/n步骤S1：根据设定的动作类别选择规则确定数据集标签，该数据集标签表征短时间的瞬时动作和循环动作类型；/n步骤S2：根据所述数据集标签筛选出匹配的待标注视频；/n步骤S3：将待标注视频上传至标注工具平台进行动作行为检测和标注，以确定动作行为类型标签以及对应的起始帧和结束帧位置。/n

【技术特征摘要】
1.一种视频数据集标注方法，包括以下步骤：
步骤S1：根据设定的动作类别选择规则确定数据集标签，该数据集标签表征短时间的瞬时动作和循环动作类型；
步骤S2：根据所述数据集标签筛选出匹配的待标注视频；
步骤S3：将待标注视频上传至标注工具平台进行动作行为检测和标注，以确定动作行为类型标签以及对应的起始帧和结束帧位置。


2.根据权利要求1所述的方法，其特征在于，所述根据设定的动作类别选择规则确定数据集标签包括：
选择通用场景下的常见标签，并排除非特定场景特定人群类的标签；
排除动作定义宽泛的标签；
排除通过交互对象的差异性区分而非人类姿态变化的不同而分类的标签；
排除在每个动作中都通用的基础身体状态标签；
对于可拆分的动作进行拆分，以获得细粒度标签。


3.根据权利要求1所述的方法，其特征在于，步骤S2包括：
根据所述数据集标签搜集相关视频，并进行查重和筛选，其中查重通过对视频第一帧和最后一帧的哈希值的汉明距离来计算相似性；
根据相似性结果确定待处理视频是否通过查重检测。


4.根据权利要求1所述的方法，其特征在于，所述标注工具平台设有起始帧选择区域、视频选择区域、标签选择区域、结果显示区域以及视频播放区域，其中，所述起始帧选择区域用于供用户标注起始帧与结束帧；所述视频选择区域用于供用于选择待标注的一个或多个视频；所述标签选择区域用于供用户标注动作行为标签；所述结果显示区域用于向用户显示标注起始时间；所述视频播放区域用于向用户显示待标注视频的连续多帧图像，以供标注动作行为的起始帧。


5.根据权利要求4所述的方法，其特征在于，步骤...

【专利技术属性】
技术研发人员：马筱，乔宇，王利民，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44