一种视频分类问题的样本提取方法及装置制造方法及图纸

本发明专利技术公开了一种视频分类问题的样本提取方法及装置，涉及视频分类技术领域，优化从视频数据中提取样本的方法，以确保样本能够涵盖视频数据的整个内容信息，同时避免样本中存在冗余图像数据，以增强样本质量，也有助于提高视频分类模型的训练质量，本发明专利技术的主要技术方案为：获取视频数据；对所述视频数据进行解析，得到所述视频数据对应的连续的多个单帧图像；从所述连续的多个单帧图像中提取特征图像组成样本，所述特征图像用于概括所述视频数据的内容信息，所述样本中不包含冗余图像数据。本发明专利技术应用于从视频数据中提取用于训练视频分类模型的样本。

【技术实现步骤摘要】
一种视频分类问题的样本提取方法及装置
本专利技术涉及视频分类
，尤其涉及一种视频分类问题的样本提取方法及装置。
技术介绍
随着基于图形处理器深度学习的崛起，视频分类也变得更容易实现，当今的视频分类通常就是指基于深度学习的视频分类。视频分类依赖于庞大的数据集，如果想实现通用领域的视频分类，那么几万甚至几十万的数据库对于训练视频分类模型也未必够用。所以现有主要是训练应用于细分领域的基于深度学习的视频分类模型，由于这可以将视频分类仅聚焦于某个特定场景，所以可以相对容易地收集充分的用于训练的视频数据，比如：从动作识别库，手势识别库等视频库中收集符合特定场景的视频数据。目前，通常是将一个视频分解成连续的视频帧并从中截取出指定数目的连续视频帧作为样本，以收集大量这样的样本作为训练数据，用于训练基于深度学习的视频分类模型。然而，由于上述样本相当于是一个视频的片段，很可能出现该片段不能充分涵盖整个视频的内容信息的情况，因而当收集到大量视频数据对应的样本时，样本的质量也是良莠不齐的，这也不利于模型的训练。
技术实现思路
有鉴于此，本专利技术提供一种视频分类问题的样本提取方法及装置，主要目的在于优化从视频数据中提取样本的方法，以确保样本能够涵盖视频数据的整个内容信息，同时避免样本中存在冗余图像数据，以增强样本质量，也有助于提高视频分类模型的训练质量。为了解决上述问题，本专利技术主要提供如下技术方案：一方面，本专利技术提供了一种视频分类问题的样本提取方法，该方法包括：获取视频数据；对所述视频数据进行解析，得到所述视频数据对应的连续的多个单帧图像；从所述连续的多个单帧图像中提取特征图像组成样本，所述特征图像用于概括所述视频数据的内容信息，所述样本中不包含冗余图像数据。可选的，所述方法还包括：按照所述特征图像在时间轴上对应的光流信息，将所述特征图像按照时间先后顺序排列；根据所述特征图像的排列顺序，生成所述样本对应的光流图像；将所述光流图像添加至训练样本；和/或，将所述特征图像添加至训练样本。可选的，所述从所述连续的多个单帧图像中提取特征图像组成样本，包括：将所述视频数据对应的连续的多个单帧图像平均分成多个图像组，所述图像组包含按照时间先后顺序排列的连续的多个单帧图像；通过比对所述图像组内的单帧图像互相之间的结构相似性，确定所述图像组对应的特征图像；提取每个所述图像组对应的特征图像组成样本。可选的，所述通过比对所述图像组内的单帧图像互相之间的结构相似性，确定所述图像组对应的特征图像，包括：在所述图像组内选取任意一个单帧图像作为标杆图像；根据所述图像组内的多个单帧图像的排列顺序，获取所述标杆图像的前H个单帧图像以及后H个单帧图像组成图像集合，所述H是正整数，2H+1是小于一组图像组包含的单帧图像的总数目；分别计算所述标杆图像与所述图像集合中的每个单帧图像之间的结构相似度，得到所述标杆图像对应的多个相似度值；对所述标杆图像对应的多个相似度值执行求平均运算，得到所述标杆图像对应的相似度平均值；将多个所述标杆图像分别对应的相似度平均值按照数值由小到大排序；根据所述按照数值由小到大的排序，从多个所述标杆图像分别对应的相似度平均值中选取前M个相似度平均值，所述M是正整数且小于一组图像组包含的单帧图像的总数目；将与被选取的所述相似度平均值匹配的标杆图像确定为特征图像。可选的，在执行本次提取每个所述图像组对应的特征图像组成样本之后，所述方法还包括：标记本次提取的所述特征图像；在执行下次提取每个所述图像组对应的特征图像组成样本时，从所述图像组中未被标记的单帧图像中提取特征图像。可选的，在执行本次提取每个所述图像组对应的特征图像组成样本之后，所述方法还包括：标记本次提取的所述特征图像；在执行下次提取每个所述图像组对应的特征图像组成样本时，将被标记的所述特征图像对应的相似度平均值乘以增长系数，所述增长系数用于将所述特征图像对应的相似度平均值翻倍。为了实现上述目的，根据本专利技术的另一方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的视频分类问题的样本提取方法。为了实现上述目的，根据本专利技术的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的视频分类问题的样本提取方法。另一方面，本专利技术还提供了一种视频分类问题的样本提取装置，该装置包括：获取单元，用于获取视频数据；解析单元，用于对所述获取单元获取的视频数据进行解析，得到所述视频数据对应的连续的多个单帧图像；提取单元，用于从所述解析单元解析得到的连续的多个单帧图像中提取特征图像组成样本，所述特征图像用于概括所述视频数据的内容信息，所述样本中不包含冗余图像数据。可选的，所述装置还包括：排序单元，用于按照所述特征图像在时间轴上对应的光流信息，将所述特征图像按照时间先后顺序排列；生成单元，用于根据所述排序单元排列的特征图像的排列顺序，生成所述样本对应的光流图像；添加单元，用于将所述光流图像添加至训练样本；和/或，所述添加单元，还用于将所述特征图像添加至训练样本。可选的，所述提取单元包括：分解模块，用于将所述视频数据对应的连续的多个单帧图像平均分成多个图像组，所述图像组包含按照时间先后顺序排列的连续的多个单帧图像；确定模块，用于通过比对所述图像组内的单帧图像互相之间的结构相似性，确定所述图像组对应的特征图像；提取每个所述图像组对应的特征图像组成样本。可选的，所述确定模块包括：选取子模块，用于在所述图像组内选取任意一个单帧图像作为标杆图像；获取子模块，用于根据所述图像组内的多个单帧图像的排列顺序，获取所述标杆图像的前H个单帧图像以及后H个单帧图像组成图像集合，所述H是正整数，2H+1是小于一组图像组包含的单帧图像的总数目；计算子模块，用于分别计算所述标杆图像与所述图像集合中的每个单帧图像之间的结构相似度，得到所述标杆图像对应的多个相似度值；所述计算子模块，还用于对所述标杆图像对应的多个相似度值执行求平均运算，得到所述标杆图像对应的相似度平均值；排序子模块，用于将多个所述计算子模块计算得到的标杆图像分别对应的相似度平均值按照数值由小到大排序；所述选取子模块，还用于根据所述排序子模块按照数值由小到大的排序，从多个所述标杆图像分别对应的相似度平均值中选取前M个相似度平均值，所述M是正整数且小于一组图像组包含的单帧图像的总数目；确定子模块，用于将与被选取的所述相似度平均值匹配的标杆图像确定为特征图像。可选的，所述提取单元还包括：标记模块，用于在执行本次提取每个所述图像组对应的特征图像组成样本之后，标记本次提取的所述特征图像；提取模块，用于在执行下次提取每个所述图像组对应的特征图像组成样本时，从所述图像组中未被所述标记模块标记的单帧图像中提取特征图像。可选的，所述确定模块还包括：标记子模块，用于在执行本次提取每个所述图像组对应的特征图像组成样本之后，标记本次提取的所述特征图像；处理子模块，用于在执行下次提取每个所述图像组对应的特征图像组成样本时，将被标记的所述特征图像对应的相似度平均值乘以增长系数，所述增长系数用于将所述特征图像对应的相似度平均值翻倍。借由上述技术方案，本专利技术提供的技术方案至少具有下列优点：本专利技术提供的一种视频分类问本文档来自技高网...

【技术保护点】
1.一种视频分类问题的样本提取方法，其特征在于，所述方法包括：获取视频数据；对所述视频数据进行解析，得到所述视频数据对应的连续的多个单帧图像；从所述连续的多个单帧图像中提取特征图像组成样本，所述特征图像用于概括所述视频数据的内容信息，所述样本中不包含冗余图像数据。

【技术特征摘要】
1.一种视频分类问题的样本提取方法，其特征在于，所述方法包括：获取视频数据；对所述视频数据进行解析，得到所述视频数据对应的连续的多个单帧图像；从所述连续的多个单帧图像中提取特征图像组成样本，所述特征图像用于概括所述视频数据的内容信息，所述样本中不包含冗余图像数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：按照所述特征图像在时间轴上对应的光流信息，将所述特征图像按照时间先后顺序排列；根据所述特征图像的排列顺序，生成所述样本对应的光流图像；将所述光流图像添加至训练样本；和/或，将所述特征图像添加至训练样本。3.根据权利要求1所述的方法，其特征在于，所述从所述连续的多个单帧图像中提取特征图像组成样本，包括：将所述视频数据对应的连续的多个单帧图像平均分成多个图像组，所述图像组包含按照时间先后顺序排列的连续的多个单帧图像；通过比对所述图像组内的单帧图像互相之间的结构相似性，确定所述图像组对应的特征图像；提取每个所述图像组对应的特征图像组成样本。4.根据权利要求3所述的方法，其特征在于，所述通过比对所述图像组内的单帧图像互相之间的结构相似性，确定所述图像组对应的特征图像，包括：在所述图像组内选取任意一个单帧图像作为标杆图像；根据所述图像组内的多个单帧图像的排列顺序，获取所述标杆图像的前H个单帧图像以及后H个单帧图像组成图像集合，所述H是正整数，2H+1是小于一组图像组包含的单帧图像的总数目；分别计算所述标杆图像与所述图像集合中的每个单帧图像之间的结构相似度，得到所述标杆图像对应的多个相似度值；对所述标杆图像对应的多个相似度值执行求平均运算，得到所述标杆图像对应的相似度平均值；将多个所述标杆图像分别对应的相似度平均值按照数值由小到大排序；根据所述按照数值由小到大的排序，从多个所述标杆图像分别对应的相似度平均值中选取前M个相似度平均值，所述M是正整数且小于一组图像组包含的单帧图像的总数目；将与被选取的所述相似度平均值匹配的标杆图像确定为特征图像。5.根据权利要求3所述的方法，其特征在于，在执行本次提取每个所述图像组对应的特征图像组成样本之后，所述方法还包括：标记本次提取的所述特征图像；在执行下次提取每个所述图像组对应的特征图像组成样本时，从所述图像组中未被标记的单帧图像中提取特征图像。6.根据权利要求4所述的方法，其特征在于，在执行本次提取每个所述图像组对应的特征图像组成样本之后，所述方法还包括：标记本次提取的所述特征图像；在执行下次提取每个所述图像组对应的特征图像组成样本时，将被标记的所述特征图像对应的相似度平均值乘以增长系数，所述增长系数用于将所述特征图像对应的相似度平均值翻倍。7.一种视频分类问题的样本提取装置，其特征在于，所述装置包括：获取单元，用于获取视频数据；解析单元，用于对所述获取单元获取的视频数据进行解析，得到所述视频数据对应的连续的多个单帧图像；提取单元，用于从所述解析单元解析得到的连续的多个单帧图像中提取特征图像组成样本，所述特征图像用于概括所述视频数据的内容信息，所述...

【专利技术属性】
技术研发人员：贾红红，赵骥伯，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11