用于抽取视频数据的计算系统技术方案

公开了用于抽取视频数据的计算系统。所述用于抽取视频数据的计算系统，包括：处理器；持久性存储系统，结合到处理器；以及存储器，存储指令，所述指令在被处理器执行时使得处理器通过以下操作来抽取视频数据的一批帧：接收视频数据的所述一批帧；通过特征提取器将所述一批帧映射到特征空间中的对应的特征向量，所述对应的特征向量中的每个特征向量具有比所述一批帧中的对应的帧的尺寸小的尺寸；基于特征向量中的所述对应的特征向量之间的不相似性，从视频数据的所述多个帧选择一组不相似帧；以及将选择的一组不相似帧存储在持久性存储系统中，选择的一组不相似帧的大小小于视频数据的所述批一帧中的帧的数量。

【技术实现步骤摘要】
用于抽取视频数据的计算系统本申请要求于2019年11月11日提交到美国专利商标局的第62/933，827号美国临时专利申请和于2020年01月29日提交到美国专利商标局的第16/776,266号美国专利申请的优先权和权益，这些申请的全部公开通过引用包含于此。
本公开的实施例的方面涉及用于在收集视频数据以用于训练机器学习系统(诸如，计算机视觉系统)的领域中包括实时数据缩减的方法和系统。
技术介绍
机器学习系统通常基于在大量训练数据上训练的基础统计模型来计算预测或答案，训练数据表示这样的系统将遇到的输入的范围。作为一个示例，一些自动驾驶车辆使用相机来检测周围对象。一种用于对象检测的技术是利用深度学习的有监督的机器学习(例如，深度神经网络)。在这样的方法中，安装在自动驾驶车辆上的相机实时拍摄街景的图像，并且将图像供应给被训练成自动检测场景内的对象和对场景内的对象进行分类的一个或多个统计模型(例如，深度神经网络)。这基本上实时地向自动驾驶算法提供车辆的周围(诸如，自动驾驶车辆附近的行人、道路危险、路缘、路面标记和其他车辆的位置)的语义表本文档来自技高网...

【技术保护点】
1.一种用于抽取视频数据的计算系统，包括：/n处理器；/n持久性存储系统，结合到处理器；以及/n存储器，存储指令，所述指令在被处理器执行时使得处理器被配置为执行抽取视频数据的一批帧，抽取视频数据的一批帧的步骤包括：/n接收视频数据的所述一批帧；/n通过特征提取器将所述一批帧映射到特征空间中的对应的特征向量，所述对应的特征向量中的每个特征向量具有比所述一批帧中的对应的帧的尺寸小的尺寸；/n基于所述对应的特征向量之间的不相似性，从视频数据的所述一批帧选择一组不相似帧；以及/n将选择的一组不相似帧存储在持久性存储系统中，选择的一组不相似帧的数量小于视频数据的所述一批帧中的帧的数量。/n

【技术特征摘要】
20191111 US 62/933,827;20200129 US 16/776,2661.一种用于抽取视频数据的计算系统，包括：
处理器；
持久性存储系统，结合到处理器；以及
存储器，存储指令，所述指令在被处理器执行时使得处理器被配置为执行抽取视频数据的一批帧，抽取视频数据的一批帧的步骤包括：
接收视频数据的所述一批帧；
通过特征提取器将所述一批帧映射到特征空间中的对应的特征向量，所述对应的特征向量中的每个特征向量具有比所述一批帧中的对应的帧的尺寸小的尺寸；
基于所述对应的特征向量之间的不相似性，从视频数据的所述一批帧选择一组不相似帧；以及
将选择的一组不相似帧存储在持久性存储系统中，选择的一组不相似帧的数量小于视频数据的所述一批帧中的帧的数量。


2.根据权利要求1所述的计算系统，其中，选择一组不相似帧的步骤包括：
从视频数据的所述一批帧随机地选择第一参考帧；
从所述一批帧丢弃第一组帧，第一组帧具有在与第一参考帧对应的第一特征向量的相似性阈值距离内的对应的特征向量；
从所述一批帧选择第二参考帧，第二参考帧具有第二特征向量，其中，第一特征向量与第二特征向量之间的距离大于所述相似性阈值距离；以及
从所述一批帧丢弃第二组帧，第二组帧具有在第二特征向量的相似性阈值距离内的对应的特征向量，
其中，选择的一组不相似帧包括第一参考帧和第二参考帧，并且排除第一组帧和第二组帧。


3.根据权利要求1所述的计算系统，其中，特征提取器包括神经网络。


4.根据权利要求3所述的计算系统，其中，神经网络包括卷积神经网络。


5.根据权利要求1所述的计算系统，其中，所述计算系统在车辆上，并且
其中，视频数据的所述一批帧是由安装在车辆上的摄像机拍摄的视频数据的流的一部分，摄像机被配置为拍摄车辆的周围的图像。


6.根据权利要求5所述的计算系统，其中，视频数据的所述一批帧在具有与拍摄间隔对应的长度的第一时间段被拍摄，
其中，视频数据的流包括：视频数据的第二批帧，视频数据的第二批帧对应于在具有与拍摄间隔对应的长度的第二时间段期间拍摄的视频数据，第二时间段紧接在第一时间段之后，并且
其中，所述计算系统被配置为：映射所述一批帧，以在与拍摄间隔对应的时间量内抽取视频数据的所述一批帧。


7.根据权利要求1至6中的任意一项所述的计算系统，其中，抽取视频数据的一批帧的步骤还包括：基于不确定性度量从选择的一组不相似帧去除帧，基于不确定性度量从选择的一组不相似帧去除帧的步骤包括：
将选择的一组不相似帧中的每个帧供应给对象检测器，对象检测器包括用于计算多组边界框的卷积神经网络，所述多组边界框标识帧的描绘多个对象类中的每个对象类的实例的部分，每组边界框中的每个边界框具有相关联的置信度分数；
基于所述多组边界框和相关联的置信度分数来计算选择的一组不相似帧中的每个帧的不确定性分数；以及
从选择的一组不相似帧去除具有不满足不确定性阈值的不确定性分数的一组帧，
其中，存储在持久性存储系统中的选择的一组不相似帧排除具有不满足不确定性阈值的不确定性分数的所述一组帧。


8.根据权利要求7所述的计算系统，其中，对象检测器还包括长短期记忆神经网络。


9.根据权利要求7所述的计算系统，其中，计算不确定性分数的步骤包括针对每个帧：
识别与帧的同一部分对应且与不同对象类对应的最高的两个相关联的置信度分数；以及
将所述最高的两个相关联的置信度分数进行比较，
其中，所述最高的两个相关联的置信度分数之间的差越小，不确定性分数越高，并且
其中，所述最高的两个相关联的置信度分数之间的差越大，不确定性分数越低。


10.根据权利要求7所述的计算系统，其中，特征提取器包括对象检测器的卷积神经网络。


11.一种用于抽取视频数据的计算系统，包括：
处理器；
持久性存储系统，结合到处理器；以及
存储器，存储指令，所述指令在被处理器执行时使得处理器被配置为执行抽取视频数据的一批帧，抽取视频数据的一批帧的步骤包括：
接收视频数据的所述一批帧；
将视频数据的所述一批帧中的每个帧供应给对象检测器，对象检测器包括用于计算多组边界框的卷积神经网络，所述多组边界框标识帧的描绘多个对象类...

【专利技术属性】
技术研发人员：阿利雷扎·阿利阿米里，沈亦沉，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR