视频数据存储、分析方法、装置、系统、通信设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种视频数据存储、分析方法、装置、系统、通信设备及存储介质，包括：将实时获取的视频数据基于预设时间窗口划分为连续数据段；根据连续数据段生成下层索引；根据下层索引以及预设时间窗口生成上层索引；将视频数据以及下层索引分布式存储于大数据集群，上层索引存储于数据查询节点。在本发明专利技术实施例中，通过基于双层分布式索引结构实现对实时获取的视频数据的存储，相对于现有技术，通过索引的构建可以使实时视频数据存储效率显著提升，通过大数据集群实现视频数据以及所述下层索引的分布式存储，使视频数据实时有效的存储，实现高效的实时视频数据流写入以及流数据查询。数据查询。数据查询。

【技术实现步骤摘要】
视频数据存储、分析方法、装置、系统、通信设备及存储介质


[0001]本专利技术涉及视频处理
，特别涉及一种视频数据存储、分析方法、装置、系统、通信设备及存储介质。

技术介绍

[0002]大数据流的高效存储与索引本身就是当今数据领域的一大难点，目前的视频数据分析系统架构下，数据直接存储在Linux文件系统或分布式文件系统如HDFS（Hadoop Distributed File System，分布式文件系统）中，这类文件系统在存储稳定、数据静态时性能良好，能够支撑历史数据分析类应用，但在数据流场景下存在严重的性能瓶颈，难以做到实时流数据高效写入和获取。
[0003]数据流实时存储的一个关键是在不影响写入性能的前提下，快速实时地构建索引，才可以进一步实现高效查询，而目前基于数据流实时存储的索引构建主要集中于位图索引构建方法，但大数据流场景下，例如，数据流的深度分析、计算场景下，索引的更新频率高、存储开销大，现有技术无法高效实现数据流的实时存储。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种视频数据存储、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频数据存储方法，其特征在于，所述方法包括：将实时获取的视频数据基于预设时间窗口划分为连续数据段；根据所述连续数据段生成不同数据段对应的下层索引；根据所述下层索引以及所述预设时间窗口生成上层索引；将所述视频数据以及所述下层索引分布式存储于大数据集群，所述上层索引存储于数据查询节点。2.根据权利要求1所述的视频数据存储方法，其特征在于，所述下层索引对应的索引结构表示为：<k，v>其中，k表示所述数据段的键值，v表示所述数据段对应的视频数据。3.根据权利要求1所述的视频数据存储方法，其特征在于，所述上层索引对应的索引结构表示为：<t，v>其中，t为所述预设时间窗口对应的时间戳，v为所述下层索引对应的指针。4.根据权利要求1所述的视频数据存储方法，其特征在于，在所述将所述视频数据以及所述下层索引分布式存储于大数据集群，所述上层索引存储于数据查询节点的步骤之后，所述方法还包括：接收用户端发送的视频数据查询请求；判断在所述数据查询节点中是否存在所述视频数据查询请求对应的查询结果；若是，则将所述查询结果返回至所述用户端；若否，则根据所述视频数据查询请求在索引构建节点中进行查询处理。5.根据权利要求4所述的视频数据存储方法，其特征在于，所述根据所述视频数据查询请求在索引构建节点中进行查询处理包括：根据所述视频数据查询请求判断所述索引构建节点中是否存在所述视频数据查询请求对应的所述查询结果；若是，则将所述查询结果返回至所述用户端；若否，则获取所述视频数据查询请求对应的目标视频数据，并将所述目标视频数据进行预处理，生成所述预处理视频数据，并将所述预处理视频数据进行分析处理得到所述查询结果。6.一种视频数据分析方法，其特征在于，所述方法包括：实时获取第一视频数据，并根据所述第一视频数据生成下层索引；根据所述下层索引以及预设时间窗口生成上层索引；在检测到接收到用户端发送的视频数据查询请求的情况下，根据所述数据查询节点和所述上层索引向所述用户端分配所述视频数据查询请求对应的目标数据查询节点；在检测到所述目标数据查询节点中未查询到所述视频数据查询请求对应的查询结果的情况下，获取第二视频数据；将所述第二视频数据进行预处理，得到预处理视频数据；将所述预处理视频数据进行推理分析处理，得到推理分析结果；其中，所述第一视频数据以及所述下层索引分布式存储于大数据集群，所述上层索引
存储于数据查询节点。7.根据权利要求6所述的视频数据分析方法，其特征在于，所述根据所述数据查询节点和所述上层索引向所述用户端分配所述视频数据查询请求对应的目标数据查询节点包括：获取所述数据查询节点对应的节点信息，以及，所述上层索引对应的索引元数据；根据所述节点信息和所述索引元数据向所述用户端分配所述视频数据查询请求对应的目标数据查询节点。8.根据权利要求6所述的视频数据分析方法，其特征在于，所述实时获取第一视频数据，并根据所述第一视频数据生成下层索引包括：实时获取第一视频数据；根据预设码率将所述第一视频数据进行解码并缓存至当前时间窗口；当所述当前时间窗口结束时，根据所述视频数据构建下层索引。9.根据权利要求6所述的视频数据分析方法，其特征在于，所述将所述第二视频数据进行预处理，得到预处理视频数据包括：基于大数据组件对所述第二视频数据进行清洗归集处理，得到预处理视频数据。10.根据权利要求6所述的视频数据分析方法，其特征在于，所述将所述预处理视频数据进行推理分析处理，得到推理分析结果包括：基于大数据平台分布式架构部署推理框架；在所述推理框架中将所述预处理视频数据基于预设推理算法进行推理分析处理，得到推理分析结果。11.根据权利要求9所述的视频数据分析方法，其特征在于，所述大数据组件包括...

【专利技术属性】
技术研发人员：褚立强，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：