一种视频大数据存储及转码优化系统技术方案

本发明专利技术涉及数据存储技术领域，尤其涉及一种视频大数据存储及转码优化系统，将待存储的视频数据上传至优化系统的读取模块。待存储的视频数据上传至优化系统的读取模块。读取模块对视频的各项数据进行采集，并且将数据写入视频的备注中。标记模块对视频的各项数据进行子标记，并且对视频整体进行母标记。整合模块将捆绑数据进行整合处理，最终将数据输出至存储模块，对视频的标记过程以及整合过程有效减少了存储空间内部的重复视频存储量，有效缓解视频数据的存储压力。同时存储模块将原有的母标记重合的视频数据拉取删除，减少重复数据的空间占用，整合处理完毕的数据进行存储。转码模块对存储模块内的数据进行压缩转码，提高存储空间使用效率。空间使用效率。空间使用效率。

【技术实现步骤摘要】
一种视频大数据存储及转码优化系统


[0001]本专利技术涉及数据存储
，尤其涉及一种视频大数据存储及转码优化系统。

技术介绍

[0002]进入信息时代，需要存储的数据量出现暴涨，存储数据的大量冗余提高了硬件的成本，造成大量人力、物力的消耗。对于视频数据而言，如何降低视频对存储空间的消耗是当前科研的一个难题。现有技术中通常通过视频转码，指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求，并且实现压缩视频或者逆向恢复视频的效果。
[0003]公开号为CN112104869B的专利技术公开了一种视频大数据存储及转码优化系统，包括：图像采集模块，用于采集原始图像；关键帧选取模块，用于根据相邻帧原始图像ROI中对应特征点总欧式距离选取关键帧、待定背景帧和无关帧；背景帧选取模块，用于判断待定背景帧是否为背景帧；转码优化模块，用于根据确定各帧的编码量化参数QP；数据存储模块，用于将关键帧和背景帧分别转化为关键帧灰度图像和背景帧YUV图像并分为若干个图像组储存起来；色彩重建模块，用于根据图像组中背景帧YUV图像来恢复同一图像组中的关键帧灰度图像的色彩。
[0004]但是上述技术方案存在以下缺陷：上述视频存储及转码系统主要通过对视频数据内部的图像采集以及关键帧选取，降低视频的帧数，牺牲视频色彩和图像以实现视频的压缩储存。在对视频质量要求较高的文娱行业，上述视频存储系统不利于保护视频的质量和画面，后期色彩重建时消耗的时间成本也过高。

技术实现思路

>[0005]本专利技术针对
技术介绍
中存在的技术问题，提出一种视频大数据存储及转码优化系统。
[0006]本专利技术的技术方案：一种视频大数据存储及转码优化系统，包括读取模块、标记模块、对比模块、整合模块、存储模块和转码模块；
[0007]读取模块，用于读取视频，并且采集视频的分辨率、码率、码率类型、麻溜类型、图像质量和帧率等参数；
[0008]标记模块，根据读取模块采集的信息，对读取的视频针对每组信息分别进行子标记，结合多组子标记给视频进行母标记，所有的子标记设置在母标记之后；
[0009]对比模块，对进入系统的新视频的子标记与已经录入系统的视频的子标记进行依次对比；
[0010]整合模块，对子标记的重合率进行研判，并且对于重合率大于95％的视频两组视频进行整合；
[0011]存储模块，对进入系统子标记重合率小于95％的视频进行存储，并且在下一次视频进入后配合整合模块将已存储的视频子标记和母标记调出；
[0012]转码模块，对计入存储模块的每组视频进行身份ID备注，将同类型ID视频压缩转码储存在对应的视频转码子模块中，需要视频调出时转码模块中的视频转码子模块将视频转码复原并且调出。
[0013]优选的，读取模块包括信息采集子模块和信息写入子模块。
[0014]优选的，标记模块包括子标记子模块、母标记子模块和标记整理子模块。
[0015]优选的，对比模块包括子标记分类子模块、子标记对比子模块、子标记重合率计算子模块、母标记提取子模块和母标记捆绑子模块。
[0016]优选的，整合模块包括捆绑数据处理子模块、数据处理子模块和数据输出子模块。
[0017]优选的，存储模块包括数据存储子模块、数据拉取子模块和存储数据库。
[0018]优选的，转码模块包括数据转码子模块和数据复原子模块。
[0019]优选的，该系统的运行方法如下：
[0020]S1、待存储的视频数据上传至优化系统的读取模块；
[0021]S2、读取模块对视频的各项数据进行采集，并且将数据写入视频的备注中；
[0022]S3、标记模块对视频的各项数据进行子标记，并且对视频整体进行母标记；标记整理模块对每个视频的子标记进行归类整理；
[0023]S4、对比模块对新录入系统的视频以及以及录入系统的视频的每组子标记进行分类对比，并且将重复的子标记进行数据累计，当累计数据超过子标记数据量的95％，则子标记重合率计算模块将该视频的母标记发送至母标记提取子模块，母标记提取子模块将原有数据库中的同类型视频与该视频整合，母标记捆绑子模块将重合视频捆绑发送至整合模块；
[0024]S5、整合模块将捆绑数据进行整合处理，最终将数据输出至存储模块；
[0025]S6、存储模块将原有的母标记重合的视频数据拉取删除，并且将整合处理完毕的数据进行存储；
[0026]S7、转码模块对存储模块内的数据进行压缩转码，并且根据视频的子标记将视频进行分类转码，数据复原子模块在需要导出视频时将视频复原。
[0027]与现有技术相比，本专利技术的上述技术方案具有如下有益的技术效果：待存储的视频数据上传至优化系统的读取模块。待存储的视频数据上传至优化系统的读取模块。读取模块对视频的各项数据进行采集，并且将数据写入视频的备注中。标记模块对视频的各项数据进行子标记，并且对视频整体进行母标记。整合模块将捆绑数据进行整合处理，最终将数据输出至存储模块，对视频的标记过程以及整合过程有效减少了存储空间内部的重复视频存储量，有效缓解视频数据的存储压力。同时存储模块将原有的母标记重合的视频数据拉取删除，减少重复数据的空间占用，并且将整合处理完毕的数据进行存储。转码模块对存储模块内的数据进行压缩转码，提高存储空间的使用效率。本专利技术公开的优化存储系统能够在不破坏视频质量数据信息的前提下进行重复数据的整合优化，提高了视频信息的存储量。
附图说明
[0028]图1为本专利技术一种实施例的系统模块示意图。
[0029]图2为本专利技术一种实施例中读取模块的子模块示意图。
[0030]图3为本专利技术一种实施例中标记模块的子模块示意图。
[0031]图4为本专利技术一种实施例中对比模块的子模块示意图。
[0032]图5为本专利技术一种实施例中整合模块的子模块示意图。
[0033]图6为本专利技术一种实施例中存储模块的子模块示意图。
[0034]图7为本专利技术一种实施例中转码模块的子模块示意图。
具体实施方式
[0035]实施例一
[0036]本实施例提出的一种视频大数据存储及转码优化系统，包括读取模块、标记模块、对比模块、整合模块、存储模块和转码模块。
[0037]如图1所示，读取模块，用于读取视频，并且采集视频的分辨率、码率、码率类型、麻溜类型、图像质量和帧率等参数。标记模块，根据读取模块采集的信息，对读取的视频针对每组信息分别进行子标记，结合多组子标记给视频进行母标记，所有的子标记设置在母标记之后。对比模块，对进入系统的新视频的子标记与已经录入系统的视频的子标记进行依次对比。整合模块，对子标记的重合率进行研判，并且对于重合率大于95％的视频两组视频进行整合。存储模块，对进入系统子标记重合率小于95％的视频进行存储，并且在下一次视频进入后配合整合模块将已存储的视频子标记和母标记调出。转码模块，对计入存储模块的每组视频进行身份ID本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频大数据存储及转码优化系统，其特征在于，包括读取模块、标记模块、对比模块、整合模块、存储模块和转码模块；读取模块，用于读取视频，并且采集视频的分辨率、码率、码率类型、麻溜类型、图像质量和帧率等参数；标记模块，根据读取模块采集的信息，对读取的视频针对每组信息分别进行子标记，结合多组子标记给视频进行母标记，所有的子标记设置在母标记之后；对比模块，对进入系统的新视频的子标记与已经录入系统的视频的子标记进行依次对比；整合模块，对子标记的重合率进行研判，并且对于重合率大于95％的视频两组视频进行整合；存储模块，对进入系统子标记重合率小于95％的视频进行存储，并且在下一次视频进入后配合整合模块将已存储的视频子标记和母标记调出；转码模块，对计入存储模块的每组视频进行身份ID备注，将同类型ID视频压缩转码储存在对应的视频转码子模块中，需要视频调出时转码模块中的视频转码子模块将视频转码复原并且调出。2.根据权利要求1所述的一种视频大数据存储及转码优化系统，其特征在于，读取模块包括信息采集子模块和信息写入子模块。3.根据权利要求1所述的一种视频大数据存储及转码优化系统，其特征在于，标记模块包括子标记子模块、母标记子模块和标记整理子模块。4.根据权利要求1所述的一种视频大数据存储及转码优化系统，其特征在于，对比模块包括子标记分类子模块、子标记对比子模块、子标记重合率计算子模块、母标记提取子模块和母标记捆绑子模块。5.根据权利要求1所述的一种视频大数据存储及转码优化系统，其特征...

【专利技术属性】
技术研发人员：张涛，
申请(专利权)人：湖北明祥基业科技有限公司，
类型：发明
国别省市：