一种基于云存储的多媒体数据处理方法和系统技术方案

本申请提供了一种基于云存储的多媒体数据处理方法和系统，针对不同多媒体数据类型，通过业务连接状态监测模块自适应地对业务连接状态进行监测，若连接正常，将多媒体业务数据保存到云端；若连接断开数据传输未完成，音视频分析模块对已传输的数据进行鉴权、协议解析及数据处理，提取有效部分，并保存到对象存储中，在连接重新建立后，通过事件通知机制将处理后的结果提供给用户端，在不增加业务侧额外工作的前提下，更有效保证数据的完整性，大幅降低用户侧资源开销。幅降低用户侧资源开销。幅降低用户侧资源开销。

【技术实现步骤摘要】
一种基于云存储的多媒体数据处理方法和系统


[0001]本申请涉及大规模分布式块存储
，具体涉及一种基于云存储的多媒体数据处理方法和系统。

技术介绍

[0002]随着网络基础设施和多媒体技术的快速发展，多媒体数据的数据量在近些年呈几何趋势增长。作为多媒体数据的主要组成部分，监控视频录制对相应的存储技术带来了巨大挑战，而对象存储的灵活性和扁平性使它可以通过扩展来存储极大量的数据，可通过浏览器、HTTP RESTful API等方式高效存取和管理文件，很好地满足了云时代视频录制存储的需求。以视频监控场景为例，摄像头将生成的数据通过对象存储的putObject接口上传数据。作为一个接口，putObject返回成功时，表示摄像头上传的数据已经保存；返回失败，则表示数据没有保存。摄像头在上传数据期间由于网络断连导致请求失败，虽然有部分数据已经传到了对象存储服务端，但是这部分数据并不会保存，从而造成录制视频的不完整。按照传统的处理方式，摄像头在调用上传接口上传对象时，如果遇到网络问题，那么整个上传请求失败，对象存储丢弃已经接收到的部分数据，从而影响视频录制的完好率。
[0003]为了提高视频录制的完好率，业内提出了一些优化方法：
[0004](1)在客户端增加SD卡进行缓存，但是这需要增加额外的硬件成本，而且一些旧的摄像头也没办法进行改造；
[0005](2)用小切片上传的方式，如原来1分钟一个切片对象，改成4秒钟一个对象，原来一个请求失败会丢失1分钟的视频，改成小切片后只会丢失4秒钟的视频，但是这样就会业务平台管理以及对象存储要管理的文件数就会是原来的15倍，业务平台的索引和对象存储的索引存储都会大幅增加；
[0006](3)采用小切片追加方法。如每4秒追加一次，追加够1分钟后换一个文件追加。相对于小切片上传，这种方式可以减少业务平台维护的视频文件索引数量，但是对象存储需要维护额外的小切片的索引并没有减少。
[0007]由于断连等场景并不会频繁发生，通常不到1％，采用前面提到的3中优化方式，需要比较大的资源开销。

技术实现思路

[0008]为了解决上述技术问题，本申请提供一种基于云存储的多媒体数据处理方法和系统，可以针对不同多媒体数据类型，通过业务连接状态监测模块自适应地对业务连接状态进行监测。本申请所采用的技术方案如下：
[0009]一种基于云存储的多媒体数据处理系统，该系统包括对象存储接入层模块、对象存储持久层模块、业务连接状态监测模块、音视频分析提取模块、以及事件通知模块；
[0010]所述对象存储接入层模块，分别与事件通知模块、业务连接状态监测模块、音视频分析提取模块以及对象存储持久层模块相连接，接收由业务连接状态监测模块转发的客户
端请求，并对客户端请求进行鉴权，鉴权通过后从客户端接收多媒体数据，并将所述多媒体数据转发至音视频分析提取模块，并将音视频分析提取模块返回的分析结果转发至对象存储持久层模块进行保存；
[0011]所述业务连接状态监测模块，分别与客户端、所述对象存储接入层模块相连接，实时对业务连接状态进行监测，并根据数据类型自适应调节监测方式，将接收到的客户端请求转发至所述对象存储接入层模块；
[0012]所述音视频分析提取模块，接收由所述对象存储接入层模块转发的客户端的多媒体数据，对多媒体数据进行解析和预处理，提取出所述多媒体数据中的有效内容和对应的元数据信息，并将分析结果返回至所述对象存储接入层模块；
[0013]所述对象存储持久层模块，用于持久化对象存储数据和索引；
[0014]所述事件通知模块，分别与业务平台、所述对象存储接入层模块相连接，用于接收、保存、分发来自对象存储接入层模块的消息，并将多媒体数据对应的时间范围通知业务平台进行入库。
[0015]进一步的，所述业务平台与所述事件通知模块相连接，用于进行多媒体数据录制管理。
[0016]进一步的，所述多媒体数据录制管理包括设备管理、用户管理以及维护时间线与对象存储文件名的对应关系。
[0017]进一步的，在音视频分析提取模块中，所述进行解析和预处理，包括进行协议解析和数据解封装，以得到多媒体流数据；对解封装后的数据进行解码并提取多媒体元数据，对所提取的多媒体元数据进行预处理。
[0018]进一步的，所述预处理包括去重、元数据字段拆分和元数据字段的格式归一化，最后根据元数据信息提取出有效内容。
[0019]进一步的，在业务连接状态监测模块中，根据数据类型自适应调节监测方式，包括：对客户端发送的请求消息进行监测，并对请求消息进行识别，获取所述请求消息的类型字段和代码字段值，根据类型字段和代码字段，自适应选择监测方式。
[0020]进一步的，在业务连接状态监测模块中，对业务连接状态进行监测，包括：根据预设的参数进行针对死连接的检测，对于一个经过三次握手已建立好的TCP连接，如果在保活时间内双方没有任何的数据包传输，则开启保活功能，云存储端将发送保活数据心跳包；若没有收到应答，则每隔保活时间间隔再发送所述保活数据心跳包，发送N次；若一直没有收到应答，则发送RST包关闭连接；若收到应答，则将计时器清零。
[0021]一种基于云存储的多媒体数据处理方法，该方法应用于上述多媒体数据处理系统中，该方法包括如下步骤：
[0022]步骤1、通过业务连接状态监测模块对与客户端之间的业务连接状态进行监测；
[0023]步骤2、根据监测结果来选择不同的处理流程，若业务连接正常，则执行正常处理流程，将多媒体数据通过对象存储持久层模块保存到云存储中；若业务连接异常，则执行异常处理流程，将多媒体数据中的有效部分通过对象存储持久层模块保存到云存储中；
[0024]步骤3、重新建立业务连接状态监测模块对与客户端之间的业务连接，通过事件通知模块将所选择的处理流程的处理结果反馈给客户端。
[0025]进一步的，所述正常处理流程包括如下步骤：
[0026]步骤101、客户端生成携带多媒体数据的接入请求并上传至对象存储接入层模块；
[0027]步骤102、对象存储接入层模块收到接入请求，对所述接入请求进行鉴权通过后，完整接收所述接入请求中携带的多媒体数据；
[0028]步骤103、对象存储接入层模块将所述多媒体数据转发至音视频分析提取模块进行解析和预处理；
[0029]步骤104、对象存储接入层模块从所述音视频分析提取模块接收所述多媒体数据的分析结果，调用对象存储持久层模块的接口进行分析结果保存；
[0030]步骤105、对象存储接入层模块将多媒体时间段和文件名的对应关系打包成一个消息，并转发至事件通知模块；
[0031]步骤106、所述事件通知模块收到消息后保存，并分发消息到业务平台，并由所述业务平台记录多媒体数据索引。
[0032]进一步的，所述异常处理流程包括如下步骤：
[0033]步骤201、客户端生成携带多媒体数据的接入请求并上传至对象存储接入层模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云存储的多媒体数据处理系统，其特征在于，该系统包括对象存储接入层模块、对象存储持久层模块、业务连接状态监测模块、音视频分析提取模块、以及事件通知模块；所述对象存储接入层模块，分别与事件通知模块、业务连接状态监测模块、音视频分析提取模块以及对象存储持久层模块相连接，接收由业务连接状态监测模块转发的客户端请求，并对客户端请求进行鉴权，鉴权通过后从客户端接收多媒体数据，并将所述多媒体数据转发至音视频分析提取模块，并将音视频分析提取模块返回的分析结果转发至对象存储持久层模块进行保存；所述业务连接状态监测模块，分别与客户端、所述对象存储接入层模块相连接，实时对业务连接状态进行监测，并根据数据类型自适应调节监测方式，将接收到的客户端请求转发至所述对象存储接入层模块；所述音视频分析提取模块，接收由所述对象存储接入层模块转发的客户端的多媒体数据，对多媒体数据进行解析和预处理，提取出所述多媒体数据中的有效内容和对应的元数据信息，并将分析结果返回至所述对象存储接入层模块；所述对象存储持久层模块，用于持久化对象存储数据和索引；所述事件通知模块，分别与业务平台、所述对象存储接入层模块相连接，用于接收、保存、分发来自对象存储接入层模块的消息，并将多媒体数据对应的时间范围通知业务平台进行入库。2.根据权利要求1所述的系统，其特征在于，所述业务平台与所述事件通知模块相连接，用于进行多媒体数据录制管理。3.根据权利要求2所述的系统，其特征在于，所述多媒体数据录制管理包括设备管理、用户管理以及维护时间线与对象存储文件名的对应关系。4.根据权利要求1所述的系统，其特征在于，在音视频分析提取模块中，所述进行解析和预处理，包括进行协议解析和数据解封装，以得到多媒体流数据；对解封装后的数据进行解码并提取多媒体元数据，对所提取的多媒体元数据进行预处理。5.根据权利要求4所述的系统，其特征在于，所述预处理包括去重、元数据字段拆分和元数据字段的格式归一化，最后根据元数据信息提取出有效内容。6.根据权利要求1所述的系统，其特征在于，在业务连接状态监测模块中，根据数据类型自适应调节监测方式，包括：对客户端发送的请求消息进行监测，并对请求消息进行识别，获取所述请求消息的类型字段和代码字段值，根据类型字段和代码字段，自适应选择监测方式。7.根据权利要求1所述的系统，其特征在于，在业务连接状态监测模块中，对业务连接状态进行监测，包括：根据预设的参数进行针对死连接的检测，对于一个经过三次握手已建立好的TCP连接，如果在保活时间内双方没有任何的数据包传输，则开启保活...

【专利技术属性】
技术研发人员：黄鹄，吴文峰，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：