一种视频处理方法及系统、分布式对象存储系统技术方案

本发明专利技术公开一种视频处理方法及系统、分布式对象存储系统，该方法应用于分布式对象存储系统，包括：Proxy节点、存储节点和客户端SDK，其中，Proxy节点用于集群信息元数据管理中间件服务，存储节点用于视频处理服务，客户端SDK定时异步获取Proxy节点上的集群元数据并缓存在本地服务器上，该方法通过在客户端SDK上快速计算视频文件在分布式对象存储集群中的存储节点以及完整文件名，绕过Proxy节点将处理请求直接发送到存储节点上，缩短数据传输路径，减少请求转发时间，提高视频生产效率；在存储节点上部署视频处理服务，直接处理客户端请求中对应的文件，然后返回结果给客户端，避免客户端下载整个视频文件，减少计算资源的采购，降低整个视频生产成本。

Video processing method and system, distributed object storage system

The invention discloses a video processing method and system, distributed object storage system, including the method applied to the distributed object storage system: Proxy node, the storage node and client SDK, among them, the Proxy node for the cluster information metadata management middleware services, storage node for video processing services, client SDK timing asynchronous access on Proxy nodes cluster metadata and cache on the local server, the client SDK method based on fast calculation of video files in a distributed object storage in a cluster storage node and the full document, bypassing the Proxy node will handle the request sent directly to the storage nodes, shorten the data transmission path, reduce the request forwarding time, improve the production efficiency of the deployment of video; video processing services in the storage node, the corresponding direct client request Piece, and then return the result to the client, avoid the client to download the entire video file, reduce the procurement of computing resources, and reduce the entire video production costs.

【技术实现步骤摘要】
一种视频处理方法及系统、分布式对象存储系统
本专利技术属于移动互联网
，更具体的说，是涉及一种视频处理方法及系统、分布式对象存储系统。
技术介绍
在移动互联网时代，每个人都是视频的创作者，利用便携的移动设备，例如：手机、PAD等进行实时拍摄美景、拍摄正在发生的事等，然后将视频上传到网上与他人分享。用户上传的视频可称为UGC(UserGeneratedContent，用户原创内容)视频，随着UGC视频文件的日日剧增，给视频网站的视频文件存储和视频生产带来巨大的挑战。视频生产是指从用户上传视频到视频网站，视频网站内部对视频进行一系列的处理的过程，如内容合法性审核、元数据获取、截图、并将用户上传的视频转换成不同码率的视频文件，以适配各种不同的播放设备，最后将转换后的视频文件分发到CDN中供用户播放。传统的视频存储系统都是在客户端上基于POSIX接口来对文件进行读、写处理，POSIX全称是PortableOperatingSystemInterface即可移植操作系统接口，是为各种UNIX操作系统上运行的软件而定义的一系列API标准的总称，例如NFS、GlusterFS等存储文件系统。这类视频存储系统是通过客户端的方式将服务端的文件系统通过网络挂载到本地，然后通过POSIX接口访问服务器端的视频文件，属于挂载模式，在处理视频文件过程中需要将视频文件的所有内容从服务器上下载到客户端。在大规模分布式存储中这种方式存在一些缺陷，比如：需要将服务端存储以卷的方式挂载到客户端，这样随着客户端越来越多，维护挂载则越来越麻烦，客户端与服务端之间高度耦合，导致运维成本增加；对单个视频文件进行获取文件总大小、获取文件内容、获取视频尺寸、分辨率、像素比、显示比例、采样率、播放时长、帧率，以及对视频进行随机截图等操作，其实只是需要视频局部信息和内容，但客户端挂载方式则需要将整个文件下载到本地之后在通过POSIX接口进行处理，这样既耗时又消耗网络带宽，从而无法满足用户需求。为解决上述技术中的问题，目前已经提出使用分布式对象存储系统来存储视频文件，在分布式对象存储系统中，查找出文件存放在集群中的哪个位置是一个较为复杂的过程，客户端通过已知的对象名向集群中Proxy节点服务发出下载或者其它请求，Proxy节点服务根据对象名和集群全局的元数据，即：所有存储节点IP，服务端口，存储节点磁盘挂载点以及磁盘权重等，这些信息在整个集群生命周期中是极少变更的，根据一定的HASH算法计算出对象所在的存储节点和在存储节点中完整的文件名，然后将客户端请求转发到存储节点中的存储服务上，存储节点中的存储服务处理完请求之后在将请求返回给Proxy节点服务，最后在由Proxy节点服务将结果返回给客户端。在整个过程中Proxy节点除了计算对象存储位置之外，最大的作用就是请求转发，而在视频生产中，这种转发请求会消耗一定的生产时间，影响生产效率。
技术实现思路
有鉴于此，本专利技术提供了一种视频处理方法及系统、分布式对象存储系统，以解决现有技术中由于在分布式对象存储系统中Proxy节点在计算对象存储位置的基础上，还要进行用户请求转发，转发请求会消耗一定的生产时间，影响生产效率的问题。为实现上述目的，本专利技术提供如下技术方案：一种视频文件处理方法，应用于分布式对象存储系统，所述分布式对象存储系统包括Proxy节点、存储节点和客户端SDK，其中，所述Proxy节点用于集群信息元数据管理中间件服务，所述存储节点用于视频处理服务，所述客户端SDK定时异步获取所述Proxy节点上的集群元数据并缓存在本地服务器上，该方法包括：S1、接收包含视频文件对应的URL的用户请求，并发送至所述SDK对应的操作接口，所述URL为预先存储在所述分布式对象存储系统中的所述视频文件唯一确定的，所述URL包括：集群统一入口IP和集群统一服务端口号或所述视频文件的文件名；S2、根据所述URL确定所述URL所在的具体存储节点、服务端口以及在所述具体存储节点上的完整文件名；S3、将所述完整文件名发送至所述具体存储节点，根据所述用户请求的操作类型和所述完整的文件名进行对应的任务操作，并将操作结果返回至所述SDK。具体的，所述步骤S2包括：S21、根据所述URL对应的所述集群统一入口IP和所述集群统一服务端口号或所述视频文件的文件名判断所述本地服务器上是否存在所述URL对应的集群元数据信息，若是，则进入步骤S22，若否，则进入步骤S23；S22、根据所述URL和所述集群元数据信息计算所述URL所在的具体存储节点、服务端口以及在所述具体存储节点上的完整文件名；S23、发送请求到所述Proxy节点获取集群元数据信息，并将所述集群元数据反馈至所述SDK，则返回至步骤S21。具体的，所述步骤S22包括：S221、根据HASH算法计算所述URL所在的具体存储节点、服务端口以及在存储节点中完整的文件名；S222、将所述用户请求转发到所述存储节点上的所述存储节点。其中，所述集群元数据包括：所有存储节点IP、各个服务端口号、存储节点磁盘挂载点、磁盘在集群中的权重信息。其中，所述用户请求的操作类型包括：获取文件总大小、获取文件内容、获取文件SHA1、获取视频尺寸、分辨率、像素比、显示比例、采样率、播放时长、帧率，以及对视频进行随机截图。一种视频文件处理系统，应用于分布式对象存储系统，所述分布式对象存储系统包括Proxy节点、存储节点和客户端SDK，其中，所述Proxy节点用于集群信息元数据管理中间件服务，所述存储节点用于视频处理服务，所述客户端SDK定时异步获取所述Proxy节点上的集群元数据并缓存在本地服务器上，该系统包括：接收单元，用于接收包含视频文件对应的URL的用户请求，并发送至所述SDK对应的操作接口，所述URL为预先存储在所述分布式对象存储系统中的所述视频文件唯一确定的，所述URL包括：集群统一入口IP和集群统一服务端口号或所述视频文件的文件名；确定单元，用于根据所述URL确定所述URL所在的具体存储节点、服务端口以及在所述具体存储节点上的完整文件名；返回单元，用于将所述完整文件名发送至所述具体存储节点，根据所述用户请求的操作类型和所述完整的文件名进行对应的任务操作，并将操作结果返回至所述SDK。具体的，所述确定单元包括：判断单元，用于根据所述URL对应的所述集群统一入口IP和所述集群统一服务端口号或所述视频文件的文件名判断所述本地服务器上是否存在所述URL对应的集群元数据信息；计算单元，用于根据所述URL和所述集群元数据信息计算所述URL所在的具体存储节点、服务端口以及在所述具体存储节点上的完整文件名；获取单元，用于发送请求到所述Proxy节点获取集群元数据信息，并将所述集群元数据反馈至所述SDK。具体的，所述计算单元包括：计算子单元，用于根据HASH算法计算所述URL所在的具体存储节点、服务端口以及在存储节点中完整的文件名；转发单元，用于将所述用户请求转发到所述存储节点上的所述存储节点。一种分布式对象存储系统，包括：Proxy节点、存储节点和客户端SDK，其中，所述Proxy节点用于集群信息元数据管理中间件服务，所述存储节点用于视频处理服务，所述客户端SDK定时异步获取所述Proxy节点上的集群元数据并缓本文档来自技高网...

【技术保护点】
一种视频文件处理方法，其特征在于，应用于分布式对象存储系统，所述分布式对象存储系统包括Proxy节点、存储节点和客户端SDK，其中，所述Proxy节点用于集群信息元数据管理中间件服务，所述存储节点用于视频处理服务，所述客户端SDK定时异步获取所述Proxy节点上的集群元数据并缓存在本地服务器上，该方法包括：S1、接收包含视频文件对应的URL的用户请求，并发送至所述SDK对应的操作接口，所述URL为预先存储在所述分布式对象存储系统中的所述视频文件唯一确定的，所述URL包括：集群统一入口IP和集群统一服务端口号或所述视频文件的文件名；S2、根据所述URL确定所述URL所在的具体存储节点、服务端口以及在所述具体存储节点上的完整文件名；S3、将所述完整文件名发送至所述具体存储节点，根据所述用户请求的操作类型和所述完整的文件名进行对应的任务操作，并将操作结果返回至所述SDK。

【技术特征摘要】
1.一种视频文件处理方法，其特征在于，应用于分布式对象存储系统，所述分布式对象存储系统包括Proxy节点、存储节点和客户端SDK，其中，所述Proxy节点用于集群信息元数据管理中间件服务，所述存储节点用于视频处理服务，所述客户端SDK定时异步获取所述Proxy节点上的集群元数据并缓存在本地服务器上，该方法包括：S1、接收包含视频文件对应的URL的用户请求，并发送至所述SDK对应的操作接口，所述URL为预先存储在所述分布式对象存储系统中的所述视频文件唯一确定的，所述URL包括：集群统一入口IP和集群统一服务端口号或所述视频文件的文件名；S2、根据所述URL确定所述URL所在的具体存储节点、服务端口以及在所述具体存储节点上的完整文件名；S3、将所述完整文件名发送至所述具体存储节点，根据所述用户请求的操作类型和所述完整的文件名进行对应的任务操作，并将操作结果返回至所述SDK。2.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：S21、根据所述URL对应的所述集群统一入口IP和所述集群统一服务端口号或所述视频文件的文件名判断所述本地服务器上是否存在所述URL对应的集群元数据信息，若是，则进入步骤S22，若否，则进入步骤S23；S22、根据所述URL和所述集群元数据信息计算所述URL所在的具体存储节点、服务端口以及在所述具体存储节点上的完整文件名；S23、发送请求到所述Proxy节点获取集群元数据信息，并将所述集群元数据反馈至所述SDK，则返回至步骤S21。3.根据权利要求2所述的方法，其特征在于，所述步骤S22包括：S221、根据HASH算法计算所述URL所在的具体存储节点、服务端口以及在存储节点中完整的文件名；S222、将所述用户请求转发到所述存储节点上的所述存储节点。4.根据权利要求1所述的方法，其特征在于，所述集群元数据包括：所有存储节点IP、各个服务端口号、存储节点磁盘挂载点、磁盘在集群中的权重信息。5.根据权利要求1所述的方法，其特征在于，所述用户请求的操作类型包括：获取文件总大小、获取文件内容、获取文件SHA1、获取视频尺寸、分辨率、像素比、显示比例、采样率、播放时长、帧率，以及对视频进行随机截图。6.一种视频文件处理系统，其特征在于，应用于分布式对象存储系统，所述分布式对象存储系统包括Proxy节点、存储节点和客户端SDK，其中，所述Proxy节点用于集...

【专利技术属性】
技术研发人员：陈永旺，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11