一种数据调度系统技术方案

本发明专利技术提出了一种数据调度系统,通过网络监听，并解析网络报文来发现用户对存储服务器里的对象的操作情况以及操作的对象，对于发现的涉及到对象变化的操作会记录到数据库中，在数据库只做相应操作对象的状态保存。用户可以配置对数据的管理策略，任务调度模块会根据用户配置的管理策略进行任务调度。对于以蓝光存储为目标地址的任务，任务调度模块扫描数据库，将符合配置策略的位于存储服务器中的对象信息和通过蓝光存储节点管理模块选出可用的蓝光存储的位置作为目标存储位置。本发明专利技术能够广泛应用在支持标准对象存储协议的存储集群上，实现实时发现对象变化，并自动进行数据调度，且不给存储带来额外压力，不会影响业务的正常进行和带宽。

A data scheduling system

【技术实现步骤摘要】
一种数据调度系统
本专利技术涉及自动进行对象数据归档和取回的系统，具体涉及一种数据调度系统。
技术介绍
随着社会的发展，人类社会每天产生大量的数据，且很多数据需要长期永久保存，但是目前磁存储集群存储数据的方式具有成本高、功耗高的问题。为了解决这个问题，就需要把使用频率不高的数据采用低成本、低功耗的设备保存起来。就目前技术来说，蓝光光盘存储是低成本长期保存的一个选择。数据最开始产生会保存到磁存储上，这是大家使用的规律，对于保存在磁存储上的数据如何才能保存到光盘上，业内有一些解决方案，有的是功能欠缺(只支持手动将文件写入光盘或从光盘取回)，有的是实现起来耦合度太高(只能用厂商自家的存储软件或依赖特定的厂家的存储)或给存储的压力太大。
技术实现思路
为了解决上述问题，本专利技术提出一种数据调度系统。为实现以上目的，本专利技术采用的技术方案是：一种数据调度系统，包括控制中心、Agent模块、存储服务器和蓝光存储，所述控制中心包括数据管理策略模块、蓝光存储节点管理模块、任务调度模块、监听解析模块和数据库；...

【技术保护点】
1.一种数据调度系统，其特征在于：包括控制中心、Agent模块、存储服务器和蓝光存储，所述控制中心包括数据管理策略模块、蓝光存储节点管理模块、任务调度模块、监听解析模块和数据库；/n所述数据管理策略模块，用以完成用户对容器的策略配置，包括启用策略、配置策略、删除策略、修改策略、禁用策略；/n所述蓝光存储节点管理模块，用以为任务调度模块提供蓝光存储的目标存储位置信息，包括URL及认证信息；/n所述监听解析模块，用以监听存储服务器的网络流量，从中解析出用户对存储服务器中数据的操作信息，从中获取数据变动情况信息并记录到数据库中；/n所述任务调度模块，用以定期扫描数据库，根据监听解析模块获取的数据变动...

【技术特征摘要】
1.一种数据调度系统，其特征在于：包括控制中心、Agent模块、存储服务器和蓝光存储，所述控制中心包括数据管理策略模块、蓝光存储节点管理模块、任务调度模块、监听解析模块和数据库；
所述数据管理策略模块，用以完成用户对容器的策略配置，包括启用策略、配置策略、删除策略、修改策略、禁用策略；
所述蓝光存储节点管理模块，用以为任务调度模块提供蓝光存储的目标存储位置信息，包括URL及认证信息；
所述监听解析模块，用以监听存储服务器的网络流量，从中解析出用户对存储服务器中数据的操作信息，从中获取数据变动情况信息并记录到数据库中；
所述任务调度模块，用以定期扫描数据库，根据监听解析模块获取的数据变动情况信息判断存储服务器中是否存在容器满足用户配置的数据管理策略，如果有，就生成数据调度任务并发送给消息队列；
所述Agent模块，用以执行数据调度，根据消息队列里的任务，完成将数据从存储服务器备份到蓝光存储或从蓝光存储取回到存储服务器中；
所述数据库：用以保存监听到的存储服务器中数据的数据操作信息、用户配置的数据管理策略。


2.根据权利要求1所述的一种数据调度系统，其特征在于：所述监听解析模块采用旁路监听的方式监听存储服务器的IP地址和网络端口，当用户通过客户端操作存储服务器内数据或向存储服务器内写入数据时，通过配置的过滤器抓取并过滤数据包，获取操作存储服务器内数据或向存储服务器内写入数据的http/https报文，然后进行报文解析，需要解析http/https报文的请求和响应部分，从中获取请求方法、对应的用户和容器信息，并将解析http/https报文后获取到的信息保存/更新到数据库中。


3.根据权利要求2所述的一种数据调度系统，其特征在于：所述http/https报文包括请求行和请求头部，所述请求行包括请求方法字段：PUT/GET/HEAD/POST/DELETE/COPY，所述请求头部包括Content-Length字段和Destination字段；
解析到PUT方法后，说明用户在客户端向存储服务器上传对象或容器，需要继续解析其后的URL字段，URL字段依次包括用户名、容器名、对象名，按照顺序依次解析，如果只解析到用户名，后续没有解析到容器名，说明是创建一个账户的操作，放弃继续解析；如果解析到容器名和对象名，或仅解析到容器名，则需要继续解析请求头部中的Content-Length字段，以便获取对象大小；然后抓取针对该请求的响应报文，从响应行中解析出状态码，如果状态码为200-299，则判定用户上传成功，然后解析响应头，从其中的Last-Modified字段获取时间作为对象最后修改时间，最后将解析后的用户名、容器名、对象名、对象大小、对象最后修改时间的信息保存/更新到数据库中；
解析到GET方法后，说明用户在客户端需要从存储服务器读取数据，GET方法不会对存储服务器中的容器做任何修改，结束http/https报文解析；
解析到HEAD方法后，说明用户在客户端查看存储服务器内用户、容器或对象对应的元数据信息，HEAD方法不会对存储服务器中的容器做任何修改，结束http/https报文解析；
解析到POST方法后，说明客户需要创建、更新或修改用户、容器或对象对应的元数据信息，需要继续解析其后的URL字段，URL字段依次包括用户名、容器名、对象名，按照顺序依次解析，如果仅解析到用户名，或仅解析到容器名，或解析到用户名和容器名，或解析到用...

【专利技术属性】
技术研发人员：卓维晨，杨伟龙，刘梦莹，
申请(专利权)人：山东易华录信息技术有限公司，
类型：发明
国别省市：山东;37