数据发布系统和数据发布方法技术方案

本发明专利技术提供一种数据发布系统，用于向数据下载客户端发布数据，该系统包括：数据存储模块和数据发布模块；其中，当一数据下载客户端为了从该数据发布系统下载数据而向该数据发布系统发送客户端认证信息和数据下载请求信息时，该数据发布模块利用该客户端认证信息对该数据下载客户端进行认证；当该认证通过时，该数据发布模块将该数据下载请求信息发送到该数据存储模块，该数据存储模块制作待发布数据，并发送到该数据发布模块；该数据发布模块将制作好的待发布数据在该数据发布模块中的存储地址发送给该数据下载客户端；以及该数据下载客户端根据该数据发布模块发送的存储地址从该数据发布模块下载所述待发布数据。本发明专利技术还提供一种数据发布方法。

【技术实现步骤摘要】

本专利技术涉及信息处理领域，特别涉及一种通过特定的数据组织存储方式实现对数 据进行发布的系统和方法。
技术介绍
计算机技术和网络技术的迅速发展有效地支撑了目前各行业的数据管理工作，使 用基于B/S (Browser/Server，浏览器/服务器)架构的网络交互手段来实现数据发布已成 为当前数据发布方式的主流。B/S数据发布架构具备维护和升级方式简单、低成本和用户友 好度高等诸项优点。卫星数据实际上是指地面接收到的卫星搭载的各项有效载荷的下行数据，以及对 所接收的数据进行处理而得到的数据产品。下行数据即原始数据，根据载荷的不同原始数 据具备不同的特征，针对各载荷的原始数据进行处理的方式和程度也不相同，由此衍生出 各级卫星数据产品，并且不同级别的数据产品的存储需求和发布需求存在差异。卫星任务所产生的各种数据总量比较庞大，数据类型也比较复杂，为方便卫星数 据的存储和发布，需要卫星数据管理方根据实际情况制定卫星数据的元数据标准和特定的 数据组织方式。当前卫星数据管理领域并没有统一的国际元数据标准，更没有可通用的卫 星数据发布平台。而通用的B/S结构数据发布平台并不具备符合卫星数据(及数据产品) 特征的数据组织发布能力，因此研制适合卫星数据管理方需求的发布方法和系统以实现卫 星数据的合理利用是必然需求。
技术实现思路
本专利技术的目的在于能够提供一种数据发布系统和方法，它根据客户需求对待下载 的数据进行组织，在数据发布系统下属各分系统自有的数据应用模式和具备的硬件结构基 础上，满足各分系统内部和各分系统之间的数据交互需求，并使其能通过对数据的存储和 对外发布，解决数据处理系统内部异构环境下数据交互和外部各用户对于数据的需求问 题。本专利技术的据发布系统和方法尤其适合于对卫星数据进行发布。为实现上述目的，本专利技术提供了一种数据发布系统，其用于向数据下载客户端发 布数据，该系统包括数据存储模块，其存储有用于发布的数据；和数据发布模块，其用于向数据下载客户端发布数据；其中，当一数据下载客户端为了从该数据发布系统下载数据而向该数据发布系统 发送客户端认证信息和数据下载请求信息时，该数据发布模块接收到该数据下载客户端发 送的客户端认证信息和数据下载请求信息，并利用该客户端认证信息对该数据下载客户端 进行认证；当该认证通过时，该数据发布模块将该数据下载请求信息发送到该数据存储模 块，该数据存储模块将根据该数据下载请求信息制作待发布数据，并将制作好的待发布数据发送到该数据发布模块；该数据发布模块将该制作好的待发布数据在该数据发布模块中的存储地址发送 给该数据下载客户端；以及该数据下载客户端根据该数据发布模块发送的存储地址从该数据发布模块下载 所述待发布数据。为实现上述目的，本专利技术提供了一种数据发布方法，其用于向数据下载客户端发 布数据，该数据发布方法用于一数据发布系统中，该系统包括数据存储模块，其存储有用 于发布的数据；和数据发布模块，其用于向数据下载客户端发布数据；其中所述数据发布方法包括步骤当一数据下载客户端为了从该数据发布系统下载数据而向该数据发布系统发送 客户端认证信息和数据下载请求信息时，该数据发布模块接收到该数据下载客户端发送的 客户端认证信息和数据下载请求信息，并利用该客户端认证信息对该数据下载客户端进行 认证；当该认证通过时，该数据发布模块将该数据下载请求信息发送到该数据存储模 块，该数据存储模块将根据该数据下载请求信息制作待发布数据，并将制作好的待发布数 据发送到该数据发布模块；该数据发布模块将该制作好的待发布数据在该数据发布模块中的存储地址发送 给该数据下载客户端；以及该数据下载客户端根据该数据发布模块发送的存储地址从该数据发布模块下载 所述待发布数据。在本专利技术中，数据下载客户端提交数据下载请求，根据数据发布系统制定的数据 标准对数据进行组织生成待下载数据，有效解决了数据产品存储需求和发布需求的多样性 和复杂性问题。不仅数据发布系统内部各分系统节点均可以通过局域网访问所需的数据资 源，外部用户也可以通过互联网客户端向本专利技术提交数据下载请求以获得所需数据。无论 是局域网还是互联网都能基于IP网络实现数据发布，并且符合数据发布系统分工需求，对 于建立更大规模的数据发布平台具有开拓意义，具有高通用性、高效率、高可扩展性、低成 本等优点。本专利技术实现了符合数据产品特征的数据发布方式，并提高了数据发布的安全性、 高效性和自动化程度。本专利技术的数据发布系统和方法尤其适合于卫星数据的发布，使外部 科研机构也可以通过互联网客户端向本专利技术提交数据下载请求以获得所需数据。附图说明图1为本专利技术实施例中数据发布系统结构的示意图；图2为本专利技术实施例的数据发布系统中的存储管理模块和制作模块结构示意图；图3为本专利技术实施例的数据发布系统结构的硬件环境结构的一个示例的示意图；图4为图3所示的数据发布系统进行数据发布的工作流程图。具体实施例方式本专利技术提出一种实现数据发布的系统和方法。以下将结合对上述附图的描述来说 明本专利技术。图1描述了本专利技术的数据发布系统结构示意图。从图中可以看出，该系统包括数 据存储模块11和数据发布模块12。下面分别对其进行描述。所述数据发布模块12包括客户端认证模块31、接收模块32、通知模块35和保 存模块34。其中，客户端认证模块31用于接收数据下载客户端41发送的客户端认证信息 和数据下载请求信息，并在对该数据下载客户端41认证通过后将该数据下载请求信息发 送到接收模块32 ；接收模块32用于接收客户端认证模块31发送的数据下载请求信息，并 将该信息发送至数据存储模块11 ；保存模块34用于接收数据存储模块11发送的待下载数 据，并将保存待下载数据的地址信息发送至通知模块35 ；通知模块35接收保存模块34发 送的待下载数据的地址信息，并将该信息通知数据下载客户端41以便其通过通知模块35 从所述保存模块34下载待下载数据。所述数据存储模块11包括数据请求接收模块24、存储管理模块21、存储模块 22、制作模块23和暂存模块25。其中，数据请求接收模块24接收数据发布模块12发送的 数据下载请求信息，并将该信息发送至存储管理模块21 ；存储管理模块21接收数据请求接 收模块24发送的数据下载请求信息，并根据该信息向存储模块22发送检索请求信息以检 索数据下载请求信息所指示的请求下载的数据；存储模块22接收存储管理模块21发送的 检索请求信息，并向其返回检索结果；所述存储管理模块21根据该检索结果生成数据制作 信息并发送给制作模块23 ；制作模块23接收存储管理模块21发送来的数据制作信息并根 据该数据制作信息从存储模块22中获取制作待下载数据所需的数据，并利用获取的数据 生成待下载数据并将该待下载数据发送给暂存模块25 ；暂存模块25保存制作模块23生成 的待下载数据，并发送至数据发布模块12。在本专利技术中，除了对上述存储模块22进行数据 检索外，所述存储管理模块21还可对所述存储模块22进行各种操作，包括对文件数据的 读写、对元数据的读写、对日志数据的读写、对文件数据和元数据的复制与回收、对文件数 据和元数据以及日志数据的备份和恢复、和对存储资源的分配与回收。在本专利技术实施例中，存储管理模块21和制作模块23至关重要。这本文档来自技高网...

【技术保护点】
一种数据发布系统，其用于向数据下载客户端发布数据，该系统包括：数据存储模块，其存储有用于发布的数据；和数据发布模块，其用于向数据下载客户端发布数据；其中，当一数据下载客户端为了从该数据发布系统下载数据而向该数据发布系统发送客户端认证信息和数据下载请求信息时，该数据发布模块接收到该数据下载客户端发送的客户端认证信息和数据下载请求信息，并利用该客户端认证信息对该数据下载客户端进行认证；当该认证通过时，该数据发布模块将该数据下载请求信息发送到该数据存储模块，该数据存储模块将根据该数据下载请求信息制作待发布数据，并将制作好的待发布数据发送到该数据发布模块；该数据发布模块将该制作好的待发布数据在该数据发布模块中的存储地址发送给该数据下载客户端；以及该数据下载客户端根据该数据发布模块发送的存储地址从该数据发布模块下载所述待发布数据。

【技术特征摘要】
一种数据发布系统，其用于向数据下载客户端发布数据，该系统包括数据存储模块，其存储有用于发布的数据；和数据发布模块，其用于向数据下载客户端发布数据；其中，当一数据下载客户端为了从该数据发布系统下载数据而向该数据发布系统发送客户端认证信息和数据下载请求信息时，该数据发布模块接收到该数据下载客户端发送的客户端认证信息和数据下载请求信息，并利用该客户端认证信息对该数据下载客户端进行认证；当该认证通过时，该数据发布模块将该数据下载请求信息发送到该数据存储模块，该数据存储模块将根据该数据下载请求信息制作待发布数据，并将制作好的待发布数据发送到该数据发布模块；该数据发布模块将该制作好的待发布数据在该数据发布模块中的存储地址发送给该数据下载客户端；以及该数据下载客户端根据该数据发布模块发送的存储地址从该数据发布模块下载所述待发布数据。2.如权利要求1所述的数据发布系统，其中， 所述数据发布模块包括客户端认证模块，用于接收该数据下载客户端发送的客户端认证信息和数据下载请求 信息，并在利用该客户端认证信息对该数据下载客户端的认证通过后将该数据下载请求信 息发送到接收模块；接收模块，用于接收该客户端认证模块发送的数据下载请求信息，并将该信息发送至 所述数据存储模块；保存模块，用于接收所述数据存储模块发送的待下载数据，并将保存所述待下载数据 的地址信息发送至通知模块；以及通知模块，用于接收该保存模块发送的待下载数据的地址信息，并将该信息通知该数 据下载客户端以便其通过该通知模块从所述保存模块下载待下载数据， 所述数据存储模块包括数据请求接收模块，用于接收该数据发布模块发送的数据下载请求信息，并将该信息 发送至存储管理模块；存储管理模块，用于接收该数据请求接收模块发送的数据下载请求信息，并根据该信 息向存储模块发送检索请求信息以检索数据下载请求信息所指示的请求下载的数据，之后 该存储管理模块根据从存储模块返回的检索结果生成数据制作信息并发送给制作模块；存储模块，用于接收该存储管理模块发送的该检索请求信息，并向该存储管理模块返 回检索结果；制作模块，用于接收该存储管理模块发送的数据制作信息并根据该数据制作信息从该 存储模块中获取制作待下载数据所需的数据，并利用获取的数据生成待下载数据并将该待 下载数据发送给暂存模块；以及暂存模块，用于保存该制作模块生成的待下载数据，并将其发送至所述据发布模块。3.如权利要求2所述的数据发布系统，其中，所述存储管理模块还对所述存储模块进 行以下操作中的一种或多种对文件数据的读写、对元数据的读写、对日志数据的读写、对文件数据和元数据的复制与回收、对文件数据和元数据以及日志数据的备份和恢复、和对 存储资源的分配与回收。4.如权利要求2所述的数据发布系统，其中，所述存储管理模块包括请求接收模块，用于接收数据请求接收模块发送的数据下载请求信息，并将该信息发 送至数据检索模块；数据检索模块，用于根据该数据下载请求信息向所述存储模块发送所述检索请求信息 以检索数据下载请求信息所指示的请求下载的数据并接收所述存储模块返回的检索结果， 该数据检索模块将该检索结果发送至制作信息模块；以及制作信息模块，用于根据该检索结果生成数据制作信息，并将该数据制作信息发送至 所述制作模块以使所述制作模块根据该数据制作信息制作待下载数据，所述制作模块包括信息接收模块，用于接收存储管理模块发送来的数据制作信息并将其发送给数据组织 模块；数据组织模块，用于根据该数据制作信息确定组织待下载数据所需的数据并指示数 据访问模块获取所需的数据，并且对从数据访问模块返回的数据进行组织以生成待下载数 据，并将该待下载数据输出到数据输出模块；数据访问模块，用于根据该数据组织模块的指示从所述存储模块获取所述所需的数 据，并将获取的数据返回到该数据组织模块；以及数据输出模块，用于将该待下载数据发送至所述暂存模块。5.如权利要求4所述的数据发布系统，其中，所述存储管理模块还包括检索结果管理 模块，该检索结果管理模块管理所述数据检索模块的检索结果，在所述数据检索模块将检 索结果发送至所述制作信息模块的同时，还发送至该检索结果管理模块。6.如权利要求1或2所述的数据发布系统，其中，所述数据存储模块由存储设备和存储 服务器通过以太网连接构成，并且所述数据发布模块由应用程序服务器和Web服务器通过 所述以太网连接构成，其中，所述Web服务器经由防火墙连接到互联网，从而连接到数据下载客户端。7.如权利要求6所述的数据发布系统，其中，所述数据存储模块中的存储设备和存储 服务器基于GPFS文件结构2管理数据。8.一种数据发布方法，其用于向数据下载客户端发布...

【专利技术属性】
技术研发人员：左维，王晓倩，张舟斌，牟伶俐，肖潇，耿良，朱兰，李春来，
申请(专利权)人：中国科学院国家天文台，
类型：发明
国别省市：11[中国|北京]