面向贸易服务平台的大数据存储方法技术

本发明专利技术公开了面向贸易服务平台的大数据存储方法，包括以下步骤：步骤S1，从待存储的文件中选取符合用户请求条件的数据的关键字，建立每个关键字与各文件之间的关联映射表；步骤S2，将每个文件分割成多个数据段，每段以一条记录的方式记录；按照各文件分割的段数形成此文件相应的子集映射表；步骤S3，同一个文件的多个记录分布地存储于分片服务器中，每个分片服务器管理所有文件的子集映射表。本发明专利技术大数据存储方法占用空间小，查找文件方便。

【技术实现步骤摘要】
面向贸易服务平台的大数据存储方法
本专利技术具体涉及一种面向贸易服务平台的大数据存储方法。
技术介绍
目前，贸易电子商务的发展吸引了社会各界的关注，政府部门也高度关注我国贸易电子商务的未来发展，为营造一个有利于其发展的环境，各部门纷纷出台相关措施，建立贸易服务平台(是网络服务平台)来积极引导贸易电子商务。贸易服务平台内部部署了大量的数据，如交易平台数据、生产企业数据、政府公告数据、物流跟踪数据等。这些数据往往业务上相互弱关联而存储却互相独立。随着系统数量的膨胀，不断重复的保存，大量独立的存储信息占用大量的存储空间，每天存储梁可达几个G。如何高效且安全的存储服务平台数据，使其更好地为社会需求服务，已成为一个迫切需要解决的问题。目前贸易服务平台的存储方式主要通过文件和关系型数据库进行存储。专利技术人发现贸易服务平台中数据属于非结构化的数据，为了解决大数据存储问题，提出一种面向贸易服务平台的分布式数据存储方法。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提供了一种面向贸易服务平台的大数据存储方法，占用空间小，查找文件方便。为解决上述技术问题，本专利技术提供了一种面向贸易服务平台的本文档来自技高网...

【技术保护点】
面向贸易服务平台的大数据存储方法，其特征是，包括以下步骤：步骤S1，从待存储的文件中选取符合用户请求条件的数据的关键字，建立每个关键字与各文件之间的关联映射表；步骤S2，将每个文件分割成多个数据段，每段以一条记录的方式记录；按照各文件分割的段数形成此文件相应的子集映射表；步骤S3，同一个文件的多个记录分布地存储于分片服务器中，每个分片服务器管理所有文件的子集映射表。

【技术特征摘要】
1.面向贸易服务平台的大数据存储方法，其特征是，包括以下步骤：步骤S1，从待存储的文件中选取符合用户请求条件的数据的关键字，建立每个关键字与各文件之间的关联映射表；步骤S2，将每个文件分割成多个数据段，每段以一条记录的方式记录；按照各文件分割的段数形成此文件相应的子集映射表；步骤S3，同一个文件的多个记录分布地存储于分片服务器中，每个分片服务器管理所有文件的子集映射表。2.根据权利要求1所述的面向贸易服务平台的大数据存储方法，其特征是，关联映射表中存储关键字索引与文件索引之间的映射关系。3.根据权利要求2所述的面向贸易服务平台的大数据存储方法，其特征是，建立映射表的具体过程为...

【专利技术属性】
技术研发人员：王权，
申请(专利权)人：江苏金易达供应链管理有限公司，
类型：发明
国别省市：江苏,32