国际贸易数据管理系统技术方案

本发明专利技术公开了一种国际贸易数据管理系统，采用HDFS分布式文件存储系统，处理超大文件，流式的访问数据，一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求；本发明专利技术提供的国际贸易数据管理系统，HDFS的设计建立在更多地响应“一次写入、多次读写”任务的基础上。这意味着一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。

【技术实现步骤摘要】
国际贸易数据管理系统
本专利技术涉及一种数据处理系统，尤其涉及一种国际贸易数据管理系统，应用在国际贸易领域。
技术介绍
在国际贸易领域，国家与国家之间的每一笔贸易往来都是有交易记录的。在现代化的国际贸易规则下，国家之间的贸易日益频繁，每天成千上万的贸易记录所形成的数据是海量的。而且贸易记录数据是以不同格式不同语言储存在各个国家的不同机构，造就了此类数据不仅数据量大，数据结构非标准化，语言多样化等特点。有效科学地组织管理国际贸易的交易记录数据一直是该领域里的难点。挖掘贸易数据背后的商业价值更是市场上一直追逐的目标。针对目前多国多语言多数据结构的国际贸易记录数据，数据的存储、整合、检索都面临着诸多挑战。主要体现在以下三方面：a.跨语言的文本检索。传统的检索方式在不同语言的记录数据中只能用文本自身的语言进行检索。无法做到一种语言检索全部的数据。b.现有的贸易记录数据中，仅有对本次交易的产品描述或者产品的HS编码(TheHarmonizationSystemCode)。无法明确指出具体的产品名称或者产品关键字。当根据产品关键词进行检索时，检索结果不够精确，结果噪声大。c.各国数据的关联性很低本文档来自技高网...

【技术保护点】
一种国际贸易数据管理系统，其特征在于：采用HDFS分布式文件存储系统，处理超大文件，流式的访问数据，一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。

【技术特征摘要】
1.一种国际贸易数据管理系统，其特征在于：采用HDFS分布式文件存储系统，处理超大文件，流式的访问数据，一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。2.如权利要求1所述的国际贸易数据管理系统，其特征在于：采用Hadoop和Spark的MapReduce技术框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千台商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。3.如权利要...

【专利技术属性】
技术研发人员：庞振环，徐诚，崔智杰，
申请(专利权)人：上海腾道信息技术有限公司，
类型：发明
国别省市：上海,31