一种实现用户数据独立管理与更新的网络系统和方法技术方案

本发明专利技术提出了一种实现用户数据独立管理与更新的网络系统包含：多个用户的终端节点，用于现场收集业务产生的各类数据，并将其存储或更新到数据源节点；一个或多个数据源节点，用于存储用户在终端节点收集的各类数据；一个或多个连接节点，由子网中的某个终端节点构成,或者是几个终端节点分别贡献一部分存储空间而成立的“共享节点”；所述连接节点和数据源节点相连接，当用户对用户数据文件进行操作时，只需要对处于相同子网内部的连接节点上的数据文件进行操作，就完成了对数据源节点上存储的数据文件的操作；通过文件系统后台进程实现系统的稳定运行，并通过异常检测程序，对各种异常情况进行处理。

A network system and method to realize the independent management and update of user data

The invention provides a network system contains user data independent management and update: a terminal node of multiple users, for all kinds of data collected in the field of business, and store it or updates to the data source node; one or more data source node, for users to collect all kinds of data storage in terminal node; one or more connections, components of a terminal node in the subnet, or several terminal nodes are used to contribute a part of the storage space and the establishment of the \shared nodes\; the connection and the data source node is connected, when users operate on the user data file, only need to operate in the same subnet internal connection node data file is completed to storage the data source node data files on the file system to achieve operation; through the background process The stable operation of the system and the exception detection program are used to deal with all kinds of abnormal conditions.

【技术实现步骤摘要】
一种实现用户数据独立管理与更新的网络系统和方法
本专利技术涉及计算机系统领域，特别涉及一种实现用户数据独立管理与更新的网络系统和方法。
技术介绍
大数据是指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》书中，大数据处理是指不用随机分析法、统计方法，而是采用所有数据同时进行分析处理。这样大数据分析工作如果采用分布式计算架构将会比单台计算机花费时间短。它的特色是利用云存储技术、分布式数据库、分布式处理，在海量数据中挖掘出有价值的信息。从海量数据中“提炼”出有价值的信息，这对数据处理能力和网络架构而言也是巨大的挑战。随着网络技术的快速发展，数据的容量和多样性快速增加，而处理数据的算法复杂度却难以改善，依赖个人经验和手工操作来描述数据、标注数据、选择特征、提取特征、处理数据的方法，已经很难满足大数据快速增长的需求，如何高效处理大数据已经成为一个紧迫的难题。在现有的分布式大数据处理技术中，诸如基于MapReduce的Hadoop分布式文件系统及其数据处理方法，绝大部分的资源都会浪费在计算机本文档来自技高网...

【技术保护点】
一种实现用户数据独立管理与更新的网络系统，适用于对用户的数据文件进行管理与更新,所述实现用户数据独立管理与更新的网络系统包含：多个用户的终端节点，用于现场收集业务产生的各类数据，并将其存储或更新到数据源节点；所述用户的终端节点在物理上隶属于不同的子网，所述子网内部的用户在物理上采用较高的带宽连接，实现数据的高速传输；一个或多个数据源节点，用于存储用户在终端节点收集的各类数据；其特征在于，还包含：一个或多个连接节点，由子网中的某个终端节点构成,或者是几个终端节点分别贡献一部分存储空间而成立的“共享节点”；所述连接节点和数据源节点相连接，当用户对用户数据文件进行操作时，只需要对处于相同子网内部的连...

【技术特征摘要】
1.一种实现用户数据独立管理与更新的网络系统，适用于对用户的数据文件进行管理与更新,所述实现用户数据独立管理与更新的网络系统包含：多个用户的终端节点，用于现场收集业务产生的各类数据，并将其存储或更新到数据源节点；所述用户的终端节点在物理上隶属于不同的子网，所述子网内部的用户在物理上采用较高的带宽连接，实现数据的高速传输；一个或多个数据源节点，用于存储用户在终端节点收集的各类数据；其特征在于，还包含：一个或多个连接节点，由子网中的某个终端节点构成,或者是几个终端节点分别贡献一部分存储空间而成立的“共享节点”；所述连接节点和数据源节点相连接，当用户对用户数据文件进行操作时，只需要对处于相同子网内部的连接节点上的数据文件进行操作，就完成了对数据源节点上存储的数据文件的操作；通过文件系统后台进程实现系统的稳定运行，并通过异常检测程序，对各种异常情况进行处理。2.如权利要求1所述的实现用户数据独立管理与更新的网络系统，其特征在于：数据文件包括数据文件头，数据文件头又细分为以下几个部分：数据文件ID、创建时间和用数据文件所有者私钥加密的指纹信息部分。3.如权利要求1所述的实现用户数据独立管理与更新的网络系统，其特征在于：所述业务为实时的过程相关的业务、工厂相关的业务、金融业务、游戏业务、以及其它类型的业务。4.如权利要求1所述的分布式大数据实时交换共享的计算机网络系统，其特征在于：采用改进的分布式数据集对数据文件进行存储，改进的分布式数据集对象中的数据文件在物理上是以分区(Partition)的方式存储的,不同分区的数据可以分布在不同的机...

【专利技术属性】
技术研发人员：孟青，
申请(专利权)人：广州百兴网络科技有限公司，
类型：发明
国别省市：广东,44