一种基于互联网的大数据平台制造技术

本发明专利技术涉及一种基于互联网的大数据平台，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；所述数据采集层包括数据采集服务器；所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；本发明专利技术的有益效果是：本系统框架完整，功能齐全，涵盖互联网上的大量数据资源，提高了大数据平台的处理能力，且系统能够稳定运行，并且也解决了在大数据处理中数据丢失的问题。

A large data platform based on the Internet

The invention relates to a big data platform based on Internet includes data acquisition layer, data storage layer, service layer, application layer, platform management layer and data management layer; the data acquisition layer includes data acquisition server; the data storage layer includes data storage server, data and computing platform big data receiving server and data center control server; the invention has the advantages that the system framework of integrity, complete functions, covering a large number of data resources on the Internet, big data platform to improve the processing ability, and the system can run stably and also solve the loss of data in data processing problems.

【技术实现步骤摘要】
一种基于互联网的大数据平台
本专利技术涉及大数据系统
，具体说是一种基于互联网的大数据平台。
技术介绍
大数据分析平台基于分布式海量数据存储与计算环境，提供图形化交互式数据处理和分析工具，丰富的数据分析与挖掘算法，以及交互式可视化分析工具，通过互联网服务方式向用户提供服务。这种系统实现策略不仅符合大数据应用的发展趋势，同时也满足中小企业和个人用户对于数据分析系统的可用性、时效性和低成本等方面的要求。大数据分析平台所采用的技术路线和应用模式融合了智能分析技术、高可扩展计算技术、非结构化数据处理技术和软件即时服务(SaaS)应用模式，符合当前国际大数据产业的发展趋势和产业化应用要求。然而现有的大数据平台大多功能单一，框架不完善，并且在大数据处理中，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题，无法实现真正的大数据处理时代，因此本专利技术提供了一种基于互联网的大数据平台，来解决上述问题。
技术实现思路
针对现有技术中存在的缺陷，本专利技术的目的在于提供一种基于互联网的大数据平台，解决现有的大数据平台功能单一，框架不完善，在大数据处理中，因数据量巨大，达成接收数据时网络堵塞，从而存在数据丢失的问题。为达到以上目的，本专利技术采取的技术方案是：一种基于互联网的大数据平台，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；所述数据采集层用于实现批量数据的采集；所述数据计算存储层用于对数据采集层采集的数据进行存储、计算和整合；所述服务层用于对数据进行封装、分析、挖掘和共享，为用户提供基于互联网的大数据服务；所述应用层用于为用户提供应用软件和搜索网站；所述平台管理层为应用层和服务层的开发框架进行统一管理，实现各类数据资源的集中管控和统一调度；所述数据治理层用于对数据进行管理；所述数据采集层包括数据采集服务器；所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；所述数据采集服务器用于采集互联网上的数据，对数据进行分类，然后将相同类别的数据发送给大数据接收服务器；所述大数据接收服务器用于接收数据采集服务器采集的数据，并对接收的数据按照数据类别和接收时间建立接收队列表，并将接收队列表发送给大数据存储服务器进行存储，将数据类别发送给大数据计算平台；所述大数据计算平台包括若干个大数据计算服务器，大数据计算平台根据数据类别对各个大数据计算服务器进行分类，大数据计算服务器根据数据类别，接收同类别的数据；所述大数据中央控制服务器用于采集大数据计算平台的状态，并根据采集的状态建立平台队列表；大数据中央控制服务器循环读取大数据存储服务器中的接收队列表，并根据平台队列表中的数据控制数据的传输。在上述方案的基础上，所述数据采集服务器包括数据优化模块，数据优化模块用于对采集的数据进行优化，将无用的数据剔除。在上述方案的基础上，所述大数据中央控制服务器包括判断模块和数据安全控制模块。在上述方案的基础上，所述判断模块用于对数据采集服务器采集的数据进行判断，若大数据计算平台中记录的数据与数据采集服务器采集的数据相同，则将相同的数据删除。在上述方案的基础上，所述数据安全控制模块用于保证数据传输过程中的安全性。在上述方案的基础上，所述大数据计算平台的状态包括各个大数据计算服务器的工作状态和空闲程度。在上述方案的基础上，所述服务层基于Web和OpenAPI技术提供大数据服务。在上述方案的基础上，所述服务层包括业务服务层和支撑服务层。在上述方案的基础上，所述业务服务层包括大数据建模服务、大数据管理服务、大数据分析服务、大数据挖掘服务和大数据融合服务。在上述方案的基础上，所述数据治理层包括：元数据管理、数据质量管理、数据安全管理和数据生命周期管理。本专利技术的有益效果是：本系统框架完整，功能齐全，涵盖互联网上的大量数据资源，提高了大数据平台的处理能力，且系统能够稳定运行，并且也解决了在大数据处理中数据丢失的问题。附图说明本专利技术有如下附图：图1本专利技术的结构图。具体实施方式以下结合附图对本专利技术作进一步详细说明。如图1所示，本专利技术所述的基于互联网的大数据平台，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；所述数据采集层用于实现批量数据的采集；所述数据计算存储层用于对数据采集层采集的数据进行存储、计算和整合；所述服务层用于对数据进行封装、分析、挖掘和共享，为用户提供基于互联网的大数据服务；所述应用层用于为用户提供应用软件和搜索网站；所述平台管理层为应用层和服务层的开发框架进行统一管理，实现各类数据资源的集中管控和统一调度；所述数据治理层用于对数据进行管理；所述数据采集层包括数据采集服务器；所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；所述数据采集服务器用于采集互联网上的数据，对数据进行分类，然后将相同类别的数据发送给大数据接收服务器；所述大数据接收服务器用于接收数据采集服务器采集的数据，并对接收的数据按照数据类别和接收时间建立接收队列表，并将接收队列表发送给大数据存储服务器进行存储，将数据类别发送给大数据计算平台；所述大数据计算平台包括若干个大数据计算服务器，大数据计算平台根据数据类别对各个大数据计算服务器进行分类，大数据计算服务器根据数据类别，接收同类别的数据；所述大数据中央控制服务器用于采集大数据计算平台的状态，并根据采集的状态建立平台队列表；大数据中央控制服务器循环读取大数据存储服务器中的接收队列表，并根据平台队列表中的数据控制数据的传输。在上述方案的基础上，所述数据采集服务器包括数据优化模块，数据优化模块用于对采集的数据进行优化，将无用的数据剔除。在上述方案的基础上，所述大数据中央控制服务器包括判断模块和数据安全控制模块。在上述方案的基础上，所述判断模块用于对数据采集服务器采集的数据进行判断，若大数据计算平台中记录的数据与数据采集服务器采集的数据相同，则将相同的数据删除。在上述方案的基础上，所述数据安全控制模块用于保证数据传输过程中的安全性。在上述方案的基础上，所述大数据计算平台的状态包括各个大数据计算服务器的工作状态和空闲程度。在上述方案的基础上，所述服务层基于Web和OpenAPI技术提供大数据服务。在上述方案的基础上，所述服务层包括业务服务层和支撑服务层。在上述方案的基础上，所述业务服务层包括大数据建模服务、大数据管理服务、大数据分析服务、大数据挖掘服务和大数据融合服务。在上述方案的基础上，所述数据治理层包括：元数据管理、数据质量管理、数据安全管理和数据生命周期管理。本专利技术的有益效果是：本系统框架完整，功能齐全，涵盖互联网上的大量数据资源，提高了大数据平台的处理能力，且系统能够稳定运行，并且也解决了在大数据处理中数据丢失的问题。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本文档来自技高网...

【技术保护点】
一种基于互联网的大数据平台，其特征在于，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；所述数据采集层用于实现批量数据的采集；所述数据计算存储层用于对数据采集层采集的数据进行存储、计算和整合；所述服务层用于对数据进行封装、分析、挖掘和共享，为用户提供基于互联网的大数据服务；所述应用层用于为用户提供应用软件和搜索网站；所述平台管理层为应用层和服务层的开发框架进行统一管理，实现各类数据资源的集中管控和统一调度；所述数据治理层用于对数据进行管理；所述数据采集层包括数据采集服务器；所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；所述数据采集服务器用于采集互联网上的数据，对数据进行分类，然后将相同类别的数据发送给大数据接收服务器；所述大数据接收服务器用于接收数据采集服务器采集的数据，并对接收的数据按照数据类别和接收时间建立接收队列表，并将接收队列表发送给大数据存储服务器进行存储，将数据类别发送给大数据计算平台；所述大数据计算平台包括若干个大数据计算服务器，大数据计算平台根据数据类别对各个大数据计算服务器进行分类，大数据计算服务器根据数据类别，接收同类别的数据；所述大数据中央控制服务器用于采集大数据计算平台的状态，并根据采集的状态建立平台队列表；大数据中央控制服务器循环读取大数据存储服务器中的接收队列表，并根据平台队列表中的数据控制数据的传输。...

【技术特征摘要】
1.一种基于互联网的大数据平台，其特征在于，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；所述数据采集层用于实现批量数据的采集；所述数据计算存储层用于对数据采集层采集的数据进行存储、计算和整合；所述服务层用于对数据进行封装、分析、挖掘和共享，为用户提供基于互联网的大数据服务；所述应用层用于为用户提供应用软件和搜索网站；所述平台管理层为应用层和服务层的开发框架进行统一管理，实现各类数据资源的集中管控和统一调度；所述数据治理层用于对数据进行管理；所述数据采集层包括数据采集服务器；所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；所述数据采集服务器用于采集互联网上的数据，对数据进行分类，然后将相同类别的数据发送给大数据接收服务器；所述大数据接收服务器用于接收数据采集服务器采集的数据，并对接收的数据按照数据类别和接收时间建立接收队列表，并将接收队列表发送给大数据存储服务器进行存储，将数据类别发送给大数据计算平台；所述大数据计算平台包括若干个大数据计算服务器，大数据计算平台根据数据类别对各个大数据计算服务器进行分类，大数据计算服务器根据数据类别，接收同类别的数据；所述大数据中央控制服务器用于采集大数据计算平台的状态，并根据采集的状态建立平台队列表；大数据中央控制服务器循环读取大数据存储服务器中的接收队列表，并根据平台队列表中的数据...

【专利技术属性】
技术研发人员：白云飞，
申请(专利权)人：北京天平检验行有限公司，
类型：发明
国别省市：北京,11