一种基于NoSQL的生产实时海量数据处理系统技术方案

本发明专利技术公开了一种基于NoSQL的生产实时海量数据处理系统，包括生产数据导入模块、生产数据共享模块、公告政策管理模块和系统管理模块；所述生产数据导入模块为系统提供数据来源；所述生产数据共享模块用于针对普通用户完成整个数据共享的流程和各项生产信息的查看，所述生产包括生产特性数据、图片数据、视频数据和生产厂家数据；所述公告政策管理模块用于针对超级管理员和普通管理员，完成生产共享数据的管理功能；所述系统管理模块用于针对超级管理员完成对系统用户添加或权限修改的管理功能；本处理系统将NoSQL数据库MongoDB代替传统关系型数据在数据共享平台中的应用，利用MongoDB无“关系”的特点，提高数据共享平台数据录入以及查询的效率。

【技术实现步骤摘要】
一种基于NoSQL的生产实时海量数据处理系统
本专利技术涉及生产数据处理领域，特别涉及一种基于NoSQL的生产实时海量数据处理系统。
技术介绍
地球上的信息正在以惊人的速度增长，据统计，平均每一秒都有200万用户在使用搜索引擎，Facebook用户每天共享的东西超过40亿，微博每天处理的信息数量超过3.4亿。2011年全球共有1.8ZB的数据产生，能够填满的CD数据足以从地球连到月球，然而，这仅仅是信息“爆炸”的开始，科技的进步和应用的普通使得信息可以产生于各种源头，社交网络、移动设备、传感器、各行各业不断产生的信息，使得数据正在以每年50％的量增长着。不论是通过数据优化现存的业务和管理，还是发掘新兴的业务模式，大数据及新的数据技术史无前例的为企业打开了机会之门。可以为管理者提供更加精准的管理决策支撑数据，我们正处在21世纪，每一个业务都在产生着大量的数据，每一处都可以看到数据为我们带来的巨大价值。在大数据时代，出现很多新的数据处理技术，如分布式缓存技术、NOSQL技术、云计算等等，这些技术的出现主要是针对实时、海量的数据处理，解决数据在“高可靠性、高可用性及一致性”的要求。基于生产实时的海量数据处理模型正是在当前大数据时代的背景下，在传统的基于实时数据库及关系数据库的基础上的数据处理进行创新，并根据生产管理企业对数据的集中、共享和服务的要求，为企业开发的一套海量生产实时数据的处理系统。该系统结合了当下最先进的海量数据处理技术，将企业对数据的管理过程(采集、处理、存储、分析)进行了整合，为企业的数据利用提供了一体化的解决方案。目前许许多多的互联网企业，如淘宝、腾讯、微软等大型企业已广泛采用了分布式数据处理、分布式数据缓存、云计算及NOSQL技术来应对当前信息时代下的海量数据处理和分析，为用户提供更快、更精准的信息服务。原有技术存在以下缺点：1.支持的采集目标数据源单一，只能从固定数据源采集，并且针对每一种采集目标源，都需要部署不同的应用，不便于管理和维护。2.采集模块不能确保数据的准确性，并且不能提供有效的手段帮助用户发现错误或异常数据。3.对基础网络要求较高，在网络不稳定的情况下，数据传输不能确保数据的时序性，同时不支持实现离线数据缓存。4.只实现单纯的数据采集和传输过程，对于数据的预处理、计算、存储和共享需要额外的信息系统支撑，且需要部署多个不同的应用。5.采用传统的关系型数据库或实时数据进行数据存储，数据的访问效率取决于数据库产品的及硬件的处理性能，数据量越大，数据的访问效率就越低。6.缺乏在数据分析和应用方面的技术支撑，不能帮助用户很好地从海量数据中发现并找到有价值的信息。
技术实现思路
有鉴于此，本专利技术的目的是将NoSQL数据库MongoDB代替传统关系型数据在数据共享平台中的应用，利用MongoDB无“关系”的特点，提高数据共享平台数据录入以及查询的效率。本专利技术的基于NoSQL的生产实时海量数据处理系统，包括生产数据导入模块、生产数据共享模块、公告政策管理模块和系统管理模块；所述生产数据导入模块为系统提供数据来源，通过管理员将相关生产数据录入到数据库中，并通过超级管理员对添加的数据进行审核，审核未通过时，需要普通管理员重新录入新的数据，审核通过之后，该数据就可以被检索到；所述生产数据共享模块用于针对普通用户完成整个数据共享的流程和各项生产信息的查看。所述生产包括生产特性数据、图片数据、视频数据和生产厂家数据；所述公告政策管理模块用于针对超级管理员和普通管理员，完成生产共享数据的管理功能；所述系统管理模块用于针对超级管理员完成对系统用户添加或权限修改的管理功能；进一步，该系统的构架层次包括表示层、业务逻辑层、数据层和数据资源层；所述表示层为用于界面，其采用ExJS和JQuery类库信息开发，通过Ajax与服务器端交互；所述业务逻辑层包括web服务器、以及数据共享管理所需的数据查询共享构件和用户权限构件；所述数据层用于向业务逻辑层提供底层数据库统一范围的接口；所述数据资源层集成异构数据源用于向上层提供数据；进一步，所述生产数据共享模块针对普通用户提供以下四种检索方式：机械种类检索机械设备、根据功能检索机械设备、根据生产厂家检索机械设备和高级检索；进一步，本系统的数据通过上传Excel文件来维护机械数据，后台语言采用python，数据库采用MongoDB。本专利技术的有益效果：本专利技术的基于NoSQL的生产实时海量数据处理系统，将NoSQL数据库MongoDB代替传统关系型数据在数据共享平台中的应用，利用MongoDB无“关系”的特点，提高数据共享平台数据录入以及查询的效率，同时在研究了机械设备数据的特点的基础上，应用Python语言的web.py框架和非关系型数据库MongoDB，解决了生产数据格式复杂的问题，实现机械设备的发布和交互式使用，并可以有效整合相关生产数据。附图说明下面结合附图和实施例对本专利技术作进一步描述。图1为本专利技术的功能模块结构图；图2为本专利技术的平台体系结构图；具体实施方式图1为本专利技术的功能模块结构图，如图所示：本实施例的基于NoSQL的生产实时海量数据处理系统，其包括四大功能模块，生产数据导入模块、生产数据共享模块、公告政策管理模块、系统管理模块，图1为详细的功能模块划分。生产数据导入模块为系统提供数据来源。普通管理员主要完成生产数据的添加、修改和删除功能。普通管理员首先需要将相关生产数据录入到数据库中，可以采用手动录入和文件导入的方式；手动录入就是普通管理员点击添加数据按钮之后，逐项添加需要录入的信息，适合数据量较少的情况；文件导入方式是普通管理员点击导入excel文件按钮之后，通过上传excel文件，一次添加大量数据，该方法适合数据量比较大，手动录入方式已经不再适用的情况。超级管理员主要任务是对添加的数据进行审核，审核未通过时，需要普通管理员重新录入新的数据，审核通过之后，该数据就可以被检索到。同时超级管理员还有创建用户和修改权限的权利。生产数据共享模块主要针对普通用户完成整个数据共享的流程和各项信息的查看。普通用户第一步是确定数据检索的策略，一共有四种检索策略，根据机械种类检索机械设备、根据功能检索机械设备、根据生产厂家检索机械设备和高级检索，在选择完检索策略之后，输入相关检索条件之后，提交。普通用户会得到该检索条件的结果列表，列表展示该类一般生产信息，点击一条生产数据的查看详细之后，会得到该条生产数据的详细信息，包括机械特性数据、图片数据、视频数据、生产厂家数据等。公告政策管理模块主要针对超级管理员和普通管理员，主要完成生产共享数据平台门户新闻等内容的管理功能。超级管理员或普通管理员登录管理平台，在文章管理栏目中选择需要更新的文章类型，如行业资讯、政策法规等，点击添加按钮之后，出现添加文章信息的页面，在该页面上填写文章标题、添加日期以及文章的具体内容和图片信息，最后点击提交，添加到数据库之中。同时超级管理员或普通管理员还可以对文章进行删除和修改操作，具体步骤类似于添加操作。系统管理模块主要针对超级管理员，主要完成对系统用户添加或权限修改的管理功能。超级管理员可以利用该模块，通过登录管理平台，选择系统管理栏，在相应的页面中选择创建用户或者更改权限。本系统的平台采用的是p本文档来自技高网...

【技术保护点】
1.一种基于NoSQL的生产实时海量数据处理系统，其特征在于：包括生产数据导入模块、生产数据共享模块、公告政策管理模块和系统管理模块；所述生产数据导入模块为系统提供数据来源，通过管理员将相关生产数据录入到数据库中，并通过超级管理员对添加的数据进行审核，审核未通过时，需要普通管理员重新录入新的数据，审核通过之后，该数据就可以被检索到；所述生产数据共享模块用于针对普通用户完成整个数据共享的流程和各项生产信息的查看，所述生产包括生产特性数据、图片数据、视频数据和生产厂家数据；所述公告政策管理模块用于针对超级管理员和普通管理员，完成生产共享数据的管理功能；所述系统管理模块用于针对超级管理员完成对系统用户添加或权限修改的管理功能。

【技术特征摘要】
1.一种基于NoSQL的生产实时海量数据处理系统，其特征在于：包括生产数据导入模块、生产数据共享模块、公告政策管理模块和系统管理模块；所述生产数据导入模块为系统提供数据来源，通过管理员将相关生产数据录入到数据库中，并通过超级管理员对添加的数据进行审核，审核未通过时，需要普通管理员重新录入新的数据，审核通过之后，该数据就可以被检索到；所述生产数据共享模块用于针对普通用户完成整个数据共享的流程和各项生产信息的查看，所述生产包括生产特性数据、图片数据、视频数据和生产厂家数据；所述公告政策管理模块用于针对超级管理员和普通管理员，完成生产共享数据的管理功能；所述系统管理模块用于针对超级管理员完成对系统用户添加或权限修改的管理功能。2.根据权利要求1所述的基于NoSQL的生产实时海量数据处理系统，其特征在于：该系统的构架层...

【专利技术属性】
技术研发人员：陈阳，
申请(专利权)人：广州绿源信息科技有限公司，广东松科智能科技有限公司，
类型：发明
国别省市：广东,44