数据处理平台及方法技术

本发明专利技术提供一种数据处理平台，包括信息采集系统，数据清洗与整合系统，数据分析系统，共享数据中心系统和用户端，所述信息采集系统、所述数据清洗与整合系统和数据分析系统均与共享数据中心系统相连接，所述用户端与共享数据中心系统连接，用户通过所述用户端调用、查看共享数据中心系统的数据。还提供了一种数据处理方法，包括数据采集、数据清洗、数据统计、数据分析、数据挖掘和数据共享步骤。本发明专利技术通过对信息资源的采集、处理、统计、分析、挖掘等来智能化高校信息系统并为高校决策提供支持，达到信息系统智能提高，领导决策数据支撑，员工工作效率提升，学生学习轻松便捷的效果。

【技术实现步骤摘要】
数据处理平台及方法
本专利技术属于计算机
，具体涉及一种数据处理平台及方法。
技术介绍
随着互联网的快速发展与迅速普及，众多学校已经搭建起了自己的信息化系统，信息资源已成为信息时代重要的资源。信息资源会占用学校的网络资源，同时信息资源也是非常宝贵的资源，资源不加以利用就是浪费。在这种情况下，高校迫切的需要对信息系统上的用户行为进行采集及分析。现有的系统由于缺乏统一标准无法提供信息数据交换的功能，这使得某些数据需要跨部门使用时，还依赖于电子邮件等方式的传递。这种低效率的信息共享方式无法满足各部门及时获取需要其他部门信息的需求，同时也无法进行跨应用的业务流程系统建设。因此，需要建立数据处理平台，实现校园数据的共建共享，协同发展。
技术实现思路
为了解决上述问题，本专利技术提供一种数据处理平台，实现信息的标准化处理，为智能化信息校园提供一个数据共享平台。本专利技术技术方案如下：一种数据处理平台，包括：信息采集系统：对用户行为进行数据采集；数据清洗与整合系统：将不规范的数据源通过整合，转化成规范的数据，以保证数据的准确；数据分析系统：分析用户数据信息；共享数据中心系统：将各种结构化数据生成数据库表保存，并统一管理，也是数据交换平台；用户端：用户访问数据的端口；所述信息采集系统、所述数据清洗与整合系统、数据分析系统均与共享数据中心系统相连接，所述用户端与共享数据中心系统连接，用户通过所述用户端调用、查看共享数据中心系统的数据。进一步地，所述数据分析系统包括报表分析模块、OLAP(On-lineAnalyticalProcessing)分析模块、数据挖掘模块。进一步地，所述信息采集系统包括选课信息采集模块、图书借阅信息采集模块、食堂消费信息采集模块、出勤信息采集模块。进一步地，所述共享数据中心系统包括：(1)表管理模块：可以轻松地完成数据库表的增加、查询、导出、删除和修改；(2)数据子集模块：可以随时灵活地修改、增加和删除子集，以方便地将数据库表分配到其中的某个数据子集中；(3)权限管理：用户访问数据中心，对数据中心库表的权限管理；(4)数据库管理模块：包括数据库备份、恢复、初始化及监控功能；(5)日志模块：将成员的操作情况生成日志，管理员可以很方便地了解情况，方便管理。上述数据处理平台的数据处理方法，包括以下步骤：(1)数据采集；(2)数据清洗；(3)数据统计；(4)数据分析；(5)数据挖掘；(6)数据共享。本专利技术的有益效果：1、本专利技术对各业务应用用户行为进行监控的功能，能够对用户行为进行智能化的采集，并对采集的用户行为进行智能化分析，使得平台智能的满足用户的个性化需求。同时提供智能分析模块，为应用系统之间的智能化提供数据支撑。2、通过对信息资源的采集、处理、统计、分析、挖掘等来智能化高校信息系统并为高校决策提供支持，达到信息系统智能提高，领导决策数据支撑，员工工作效率提升，学生学习轻松便捷的效果。附图说明图1为本专利技术的结构示意图。图2为本专利技术中数据处理流程示意图。具体实施方式下面将结合附图，对本专利技术的技术方案进行进一步的描述。一种数据处理平台，包括：信息采集系统1：对用户行为进行数据采集；数据清洗与整合系统2：将不规范的数据源通过整合，转化成规范的数据，以保证数据的准确；数据分析系统3：分析用户数据信息；共享数据中心系统4：将各种结构化数据生成数据库表保存，并统一管理，也是数据交换平台；用户端5：用户访问数据的端口；所述信息采集系统、所述数据清洗与整合系统和数据分析系统均与共享数据中心系统相连接，所述用户端与共享数据中心系统连接，用户通过所述用户端调用、查看共享数据中心系统的数据。数据清洗与整合系统实现共享数据中心系统的数据采集与分发，提供对被交换信息进行清洗、转换、装载入库等数据交换服务，即清理脏数据，完成对数据的整理，确保数据一致性、完整性和正确性。所述数据分析系统包括报表分析模块301、OLAP(On-lineAnalyticalProcessing)分析模块302、数据挖掘模块303。所述信息采集系统包括选课信息采集模块101、图书借阅信息采集模块102、食堂消费信息采集模块103、出勤信息采集模块104。利用选课信息采集模块，对以往学生的选课信息进行统计分析，方便学校提前预测选修课程报名人数，还可根据图书借阅信息采集模块采集到的信息，系统自动推荐适合学生兴趣爱好的选修课程。利用图书借阅信息采集模块对师生的阅读行为进行数据采集和处理，从而分析出师生的阅读行为习惯。通过对数据的分析，不仅可以推荐相关图书，还可为购书清单提供决策支持。利用食堂消费信息采集模块对师生的就餐习惯进行统计分析，食堂和商店根据学生消费习惯和行为，及时调整商品品类和食堂菜谱。所述共享数据中心系统包括：(1)表管理模块401：可以轻松地完成数据库表的增加、查询、导出、删除和修改；(2)数据子集模块402：可以随时灵活地修改、增加和删除子集，以方便地将数据库表分配到其中的某个数据子集中；(3)权限管理403：用户访问数据中心，对数据中心库表的权限管理；基于角色的访问控制(RBAC)机制，可以灵活地定义角色、用户和相应的权限，保证数据访问的安全。只有相关授权的用户，才可以进行对应的管理操作。(4)数据库管理模块404：包括数据库备份、恢复、初始化及监控功能；(5)日志模块405：将成员的操作情况生成日志，管理员可以很方便地了解情况，方便管理。其中，数据库的监控以图表的形式直观的展示公共数据中心库表使用情况、资源占用情况等。共享数据中心系统基于严密的安全规范，实现对元数据的管理、数据模型管理、数据中心监管等功能。上述数据处理平台的数据处理方法，包括以下步骤：(1)数据采集S1；(2)数据清洗S2；(3)数据统计S3；(4)数据分析S4；(5)数据挖掘S5；(6)数据共享S6。本专利技术具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，简单易用，使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。本专利技术采取多维立方体技术和数据预处理技术沉淀数据，系统对用户查询的响应都在毫秒级别，不管是查询全年的数据，还是细化到每天的数据，系统都能及时响应。本文中应用了具体实施例对本专利技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本专利技术的方法及其核心思想。以上所述仅是本专利技术的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本
的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将专利技术的构思和技术方案直接应用于其它场合的，均应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种数据处理平台，其特征在于，包括：信息采集系统：对用户行为进行数据采集；数据清洗与整合系统：将不规范的数据源通过整合，转化成规范的数据，以保证数据的准确；数据分析系统：分析用户数据信息；共享数据中心系统：将各种结构化数据生成数据库表保存，并统一管理，也是数据交换平台；用户端：用户访问数据的端口；所述信息采集系统、所述数据清洗与整合系统和数据分析系统均与共享数据中心系统相连接，所述用户端与共享数据中心系统连接，用户通过所述用户端调用、查看共享数据中心系统的数据。

【技术特征摘要】
1.一种数据处理平台，其特征在于，包括：信息采集系统：对用户行为进行数据采集；数据清洗与整合系统：将不规范的数据源通过整合，转化成规范的数据，以保证数据的准确；数据分析系统：分析用户数据信息；共享数据中心系统：将各种结构化数据生成数据库表保存，并统一管理，也是数据交换平台；用户端：用户访问数据的端口；所述信息采集系统、所述数据清洗与整合系统和数据分析系统均与共享数据中心系统相连接，所述用户端与共享数据中心系统连接，用户通过所述用户端调用、查看共享数据中心系统的数据。2.根据权利要求1所述的数据处理平台，其特征在于：所述数据分析系统包括报表分析模块、CLAP分析模块、数据挖掘模块。3.根据权利要求1所述的数据处理平台，其特征在于：所述信息采集系统包括选课信息采集模块、图书借阅信...

【专利技术属性】
技术研发人员：隆承志，
申请(专利权)人：广州数园网络有限公司，
类型：发明
国别省市：广东,44