基于大数据平台的数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种基于大数据平台的数据处理方法和装置，该数据处理方法包括：根据用户发送的访问请求信息，记录用户的访问行为及访问数据；对记录的访问行为及访问数据进行分析，并根据分析结果对访问行为进行安全等级划分；根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。本发明专利技术通过记录用户的访问请求信息并分析用户的访问请求信息，对用户的访问请求情况进行安全等级划分，并根据预先设定的安全策略对不同的用户请求进行相应的处理，解决了大数据平台的数据结构复杂性导致系统安全性低的问题。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种基于大数据平台的数据处理方法和装置，该数据处理方法包括：根据用户发送的访问请求信息，记录用户的访问行为及访问数据；对记录的访问行为及访问数据进行分析，并根据分析结果对访问行为进行安全等级划分；根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。本专利技术通过记录用户的访问请求信息并分析用户的访问请求信息，对用户的访问请求情况进行安全等级划分，并根据预先设定的安全策略对不同的用户请求进行相应的处理，解决了大数据平台的数据结构复杂性导致系统安全性低的问题。【专利说明】基于大数据平台的数据处理方法和装置
本专利技术设及数据处理领域，具体来说，设及一种基于大数据平台的数据处理方法 和装置。
技术介绍
信息技术的飞速发展迎来了大数据时代，数据越来越成为国家和企业的战略资 产。大数据是近年来兴起的一种新型计算模式，大数据技术也在各个行业和领域得到了广 泛的应用。当用户建立起了大数据平台后，由于数据的集中和数据的重要性，对于数据访问 的行为管理员需要直观的掌握，并对关键的敏感信息访问能够实施控制，W保障核屯、数据 的安全性。 而当前主流的大数据软件并没有提供完善的数据安全防护措施，只有基本的数据 读写功能。一旦用户能够访问大数据平台，几乎就可W获取所有数据。 目前大数据技术处于起步阶段，由于大数据平台的数据结构复杂性，并没有足够 完善的数据安全防护措施，如果用户进入数据库中，而该些数据中对于某些用户是不应该 能够使用，或者过度使用的，该就给系统带来了极大的安全隐患。 针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中的问题，本专利技术提出一种基于大数据平台的数据处理方法和装 置，能够大大提高大数据平台数据的安全性。 本专利技术的技术方案是该样实现的： [000引根据本专利技术的一个方面，提供了一种基于大数据平台的数据处理方法。 该数据处理方法，包括： 根据用户发送的访问请求信息，记录用户的访问行为及访问数据； 对记录的访问行为及访问数据进行分析，并根据分析结果对访问行为进行安全等 级划分； 根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安 全等级对应的安全策略。 其中，大数据平台由多个不同的数据处理平台并行组成。 其中，根据用户发送的访问请求信息，记录用户的访问行为及访问数据，进一步包 括： 将用户的访问请求转换成与构成大数据平台的数据处理平台相对应的请求格式。 其中，安全策略包括W下至少之一： 记录日志、发送告警、阻断访问； 其中，发送告警包括记录日志的处理行为，阻断包括发送告警和记录日志的处理 行为。 其中，在当前访问行为为安全的情况下，将用户所要访问的数据发送至客户端，并 记录用户的访问数据及访问日志； 在当前访问行为为告警的情况下，向监控服务器发送告警，并记录用户的访问数 据及访问日志； 在当前访问行为为危险的情况下，阻断当前用户的访问请求，并向监控服务器发 送告警，同时记录用户的访问数据及访问日志。 根据本专利技术的另一方面，提供了一种基于大数据平台的数据处理装置，该数据处 理装置包括： 记录模块，用于根据用户发送的访问请求信息，记录用户的访问行为及访问数 据； 分析模块，用于对记录的访问行为及访问数据进行分析； 划分模块，用于根据分析模块的分析结果对访问行为进行安全等级划分； 处理模块，用于根据预先设定的安全策略与当前访问行为的安全等级执行与当前 访问行为的安全等级对应的安全策略。 其中，大数据平台由多个不同的数据处理平台并行组成。 [002引此外，记录模块进一步包括： 格式转换单元，用于将用户的访问请求转换成与构成大数据平台的数据处理平台 相对应的请求格式。 其中，安全策略包括W下至少之一： 记录日志、发送告警、阻断访问； 其中，发送告警包括记录日志的处理行为，阻断包括发送告警和记录日志的处理 行为。 此外，该数据处理装置还可W包括： 第一发送模块，用于在当前访问行为为安全的情况下，将用户所要访问的数据发 送至客户端； 记录模块进一步用于，记录用户的房屋内数据及访问日志； 第二发送模块用于，在当前访问行为为告警的情况下，向监控服务器发送告警； 阻断模块，用于在当前访问行为为危险的情况下，阻断当前用户的访问请求。 [003引本专利技术通过记录用户的访问请求信息并分析用户的访问请求信息，对用户的访问 请求情况进行安全等级划分，并根据预先设定的安全策略对不同的用户请求进行相应的处 理，并且由于大数据平台的数据结构复杂性本专利技术通过对访问行为进行安全等级划分，实 现了根据不同的用户访问信息只能访问自己权限范围内的数据，从而大大提高了大数据平 台的安全性。 【专利附图】【附图说明】 为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根据该些附图获 得其他的附图。 图1是根据本专利技术实施例的基于大数据平台的数据处理方法的流程图； 图2是根据本专利技术实施例的基于大数据平台的数据处理方法的示意性流程图； 图3是根据本专利技术实施例的软件架构示意图； 图4是根据本专利技术实施例的硬件架构示意图； 图5是根据本专利技术实施例的基于大数据平台的数据处理装置的框图。 【具体实施方式】 下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于 本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的 范围。 根据本专利技术的实施例，提供了一种基于大数据平台的数据处理方法，其中，大数据 处理平台由多个不同和/或相同的数据处理平台组成，比如可W有hadoop平台和nosql数 据库W及其他分布式并行数据库组合构成。 如图1所示，根据本专利技术实施例的基于大数据平台的数据处理方法，包括： 步骤S101，根据用户发送的访问请求信息，记录用户的访问行为及访问数据； 步骤S103,对记录的访问行为及访问数据进行分析，并根据分析结果对访问行为 进行安全等级划分； 步骤S105,根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问 行为的安全等级对应的安全策略。 其中，在对用户的访问行为及访问数据进行记录时，同时将用户的访问请求转换 成与构成大数据平台的数据处理平台相对应的请求格式，比如用户需要访问hadoop组件 的数据，则将访问请求转换成与hadoop平台相对应的请求格式。 其中，安全策略包括W下至少之一： 记录日志、发送告警、阻断访问； 其中，发送告警包括记录日志的处理行为，阻断包括发送告警和记录日志的处理 行为。 比如，在当前访问行为为安全的情况下，安全策略为记录日志，则将用户所要访问 的数据发送至客户端，并记录用户的访问数据及访问日本文档来自技高网...

【技术保护点】
一种基于大数据平台的数据处理方法，其特征在于，包括：根据用户发送的访问请求信息，记录所述用户的访问行为及访问数据；对记录的所述访问行为及访问数据进行分析，并根据分析结果对所述访问行为进行安全等级划分；根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。

【技术特征摘要】

【专利技术属性】
技术研发人员：郭庆，班军成，解元，谢莹莹，徐学辉，
申请(专利权)人：无锡城市云计算中心有限公司，
类型：发明
国别省市：江苏;32