数据处理方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术涉及大数据领域，提供一种数据处理方法，包括：获取业务数据；将业务数据写入关系型数据库和分布式数据库；使用分布式数据库对业务数据进行统计，获得统计数据，以及使用关系型数据库对业务数据进行查询，获得明细数据；对统计数据中的敏感信息进行处理，获得隐藏数据；生成第一访问密钥；将隐藏数据、明细数据以及第一访问密钥进行组合，获得查询数据，将查询数据发送至前端设备；当接收到第二访问秘钥时，校验第二访问秘钥的有效性；当校验有效时，控制输出敏感信息。本发明专利技术可应用于智慧政务、智慧安防、智慧交通、智慧物流、智慧社区、智慧财政、智慧生活等需要进行大数据处理的领域，从而推动智慧城市的发展。

【技术实现步骤摘要】
数据处理方法、装置、服务器及存储介质
本专利技术涉及大数据
，尤其涉及一种数据处理方法、装置、服务器及存储介质。
技术介绍
随着业务的发展，产生了越来越多的业务数据，经常需要对业务数据进行查询以及统计分析。然而，由于业务数据不仅数量巨大，而且还会随着业务的变更而实时发生变化，使得业务数据在查询时速度较慢，同时，在查询时无法进行实时的统计分析。因此，如何实现对海量的数据进行高效地实时统计分析是一个亟待解决的技术问题。
技术实现思路
鉴于以上内容，有必要提供一种数据处理方法、装置、服务器及存储介质，能够实现对海量的数据进行高效地实时统计分析。本专利技术的第一方面提供一种数据处理方法，所述数据处理方法包括：获取业务数据；将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库；使用所述分布式数据库对所述业务数据进行统计，获得统计数据，以及使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据；对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据；生成包括所述敏感信息的第一访问密钥；将所述隐藏数据，所述明细数据以及所述第一访问密钥进行组合，获得查询数据，并将所述查询数据发送至前端设备；当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性；当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。在一种可能的实现方式中，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：若所述数据类型为离线数据，将所述业务数据写入分布式文件系统HDFS；向所述分布式数据库发送数据写入请求；从所述HDFS中下载所述业务数据至所述分布式数据库中。在一种可能的实现方式中，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：若所述数据类型为实时流数据，将所述业务数据写入分布式发布订阅消息系统；向所述分布式数据库发送数据写入请求；从所述分布式发布订阅消息系统中消费所述业务数据并将所述业务数据写入在所述分布式数据库中。在一种可能的实现方式中，所述生成包括所述敏感信息的第一访问密钥包括：获取前端设备的登录用户的用户标识，以及获取所述敏感信息的信息类型标识；根据所述用户标识和所述信息类型标识，生成第一签名；对所述第一签名进行加密，生成包含所述敏感信息的第一访问密钥。在一种可能的实现方式中，所述将所述隐藏数据、所述明细数据以及所述第一访问密钥进行组合，获得查询数据包括：获取所述业务数据的业务类型；根据所述业务类型，从预先设置的多个预设模板中确定与所述业务类型匹配的业务模板；按照所述业务模板，对所述隐藏数据以及所述明细数据进行组合；将组合后的数据以及所述第一访问密钥确定为查询数据。在一种可能的实现方式中，所述根据所述第一访问秘钥，校验所述第二访问秘钥的有效性包括：对所述第二访问密钥进行解密，获得第二签名；判断所述第二签名与所述第一访问秘钥中的第一签名是否一致；若所述第二签名与所述第一访问秘钥中的第一签名一致，确定所述第二访问秘钥有效。在一种可能的实现方式中，所述的数据处理方法还包括：将所述敏感信息上传至区块链上。本专利技术的第二方面提供一种数据处理装置，所述数据处理装置包括：获取模块，用于获取业务数据；写入模块，用于将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库；统计模块，用于使用所述分布式数据库对所述业务数据进行统计，获得统计数据；查询模块，用于使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据；隐藏模块，用于对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据；生成模块，用于生成包括所述敏感信息的第一访问密钥；组合模块，用于将所述隐藏数据，所述明细数据以及所述第一访问密钥进行组合，获得查询数据；传输模块，用于将所述查询数据发送至前端设备；校验模块，用于当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性；控制模块，用于当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。本专利技术的第三方面提供一种服务器，所述服务器包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的数据处理方法。本专利技术的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的数据处理方法。由以上技术方案可知，本专利技术可应用在智慧建筑、智慧政务、智慧医疗、智慧安防、智慧交通、智慧物流、智慧家居、智慧社区、智慧财政、智慧法律、智慧生活等需要进行大数据处理的领域，从而推动智慧城市的发展。本专利技术中，利用关系型数据库以及分布式数据库进行数据查询，充分结合了关系型数据库查询数据明细的优势以及分布式数据库高效统计数据的优势，能够对海量数据高效地进行实时统计和分析，同时，对数据进行隐藏处理以及在数据传输过程中添加访问密钥，以避免数据在传输过程中被篡改，同时，确保数据的安全性。附图说明图1是本专利技术公开的一种数据处理方法的较佳实施例的流程图。图2是本专利技术公开的一种基于区块链的数据处理装置的较佳实施例的功能模块图。图3是本专利技术实现数据处理方法的较佳实施例的服务器的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是，在本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述数据处理方法包括：/n获取业务数据；/n将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库；/n使用所述分布式数据库对所述业务数据进行统计，获得统计数据，以及使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据；/n对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据；/n生成包括所述敏感信息的第一访问密钥；/n将所述隐藏数据、所述明细数据以及所述第一访问密钥进行组合，获得查询数据，并将所述查询数据发送至前端设备；/n当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性；/n当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括：
获取业务数据；
将所述业务数据写入关系型数据库，以及根据所述业务数据的数据类型，将所述业务数据写入分布式数据库；
使用所述分布式数据库对所述业务数据进行统计，获得统计数据，以及使用所述关系型数据库对所述业务数据进行查询，获得每页展示的明细数据；
对所述统计数据中的敏感信息进行隐藏处理，获得隐藏数据；
生成包括所述敏感信息的第一访问密钥；
将所述隐藏数据、所述明细数据以及所述第一访问密钥进行组合，获得查询数据，并将所述查询数据发送至前端设备；
当接收到所述前端设备返回的第二访问秘钥时，根据所述第一访问秘钥，校验所述第二访问秘钥的有效性；
当校验所述第二访问秘钥有效时，控制所述前端设备输出隐藏的所述敏感信息。


2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：
若所述数据类型为离线数据，将所述业务数据写入分布式文件系统HDFS；
向所述分布式数据库发送数据写入请求；
从所述HDFS中下载所述业务数据至所述分布式数据库中。


3.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述业务数据的数据类型，将所述业务数据写入分布式数据库包括：
若所述数据类型为实时流数据，将所述业务数据写入分布式发布订阅消息系统；
向所述分布式数据库发送数据写入请求；
从所述分布式发布订阅消息系统中消费所述业务数据并将所述业务数据写入在所述分布式数据库中。


4.根据权利要求1所述的数据处理方法，其特征在于，所述生成包括所述敏感信息的第一访问密钥包括：
获取前端设备的登录用户的用户标识，以及获取所述敏感信息的信息类型标识；
根据所述用户标识和所述信息类型标识，生成第一签名；
对所述第一签名进行加密，生成包含所述敏感信息的第一访问密钥。


5.根据权利要求1所述的数据处理方法，其特征在于，所述将所述隐藏数据、所述明细数据以及所述第一访问密钥进行组合，获得查询数据包括：
获取所述业务数据的业务类型；
根...

【专利技术属性】
技术研发人员：邹定斌，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44