大数据分析系统、服务器、数据处理方法和存储介质技术方案

技术编号:19857619 阅读:26 留言:0更新日期:2018-12-22 11:43
本发明专利技术公开一种大数据分析系统、服务器、数据处理方法和存储介质。本发明专利技术大数据分析系统包括客户端、服务器及多个数据处理引擎。其中服务器用于识别信息片段中是否包含调用标识信息;当识别到调用标识信息时,将所述信息片段发送给对应的待调用数据处理引擎进行数据处理,并接收返回的数据处理结果。相较于现有技术,本发明专利技术大数据分析系统集成了多个数据处理引擎,为用户提供一个统一的交互入口,简化了用户的操作。

【技术实现步骤摘要】
大数据分析系统、服务器、数据处理方法和存储介质
本专利技术涉及计算机
,特别涉及一种大数据分析系统、服务器、数据处理方法和存储介质。
技术介绍
随着科技的快速发展,各行各业需要处理的数据量日益庞大,传统的数据处理已无法适应人们的需求。大数据技术的产生解决了这一问题,例如,利用存储引擎对数据进行分布式存储,扩展性好、容错性高,利用计算引擎进行并行计算,提高了计算速度及性能。随着大数据技术的发展,产生了大量的存储引擎及计算引擎,每个存储引擎或计算引擎均提供单独的访问入口,当需要运用多个存储引擎或计算引擎进行大数据处理时,往往需要逐一的访问多个存储引擎或计算引擎的入口,操作繁琐。如何构建一个集成多个计算引擎及存储引擎的大数据分析平台以为用户提供统一的的交互式入口已成为一个亟待解决的问题。
技术实现思路
本专利技术的主要目的是提供一种大数据分析系统、服务器、数据处理方法和存储介质,旨在解决如何构建一个集成多个计算引擎及存储引擎的大数据分析平台并为用户提供统一的交互式入口的问题。为实现上述目的,本专利技术提出一种大数据分析系统,所述大数据分析系统包括客户端、服务器及多个数据处理引擎,所述服务本文档来自技高网...

【技术保护点】
1.一种大数据分析系统,其特征在于,所述大数据分析系统包括客户端、服务器及多个数据处理引擎,所述服务器分别与所述客户端及各个所述数据处理引擎通信连接,其中:所述客户端用于向所述服务器发送携带预设类型信息的操作请求,并接收所述服务器返回的针对所述操作请求的响应结果数据;所述服务器包括存储器和处理器,所述存储器上存储有数据处理程序,所述数据处理程序被所述处理器执行时实现如下步骤:接收步骤:接收所述客户端发送的携带预设类型信息的操作请求,所述预设类型信息包括至少一个信息片段;读取步骤:读取所述预设类型信息中的信息片段,并识别所述信息片段中是否包含调用标识信息;第一执行步骤:当在一信息片段中识别到所述...

【技术特征摘要】
1.一种大数据分析系统,其特征在于,所述大数据分析系统包括客户端、服务器及多个数据处理引擎,所述服务器分别与所述客户端及各个所述数据处理引擎通信连接,其中:所述客户端用于向所述服务器发送携带预设类型信息的操作请求,并接收所述服务器返回的针对所述操作请求的响应结果数据;所述服务器包括存储器和处理器,所述存储器上存储有数据处理程序,所述数据处理程序被所述处理器执行时实现如下步骤:接收步骤:接收所述客户端发送的携带预设类型信息的操作请求,所述预设类型信息包括至少一个信息片段;读取步骤:读取所述预设类型信息中的信息片段,并识别所述信息片段中是否包含调用标识信息;第一执行步骤:当在一信息片段中识别到所述调用标识信息时,将所述信息片段发送给对应的待调用数据处理引擎进行数据处理,并获取所述信息片段对应的第一响应结果数据;第二执行步骤:当在一信息片段中未识别到所述调用标识信息时,基于所述信息片段执行所述操作请求对应的操作,并将操作结果作为所述信息片段对应的第二响应结果数据;反馈步骤:将所述预设类型信息中所有信息片段对应的第一响应结果数据和/或第二响应结果数据作为所述操作请求对应的响应结果数据返回至所述客户端;所述数据处理引擎用于接收所述服务器发送的所述信息片段,根据所述信息片段进行数据处理,并返回数据处理结果至服务器。2.如权利要求1所述的大数据分析系统,其特征在于,所述操作请求中还包括用户标识信息;所述数据处理程序被所述处理器执行时,在所述读取步骤之前还实现如下步骤:根据预先确定的用户标识信息与用户角色信息之间的映射关系,查询所述操作请求中的用户标识信息对应的用户角色信息;根据预先确定的用户角色信息与操作权限集合之间的映射关系,查询所述用户对应的操作权限集合;根据所述用户对应的操作权限集合、所述操作请求对应的操作及预设类型信息,判断所述用户是否具备所述操作请求对应的操作的操作权限;当所述用户具备所述操作请求对应的操作的操作权限时,跳转至所述读取步骤;当所述用户不具备所述操作请求对应的操作的操作权限时,将执行失败的响应结果数据反馈至客户端。3.如权利要求1所述的大数据分析系统,其特征在于,所述操作请求中还包括用户标识信息;所述第一执行步骤包括:确定步骤:当在一信息片段中识别到所述调用标识信息时,根据预先确定的调用标识信息与数据处理引擎之间的映射关系,确定识别到的所述调用标识信息对应的待调用数据处理引擎;查询步骤:根据预先确定的用户标识信息与资源配置信息之间的映射关系,查询所述操作请求中的用户标识信息对应的资源配置信息;判断步骤:根据查询到的所述资源配置信息及预先确定的判断规则,判断是否调用所述待调用数据处理引擎;第三执行步骤:当判定调用所述待调用数据处理引擎时,将所述调用标识信息对应的信息片段发送至所述待调用数据处理引擎进行数据处理,并接收所述数据处理引擎返回的数据处理结果作为所述信息片段对应的第一响应结果数据;输出步骤:当判定不调用所述待调用数据处理引擎时,输出所述信息片段对应的第一响应结果数据为执行失败。4.如权利要求3所述的大数据分析系统,其特征在于,所述判断步骤包括:根据查询到的所述资源配置信息中的调用权限信息,判断用户是否具备调用所述待调用数据处理引擎的权限;当用户具备调用所述待调用数据处理引擎的权限时,将所述资源配置信息中所述待调用数据处理引擎对应的鉴权信息发送至所述待调用数据处理引擎进行用户鉴权,并接收所述待调用数据处理引擎返回的鉴权结果,当所述鉴权结果为鉴权成功时,判定调用所述待调用数据处理引擎,或,当所述鉴权结果为鉴权失败时,判定不调用所述待调用数据处理引擎;当用户不具备调用所述待调用数据处理引擎的权限时,判定不调用所述待调用数据处理引擎。5.一种数据处...

【专利技术属性】
技术研发人员:蒋英明冯朝阁贺波邓杰唐浚洲
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1