当前位置: 首页 > 专利查询>西门子公司专利>正文

大数据处理方法、装置及系统和机器可读介质制造方法及图纸

技术编号:19647044 阅读:27 留言:0更新日期:2018-12-05 20:31
本发明专利技术提供了大数据处理方法、装置及系统和机器可读介质,该大数据处理方法包括:接收大数据处理请求,所述大数据处理请求用于请求对一项大数据进行处理;根据所述大数据处理请求,从所述大数据的存储设备获取所述大数据;根据所述大数据处理请求,确定对所述大数据进行处理的处理逻辑;根据所述处理逻辑,从一个R服务库中调用至少一个R服务;通过所述至少一个R服务对所述大数据进行处理,获取处理结果。该大数据处理装置包括:一个请求接收模块、一个数据获取模块、一个请求解析模块、一个服务调用模块和一个数据处理模块。本方案能够提高大数据处理结果的准确性。

Large Data Processing Methods, Devices and Systems and Machine Readable Media

The invention provides a large data processing method, device and system, and a machine readable medium. The large data processing method includes: receiving a large data processing request, the large data processing request for processing a large data, and acquiring the said large data storage device according to the large data processing request. Large data; according to the large data processing request, the processing logic for processing the large data is determined; according to the processing logic, at least one R service is invoked from a R service library; and the large data is processed by the at least one R service to obtain the processing results. The large data processing device includes a request receiving module, a data acquisition module, a request parsing module, a service invocation module and a data processing module. This scheme can improve the accuracy of large data processing results.

【技术实现步骤摘要】
大数据处理方法、装置及系统和机器可读介质
本专利技术涉及大数据
,尤其涉及大数据处理方法、装置及系统和机器可读介质。
技术介绍
大数据(BigData)为数据的集合,通常数据量较大,可用于实现对特定领域的发展趋势、行为模式等进行分析。通过对大数据进行分析,可以获得智能、深入且有价值的信息,因此大数据分析广泛应用于人工智能、市场分析、产品优化等领域。R语言是一种用于统计计算和统计制图的工具,能够用于大数据分析。目前,在利用R语言对大数据进行分析时,R语言调用大数据,从大数据中抽取有限数量的数据样本,通过对所抽取的数据样本进行分析获得处理模型,进而利用获得的处理模型对大数据进一步分析获得分析结果。针对上述对大数据进行处理的方法,由于处理模型通过对有限数量的数据样本分析获得,而有限数量的数据样本并不能完全反映待处理的大数据的数据规律,因此通过有限数量的数据样本所获得的处理模型会存在一定误差,通过存在误差的处理模型对大数据进行处理,会导致大数据处理结果的准确性较低。
技术实现思路
有鉴于此,本专利技术提供的大数据处理方法、装置及系统和计算机可读介质,能够提高大数据处理结果的准确性。第一方面,本专利技术实施例提供了一种大数据处理方法,包括:接收请求对一项大数据进行处理的大数据处理请求后,根据大数据处理请求从大数据的存储设备获取大数据,并根据大数据处理请求确定对大数据进行处理的处理逻辑。根据处理逻辑从一个R服务库中调用至少一个R服务,通过调用的至少一个R服务对大数据进行处理,获取处理结果。根据大数据的处理逻辑调用至少一个R服务,通过调用的至少一个R服务直接对大数据进行处理获得处理结果。由于无需从大数据中抽取数据样本形成处理模型,利用获得的处理模型对大数据进行处理而获得处理结果,避免了由于有限数量数据样本所形成处理模型存在误差,导致大数据处理结果准确性较低的情况出现。因此,通过大数据调用R服务,通过R服务直接对大数据进行处理,可以提高大数据处理结果的准确性。可选地,在根据处理逻辑从一个R服务库中调用至少一个R服务时,根据处理逻辑,确定对大数据进行处理时所包括的至少一个处理步骤,从R服务库中依次调用用于实现至少一个处理步骤中的每一个处理步骤的R服务。R服务库中包括有多个R服务,每个R服务都可以实现相对应的处理步骤。在对大数据进行处理时,根据对大数据进行处理的处理逻辑,确定对大数据进行处理时所需的至少一个处理步骤后,从R服务库中调用相对应的R服务完成各个处理步骤,实现对大数据的处理。通过不同R服务的组合和排序可以实现对大数据进行不同类型的处理,从而增加了该大数据处理方法可以处理的大数据类型,提高了该大数据处理方法的适用性。可选地,在从R服务库中依次调用用于实现至少一个处理步骤中的每一个处理步骤的R服务之前,获取至少一个开发语言接口,每一个开发语言接口用于供相对应的开发语言对R服务库中的R服务进行调用。从R服务库中依次调用用于实现至少一个处理步骤中的每一个处理步骤的R服务时,依次针对至少一个处理步骤中的每一个处理步骤,从R服务库中确定用于实现处理步骤的目标R服务,通过预先设定的与目标R服务相对应的开发语言,利用与开发语言相对应的开发语言接口,从R服务库中调用目标R服务。获取对应于各种开发语言的开发语言接口,并为R服务库中的每一个R服务预先定义相对应的开发语言。针对每一个处理步骤,在确定可以实现该处理步骤的目标R服务后,通过与该目标R服务相对应的开发语言,利用与该开发语言相对应的开发语言接口从R服务库中调用目标R服务。通过获取开发语言接口,并为每一个R服务定义相对应的开发语言,可以通过各种开发语言调用R服务库中的R服务,充分利用了各种开发语言的优势调用R服务来对大数据进行处理,提升对大数据进行处理的效率。可选地,从大数据的存储设备获取大数据,包括:向存储设备中的分布式文件系统发送获取请求,获取请求用于通过分布式文件系统从存储设备中的数据库中获取大数据,接收来自分布式文件系统的大数据。分布式文件系统是通用的大数据管理系统,在获取大数据时通过分布式文件系统从数据库中获取大数据,提升了该大数据处理方法的适用性。第二方面,本专利技术实施例还提供了一种大数据处理装置,包括:一个请求接收模块,用于接收大数据处理请求,大数据处理请求用于请求对一项大数据进行处理;一个数据获取模块,用于根据请求接收模块接收到的大数据处理请求,从大数据的存储设备获取大数据;一个请求解析模块,用于根据请求接收模块接收到的大数据处理请求,确定对大数据进行处理的处理逻辑;一个服务调用模块,并根据请求解析模块确定的处理逻辑,从一个R服务库中调用至少一个R服务;一个数据处理模块,用于通过服务调用模块调用的至少一个R服务对数据获取模块获取到的大数据进行处理,获取处理结果。其中,数据处理模块根据服务调用模块调用的至少一个R服务,直接通过调用的至少一个R服务对数据获取模块获取到的大数据进行处理,获得处理结果。由于无需从大数据中抽取数据样本形成处理模型,进而利用获得的处理模型对大数据进行处理而获得处理结果,避免了由于有限数量数据样本所形成处理模型存在误差,导致大数据处理结果准确性较低的情况出现。因此,服务调用模块根据大数据调用R服务,数据处理模块通过R服务直接对大数据进行处理,可以提高大数据处理结果的准确性。可选地,服务调用模块包括:一个步骤分解单元,用于根据处理逻辑,确定对大数据进行处理时所包括的至少一个处理步骤;一个服务调用单元,用于依次从R服务库中调用用于实现步骤分解单元确定出的至少一个处理步骤中的每一个处理步骤的R服务。其中,步骤分解单元根据请求解析模块确定的处理逻辑,确定对大数据进行处理时需要进行的至少一个处理步骤,服务调用单元依次从R服务库中调用用于实现各个处理步骤的R服务。R服务库中包括有多个R服务,每个R服务可以实现相对应的处理步骤。因此,服务调用单元可以根据步骤分解单元确定的处理步骤,从R服务库中调用不同的R服务以对大数据进行不同类型的处理,从而增加了该大数据处理方法可以处理的大数据类型,提高了该大数据装置方法的适用性。可选地,大数据处理装置还可以包括:一个接口获取模块,用于获取至少一个开发语言接口,每一个开发语言接口用于供相对应的开发语言对R服务库中的R服务进行调用;服务调用单元,用于依次针对至少一个处理步骤中的每一个处理步骤,从R服务库中确定用于实现处理步骤的目标R服务,通过预先设定的与目标R服务相对应的开发语言,利用由接口获取模块获取的与开发语言相对应的开发语言接口,从R服务库中调用目标R服务。其中,R服务库本身提供有对应部分开发语言的开发语言接口,接口获取单元获取R服务库提供的开发语言接口,并创建R服务库没有提供的开发语言接口。服务调用单元通过与每一个目标R服务相对应的开发语言,利用与开发语言相对应的开发语言接口从R服务库中调用R服务。接口获取单元通过获取开发语言接口,服务调用单元可以通过各种开发语言调用R服务库中的R服务,充分利用了各种开发语言的优势调用R服务来对大数据进行处理,提升对大数据进行处理的效率。可选地,数据获取模块,用于向存储设备中的分布式文件系统发送获取请求,获取请求用于通过分布式文件系统从存储设备中的数据库中获取大数据,并接收来自分本文档来自技高网...

【技术保护点】
1.大数据处理方法,其特征在于,包括:接收大数据处理请求,所述大数据处理请求用于请求对一项大数据进行处理;根据所述大数据处理请求,从所述大数据的存储设备(20)获取所述大数据;根据所述大数据处理请求,确定对所述大数据进行处理的处理逻辑;根据所述处理逻辑,从一个R服务库中调用至少一个R服务;通过所述至少一个R服务对所述大数据进行处理,获取处理结果。

【技术特征摘要】
1.大数据处理方法,其特征在于,包括:接收大数据处理请求,所述大数据处理请求用于请求对一项大数据进行处理;根据所述大数据处理请求,从所述大数据的存储设备(20)获取所述大数据;根据所述大数据处理请求,确定对所述大数据进行处理的处理逻辑;根据所述处理逻辑,从一个R服务库中调用至少一个R服务;通过所述至少一个R服务对所述大数据进行处理,获取处理结果。2.根据权利要求1所述的方法,其特征在于,所述根据所述处理逻辑,从一个R服务库中调用至少一个R服务,包括:根据所述处理逻辑,确定对所述大数据进行处理时所包括的至少一个处理步骤;从所述R服务库中依次调用用于实现所述至少一个处理步骤中的每一个处理步骤的R服务。3.根据权利要求2所述的方法,其特征在于,在所述从所述R服务库中依次调用用于实现所述至少一个处理步骤中的每一个处理步骤的R服务之前,进一步包括:获取至少一个开发语言接口,每一个所述开发语言接口用于供相对应的开发语言对所述R服务库中的R服务进行调用;所述从所述R服务库中依次调用用于实现所述至少一个处理步骤中的每一个处理步骤的R服务,包括:依次针对所述至少一个处理步骤中的每一个处理步骤,执行如下操作:从所述R服务库中确定用于实现所述处理步骤的目标R服务;通过预先设定的与所述目标R服务相对应的开发语言,利用与所述开发语言相对应的开发语言接口,从所述R服务库中调用所述目标R服务。4.根据权利要求1至3中任一所述的方法,其特征在于,所述从所述大数据的存储设备(20)获取所述大数据,包括:向所述存储设备(20)中的分布式文件系统(202)发送获取请求,所述获取请求用于通过所述分布式文件系统(202)从所述存储设备(20)中的数据库(201)中获取所述大数据;接收来自所述分布式文件系统(202)的所述大数据。5.大数据处理装置(10),其特征在于,包括:一个请求接收模块(101),用于接收大数据处理请求,所述大数据处理请求用于请求对一项大数据进行处理;一个数据获取模块(102),用于根据所述请求接收模块(101)接收到的所述大数据处理请求,从所述大数据的存储设备(20)获取所述大数据;一个请求解析模块(103),用于根据所述请求接收模块(101)接收到的所述大数据处理请求,确定对所述大数据进行处理的处理逻辑;一个服务调用模块(104),用于根据所述请求解析模块(103)确定的所述处理逻辑,从一个R服务库中调用至少一个R服务;一个数据处理模块(105),用于通过所...

【专利技术属性】
技术研发人员:藏迪吴江戚威刘康
申请(专利权)人:西门子公司
类型:发明
国别省市:德国,DE

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1