The invention provides a large data processing method, device and system, and a machine readable medium. The large data processing method includes: receiving a large data processing request, the large data processing request for processing a large data, and acquiring the said large data storage device according to the large data processing request. Large data; according to the large data processing request, the processing logic for processing the large data is determined; according to the processing logic, at least one R service is invoked from a R service library; and the large data is processed by the at least one R service to obtain the processing results. The large data processing device includes a request receiving module, a data acquisition module, a request parsing module, a service invocation module and a data processing module. This scheme can improve the accuracy of large data processing results.
【技术实现步骤摘要】
大数据处理方法、装置及系统和机器可读介质
本专利技术涉及大数据
,尤其涉及大数据处理方法、装置及系统和机器可读介质。
技术介绍
大数据(BigData)为数据的集合,通常数据量较大,可用于实现对特定领域的发展趋势、行为模式等进行分析。通过对大数据进行分析,可以获得智能、深入且有价值的信息,因此大数据分析广泛应用于人工智能、市场分析、产品优化等领域。R语言是一种用于统计计算和统计制图的工具,能够用于大数据分析。目前,在利用R语言对大数据进行分析时,R语言调用大数据,从大数据中抽取有限数量的数据样本,通过对所抽取的数据样本进行分析获得处理模型,进而利用获得的处理模型对大数据进一步分析获得分析结果。针对上述对大数据进行处理的方法,由于处理模型通过对有限数量的数据样本分析获得,而有限数量的数据样本并不能完全反映待处理的大数据的数据规律,因此通过有限数量的数据样本所获得的处理模型会存在一定误差,通过存在误差的处理模型对大数据进行处理,会导致大数据处理结果的准确性较低。
技术实现思路
有鉴于此,本专利技术提供的大数据处理方法、装置及系统和计算机可读介质,能够提高大数据处理结果的准确性。第一方面,本专利技术实施例提供了一种大数据处理方法,包括:接收请求对一项大数据进行处理的大数据处理请求后,根据大数据处理请求从大数据的存储设备获取大数据,并根据大数据处理请求确定对大数据进行处理的处理逻辑。根据处理逻辑从一个R服务库中调用至少一个R服务,通过调用的至少一个R服务对大数据进行处理,获取处理结果。根据大数据的处理逻辑调用至少一个R服务,通过调用的至少一个R服务直接对大数据进 ...
【技术保护点】
1.大数据处理方法,其特征在于,包括:接收大数据处理请求,所述大数据处理请求用于请求对一项大数据进行处理;根据所述大数据处理请求,从所述大数据的存储设备(20)获取所述大数据;根据所述大数据处理请求,确定对所述大数据进行处理的处理逻辑;根据所述处理逻辑,从一个R服务库中调用至少一个R服务;通过所述至少一个R服务对所述大数据进行处理,获取处理结果。
【技术特征摘要】
1.大数据处理方法,其特征在于,包括:接收大数据处理请求,所述大数据处理请求用于请求对一项大数据进行处理;根据所述大数据处理请求,从所述大数据的存储设备(20)获取所述大数据;根据所述大数据处理请求,确定对所述大数据进行处理的处理逻辑;根据所述处理逻辑,从一个R服务库中调用至少一个R服务;通过所述至少一个R服务对所述大数据进行处理,获取处理结果。2.根据权利要求1所述的方法,其特征在于,所述根据所述处理逻辑,从一个R服务库中调用至少一个R服务,包括:根据所述处理逻辑,确定对所述大数据进行处理时所包括的至少一个处理步骤;从所述R服务库中依次调用用于实现所述至少一个处理步骤中的每一个处理步骤的R服务。3.根据权利要求2所述的方法,其特征在于,在所述从所述R服务库中依次调用用于实现所述至少一个处理步骤中的每一个处理步骤的R服务之前,进一步包括:获取至少一个开发语言接口,每一个所述开发语言接口用于供相对应的开发语言对所述R服务库中的R服务进行调用;所述从所述R服务库中依次调用用于实现所述至少一个处理步骤中的每一个处理步骤的R服务,包括:依次针对所述至少一个处理步骤中的每一个处理步骤,执行如下操作:从所述R服务库中确定用于实现所述处理步骤的目标R服务;通过预先设定的与所述目标R服务相对应的开发语言,利用与所述开发语言相对应的开发语言接口,从所述R服务库中调用所述目标R服务。4.根据权利要求1至3中任一所述的方法,其特征在于,所述从所述大数据的存储设备(20)获取所述大数据,包括:向所述存储设备(20)中的分布式文件系统(202)发送获取请求,所述获取请求用于通过所述分布式文件系统(202)从所述存储设备(20)中的数据库(201)中获取所述大数据;接收来自所述分布式文件系统(202)的所述大数据。5.大数据处理装置(10),其特征在于,包括:一个请求接收模块(101),用于接收大数据处理请求,所述大数据处理请求用于请求对一项大数据进行处理;一个数据获取模块(102),用于根据所述请求接收模块(101)接收到的所述大数据处理请求,从所述大数据的存储设备(20)获取所述大数据;一个请求解析模块(103),用于根据所述请求接收模块(101)接收到的所述大数据处理请求,确定对所述大数据进行处理的处理逻辑;一个服务调用模块(104),用于根据所述请求解析模块(103)确定的所述处理逻辑,从一个R服务库中调用至少一个R服务;一个数据处理模块(105),用于通过所...
【专利技术属性】
技术研发人员:藏迪,吴江,戚威,刘康,
申请(专利权)人:西门子公司,
类型:发明
国别省市:德国,DE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。