一种基于云计算的数据处理系统技术方案

一种数据处理系统包括云计算平台和数据处理服务器，所述云计算平台包括数据挖掘模块、数据处理模块、数据发送模块，所述数据处理服务器包括数据接收模块、数据处理模块和数据传输模块。所述数据挖掘模块包括任务拆分单元、多个挖掘操作单元和挖掘整合单元，所述任务拆分单元用于将挖掘任务拆分成多个子任务并将每个子任务发送到相应的挖掘操作单元，挖掘操作单元将挖掘到的数据发送给挖掘整合单元，挖掘整合单元根据保存的并行算法将多个挖掘单元发送的数据进行整合；所述数据处理服务器的数据接收模块接收云计算平台发送的数据，并通过数据处理模块对获取的数据进行处理，所述数据传输模块用于将处理后的数据传输到数据存储库中。

【技术实现步骤摘要】

本专利技术涉及一种数据处理系统，更具体地，涉及一种基于云计算的数据处理系统。
技术介绍
随着网络信息技术的快速发展，数据的传播速度日益加快，网络上各种各样信息的数据量也越来越多，网络数据已经成为人们获取知识和信息的一个重要来源。在各行各业中，通过网络来查找需要的信息来为工作提供帮助和支持已经被广泛的使用和接受，并且，由于网络数据的及时性、快捷性和无地域性限制等优点，网络信息的使用正在深刻地改变着人们的生活和工作。随着网络信息的日益膨胀，对用户根据自己的需要获得准确、全面和有用的信息提出了不小的挑战，由于网络信息量的急速增长，个人已经很难通过简单的终端设备来快速有效地获取更加全面的信息和数据。近年来兴起的云计算技术为这一问题的解决提供了一种有效的解决途径，云计算平台是一种不同于用户终端设备的新型计算模式，其可以将大量的终端设备通过云计算的方式连接起来，为某个或者某些特定的用户提供高效的计算服务。目前，已经有很多公司开始提供云计算服务，对于普通用户来说，通过相应的云计算平台，就可以摆脱个人终端设备计算能力的局限，依靠云计算平台中的强大硬件资源和软件资源来快速、高效和准确地得到自己想要的信息，这对于需要在海量的网络信息中获取及时、准确信息的用户来说具有非常强的吸引力，已经正在被越来越多的用户所认可，也已经成为未来网络信息技术发展的一个趋势。在云计算平台中，很多时候，会有很多用户同时通过云计算平台来进行网络信息的查找，如何能够使得云计算平台同时满足众多用户的使用需求，并且保证云计算平台的高效运行，及时快速地为用户提供数据处理服务，已经成为制约云计算平台发展的一个重要瓶颈。因此，提高利用云计算平台进行数据处理的效率，为用户提高更好的使用体验，已经成为一个急待解决的问题。
技术实现思路
基于上述问题，本专利技术提出了一种新型的基于云计算的数据处理系统，其能够使得用户高效快捷地利用云计算平台进行数据的挖掘和处理，并通过在数据挖掘的过程中进行数据检查、数据统计等，为用户提供更好的数据处理服务。本专利技术的基于云计算的数据处理系统包括云计算平台和数据处理服务器，所述云计算平台包括数据挖掘模块、数据处理模块、数据发送模块，所述数据处理服务器包括数据接收模块、数据处理模块和数据传输模块；其中，所述云计算平台的数据挖掘模块包括任务拆分单元、多个挖掘操作单元和挖掘整合单元，所述任务拆分单元用于将发起的挖掘任务拆分成多个并行的子任务，并将每个子任务按照相应的逻辑顺序发送到相应的挖掘操作单元，挖掘操作单元将挖掘到的相应数据发送给挖掘整合单元，挖掘整合单元根据保存的并行算法将多个挖掘单元发送的数据进行整合；所述云计算平台的数据处理模块对挖掘得到的数据进行处理后，通过数据发送模块将数据发送至数据处理服务器；所述数据处理服务器的数据接收模块接收到云计算平台发送的数据后，通过其数据处理模块对获取的数据进行处理，所述数据传输模块用于将处理后的数据传输到数据存储库中。其中，所述云计算平台还包括数据检查模块和数据统计模块，所述数据检查模块用于根据数据中的校验信息来对获取的数据进行文件级检查；所述数据统计模块用于对获取的数据进行统计，统计的内容包括:数据的来源、数据的发布日期、数据的类型等。其中，所述数据检查模块在对所述数据进行文件级检查之后，生成文件级检查报告，并将该检查报告发送给用户。其中，所述云计算平台还包括数据量控制模块，所述数据量控制模块计算数据挖掘模块获取到的数据总量，并根据预先设定的阈值来进行判断，如果判断的结果是获取的数据量大于该阈值，那么将会按照一定的规则抛弃相应的数据量，从而使得待处理的总数据量与该阈值保持一致。其中，所述数据挖掘模块接收用户发送的数据挖掘请求，根据该用户的数据挖掘请求与数据挖掘任务的对应关系获取该数据挖掘请求对应的数据挖掘任务，将获取的该数据挖掘任务拆分为多个子任务，并将每个子任务的参数配置信息发送给用户。附图说明图1是本专利技术的基于云计算的数据处理系统的组成结构示意图。具体实施例方式下面，将会结合附图1对本专利技术的基于云计算的数据处理系统及其工作原理进行详细的描述。本领域技术人员应当能够理解的是，附图1所示的数据处理系统仅是本专利技术的一个示例而已，其并不是对本专利技术的限制，本专利技术的保护范围应当由权利要求书所限定。本专利技术的基于云计算的数据处理系统包括云计算平台I和数据处理服务器2，其中，云计算平台I包括数据挖掘模块11、数据处理模块12、数据发送模块13，数据处理服务器2包括数据接收模块21、数据处理模块22和数据传输模块23。其中，云计算平台I的数据挖掘模块11包括任务拆分单元111、多个挖掘操作单元112和挖掘整合单元113，任务拆分单元111用于将用户发起的挖掘任务拆分成多个并行的子任务，并将每个子任务按照相应的逻辑顺序发送到相应的多个挖掘操作单元112，挖掘操作单元112将挖掘到的相应数据发送给挖掘整合单元113，挖掘整合单元113根据保存的并行算法将多个挖掘单元发送的数据进行整合。一般来说，本专利技术的基于云计算的数据处理系统是由特定的网络供应商提供的，用户可以在自己的终端设备中安装相应的客户端，通过客户端来对该数据处理系统进行访问，并通过客户端向该数据处理系统发送请求，该数据处理系统在对用户发出的请求进行检查和验证后，才会开始数据挖掘和处理操作；在实际使用过程中，提供商会对用户使用该数据处理系统提出一定的要求和限制，如使用时间、请求数量等。云计算平台I的数据处理模块12对挖掘得到的数据进行处理后，通过数据发送模块13将数据发送至数据处理服务器2 ;数据处理服务器2的数据接收模块21接收到云计算平台I发送的数据后，通过其数据处理模块22对获取的数据进行处理，数据传输模块23用于将处理后的数据传输到数据存储库中。数据处理服务器2对数据的处理一般可包括:对数据进行整理、分类、生成相应信息列表等，这里的数据存储库是提供商设置的数据存储系统，其能够按照用户的需求来为数据提供不同时间的存储服务，并且考虑到存储空间的限制等问题，还对定期地对存储的数据进行删除等。为了更好地对通过云计算平台挖掘到的数据进行规范，以便于下一步的处理，并提高下一步数据处理的效率，云计算平台I还包括数据检查模块14和数据统计模块15，数据检查模块14用于根据数据中的校验信息来对获取的数据进行文件级检查；数据统计模块15用于对获取的数据进行统计，统计的内容包括:数据的来源、数据的发布日期、数据的类型等。对数据进行文件级检查是必要的和优选的，通过文件级检查，可以对获取数据中的一些无效、非法信息进行清理，并保证所有数据的一致性，这对大大提高后续数据处理的效率。数据检查模块14在对数据进行文件级检查之后，还可以生成文件级检查报告，并将该检查报告发送给用户，供用户参考和使用。由于目前网络上的数据和信息过于庞杂，为了使得云计算平台的正常允许，防止在某些特殊情况下由于数据量过大而导致整个云计算平台的低效运行甚至停止工作，云计算平台I还包括数据量控制模块16，数据量控制模块16计算数据挖掘模块获取到的数据总量，并根据预先设定的阈值来进行判断，如果判断的结果是获取的数据量大于该阈值，那么将会按照一定的规则抛弃相应的数据量，从而使得待处理的总数据量与该阈值保持一致。通本文档来自技高网...

【技术保护点】
一种基于云计算的数据处理系统，其包括云计算平台和数据处理服务器，其中，所述云计算平台包括数据挖掘模块、数据处理模块、数据发送模块，所述数据处理服务器包括数据接收模块、数据处理模块和数据传输模块，其特征在于：所述云计算平台的数据挖掘模块包括任务拆分单元、多个挖掘操作单元和挖掘整合单元，所述任务拆分单元用于将发起的挖掘任务拆分成多个并行的子任务，并将每个子任务按照相应的逻辑顺序发送到相应的挖掘操作单元，挖掘操作单元将挖掘到的相应数据发送给挖掘整合单元，挖掘整合单元根据保存的并行算法将多个挖掘单元发送的数据进行整合；所述云计算平台的数据处理模块对挖掘得到的数据进行处理后，通过数据发送模块将数据发送至数据处理服务器；所述数据处理服务器的数据接收模块接收到云计算平台发送的数据后，通过其数据处理模块对获取的数据进行处理，所述数据传输模块用于将处理后的数据传输到数据存储库中。

【技术特征摘要】
1.一种基于云计算的数据处理系统，其包括云计算平台和数据处理服务器，其中，所述云计算平台包括数据挖掘模块、数据处理模块、数据发送模块，所述数据处理服务器包括数据接收模块、数据处理模块和数据传输模块，其特征在于: 所述云计算平台的数据挖掘模块包括任务拆分单元、多个挖掘操作单元和挖掘整合单元，所述任务拆分单元用于将发起的挖掘任务拆分成多个并行的子任务，并将每个子任务按照相应的逻辑顺序发送到相应的挖掘操作单元，挖掘操作单元将挖掘到的相应数据发送给挖掘整合单元，挖掘整合单元根据保存的并行算法将多个挖掘单元发送的数据进行整合；所述云计算平台的数据处理模块对挖掘得到的数据进行处理后，通过数据发送模块将数据发送至数据处理服务器；所述数据处理服务器的数据接收模块接收到云计算平台发送的数据后，通过其数据处理模块对获取的数据进行处理，所述数据传输模块用于将处理后的数据传输到数据存储库中。2.根据权利要求1所述的数据处理系统，其中，所述云计算平台还包括数据检查模块和数据统计...

【专利技术属性】
技术研发人员：宗竞，
申请(专利权)人：江苏乐买到网络科技有限公司，
类型：发明
国别省市：