分布式数据处理装置及方法制造方法及图纸

本发明专利技术提供了一种分布式数据处理装置，包括核心服务器与至少一个业务服务器，所述核心服务器电性耦接至少一个业务服务器，其中，所述核心服务器，用于存储与其电性耦接的至少一个业务服务器的业务数据库和与该业务数据库关联的参数，并根据所述参数生成连接字符串；所述业务服务器，用于存储至少一个业务数据库，且每个业务数据库对应一个子线程；以及用于根据所述连接字符串，通过该子线程连接对应的业务数据库，对该业务数据库进行处理。此外，本发明专利技术还提供了一种分布式数据处理方法。本发明专利技术具有响应速度快、经济性强、可靠性高、可扩展性强、易于操作的优点。

Distributed data processing devices and methods

The present invention provides a distributed data processing device, including the core server with at least one service server, the server core is electrically coupled to at least one service server, wherein the core server, storage parameters for electrically coupled to at least one business server database and the database of business and business the association, and the connection string generated according to the parameters; the service server for storing at least one business database, and each business database corresponds to a sub thread; and according to the connection string, connecting the corresponding thread through the business database, to handle the business database. In addition, the invention also provides a distributed data processing method. The invention has the advantages of fast response speed, strong economy, high reliability, strong extensibility and easy operation.

【技术实现步骤摘要】
分布式数据处理装置及方法
本专利技术涉及数据库分布式存储、多线程程序开发领域，尤其涉及一种分布式数据处理装置及方法。
技术介绍
当一个系统中的数据量非常大，比如达到上千万甚至上亿条数据时，如果仍然采取单一数据库的存储方式，访问数据速度将极其缓慢。从而导致应用程序无法正常执行增、删、改、查等操作，甚至使系统崩溃。数据量大时，数据访问速度慢的主要原因是：(一)受数据库服务器硬件条件限制一台服务器的内存、CPU、I/O吞吐量等都是优先的，执行大量数据的查询会占用服务器的内存等资源，从而使服务器负荷过高，导致执行速度缓慢。(二)受网络条件的限制。数据库的查询结果需要通过网络从服务器发送至客户端，数据量过大会占用网络资源，从而影响网络传输效率。
技术实现思路
(一)要解决的技术问题本专利技术的目的在于提供一种分布式数据处理装置及方法，以解决上述的至少一项技术问题。(二)技术方案本专利技术提供了一种分布式数据处理装置，包括核心服务器与至少一个业务服务器，所述核心服务器电性耦接至少一个业务服务器，其中，所述核心服务器，用于存储与其电性耦接的至少一个业务服务器的业务数据库和与该业务数据库关联的参数，并根据所述参数生成连接字符串；所述业务服务器，用于存储至少一个业务数据库，且每个业务数据库对应一个子线程；以及用于根据所述连接字符串，将子线程连接对应的业务数据库，对该业务数据库进行处理。在本专利技术的一些实施例中，所述业务服务器还用于将增加、删除、修改或者查询的算法封装成网页服务，通过调用所述网页服务以及根据所述参数生成连接字符串，通过该子线程连接对应的业务数据库，对该对应的业务服务器的数据进行增加、删除、修改或者查询。在本专利技术的一些实施例中，所述参数可以由外界的客户端输出，一般包括业务服务器的ID、IP地址、连接方式、用户名和/或密码，也通过参数与业务数据库的映射表，实现二者的关联。在本专利技术的一些实施例中，业务服务器还用于将处理后得到的处理结果经汇总，得到汇总结果，通过与该业务服务器连接的核心服务器返回至所述客户端。基于同一专利技术构思，本专利技术还提供了一种分布式数据处理方法，包括：建立核心服务器以及至少一个业务服务器，其中，所述核心服务器存储与其电性耦接的至少一个业务服务器的业务数据库和与该业务数据库关联的参数，所述业务服务器存储业务数据库，且每个业务数据库对应一个子线程；根据所述参数生成连接字符串；根据所述连接字符串，将子线程连接对应的业务数据库，对该业务数据库进行处理。在本专利技术的一些实施例中，所述对该业务服务器进行处理的具体步骤包括：将增加、删除、修改或者查询的算法封装成网页服务，通过调用所述网页服务以及根据所述参数生成连接字符串，通过该子线程连接对应的业务数据库，对该对应的业务服务器的数据进行增加、删除、修改或者查询。在本专利技术的一些实施例中，建立参数与业务数据库的映射表，实现二者的关联。在本专利技术的一些实施例中，将业务服务器处理后得到的处理结果汇总，得到汇总结果，通过与该业务服务器连接的核心服务器返回至所述客户端。在本专利技术的一些实施例中，还包括步骤：若当前子线程未连接对应的业务数据库，则放弃对该业务数据库的处理。(三)有益效果本专利技术提供的分布式数据处理装置及方法，相较于现有技术，至少具有以下优点：1、更适合具有地理分布特性的组织或机构使用，允许分布在不同区域、不同级别的各个部门对其自身的数据实行局部控制，可以降低通信代价，提高响应速度，而涉及其他场地数据库中的数据只是少量的，从而可以大大减少网络上的信息传输量；同时，局部数据的安全性也可以做得更好。2、具有经济性，可靠性高，可用性好的优点。与一个大型计算机支持的大型系统相比，由超级微型计算机或超级小型计算机支持的分布式数据库装置往往具有更高的性价比和实施灵活性。另外分布式系统比集中式系统具有更高的可靠性和更好的可用性，在个别场地或个别通信链路发生故障时，防止整个系统的崩溃，而且系统的局部故障不会引起全局失控。3、因为待处理的数据存储在本地的业务数据库中，因此，本专利技术的响应速度和处理速度快。4、可扩展性好，易于集成现有系统，也易于扩充。对于一个企业或组织，可以采用分布式数据库技术在以建立的若干数据库的基础上开发全局应用，对原有的局部数据库系统作某些改动，形成一个分布式系统。这比重建一个大型数据库系统要简单，既省时间，又省财力、物力。也可以通过增加场地数的办法，迅速扩充已有的分布式数据库系统。附图说明图1为本专利技术实施例的分布式数据处理装置的结构示意图。图2为本专利技术实施例的分布式数据处理方法的步骤示意图。图3为本专利技术实施例的分布式数据处理方法的流程示意图。具体实施方式为了解决目前数据量极大的数据的单一存储及访问速度缓慢的问题，本专利技术提供了一种分布式数据处理装置及方法，通过分布式存储，建立至少一个业务数据库存储数据，提高了数据的存储量级数据访问速度；同时还实现多线程程序开发，每个子线程对其对应的业务数据库进行处理，以确保程序的运行效率。为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。图1为本专利技术实施例的分布式数据处理装置的结构示意图，如图1所示，该装置包括核心服务器与至少一个业务服务器，所述核心服务器电性耦接至少一个业务服务器。其中，业务服务器可以根据地理位置搭建，在每一个业务服务器上安装业务数据库，各业务服务器之间通过网络进行连接。所述核心服务器可以为一个，也可以为多个，根据实际需求选择其个数。所述核心服务器，用于存储与其电性耦接的至少一个业务服务器的业务数据库和与该业务数据库关联的参数，并根据所述参数生成连接字符串，其中，所述参数一般由外界的客户端输出，包括各业务数据库的信息，例如IP地址、端口号、数据库名称、用户名和密码，可以根据实际需求进行选择。该连接字符串，由IP地址、端口号、数据库名称、用户名和密码等参数组成，在业务服务器安装部署时，连接字符串就已经确定。在本专利技术的一些实施例中，可以通过映射表，实现各参数与各业务数据库的关联关系。首先，将业务服务器的ID、IP地址、连接方式、用户名和密码等参数保存到核心服务器中，并与业务数据库进行关联，生成相应的映射表。例如，每一个子公司、分厂或者监测点的业务服务器与业务数据库存在关联关系。在其他实施例中也可以通过其他方式实现参数与各业务数据库的关联关系，根据实际进行选择。所述业务服务器，用于存储至少一个业务数据库，且每个业务数据库对应一个子线程；以及用于根据所述连接字符串，将子线程连接对应的业务数据库，对该业务数据库进行处理。分布式数据处理装置的结构适合具有地理分布特性的组织或机构使用，允许分布在不同区域、不同级别的各个部门对其自身的数据实行局部控制。例如：实现全局数据在本地录入、查询、维护，这时由于计算机资源靠近用户，可以降低通信代价，提高响应速度，而涉及其他场地数据库中的数据只是少量的，从而可以大大减少网络上的信息传输量；同时，局部数据的安全性也可以做得更好。像这样，在本专利技术中，需要处理的数据在本地业务数据库中，就可以由用户所在的计算机来执行，因此具有响应速度快的优点。在实现对业务数据库的处理时，使用多个子线程分别处理各个业务数据库。核心服务器根据外界的客户端输出的参数，自动选择本文档来自技高网...

【技术保护点】
一种分布式数据处理装置，包括核心服务器与至少一个业务服务器，所述核心服务器电性耦接至少一个业务服务器，其中，所述核心服务器，用于存储与其电性耦接的至少一个业务服务器的业务数据库和与该业务数据库关联的参数，并根据所述参数生成连接字符串；所述业务服务器，用于存储至少一个业务数据库，且每个业务数据库对应一个子线程；以及用于根据所述连接字符串，将子线程连接对应的业务数据库，对该业务数据库进行处理。

【技术特征摘要】
1.一种分布式数据处理装置，包括核心服务器与至少一个业务服务器，所述核心服务器电性耦接至少一个业务服务器，其中，所述核心服务器，用于存储与其电性耦接的至少一个业务服务器的业务数据库和与该业务数据库关联的参数，并根据所述参数生成连接字符串；所述业务服务器，用于存储至少一个业务数据库，且每个业务数据库对应一个子线程；以及用于根据所述连接字符串，将子线程连接对应的业务数据库，对该业务数据库进行处理。2.根据权利要求1所述的分布式数据处理装置，其中，所述业务服务器还用于将增加、删除、修改或者查询的算法封装成网页服务，通过调用所述网页服务以及根据所述参数生成连接字符串，通过该子线程连接对应的业务数据库，对该对应的业务服务器的数据进行增加、删除、修改或者查询。3.根据权利要求1所述的分布式数据处理装置，其中，所述参数包括业务服务器的ID、IP地址、连接方式、用户名和/或密码，通过参数与业务数据库的映射表，实现二者的关联。4.根据权利要求1所述的分布式数据处理装置，其中，业务服务器还用于将处理后得到的处理结果经汇总，得到汇总结果，通过与该业务服务器连接的核心服务器返回至所述客户端。5....

【专利技术属性】
技术研发人员：陈文亮，王小蒙，刘洪涛，张金永，高静明，张顺平，孙朝霞，
申请(专利权)人：天津同阳科技发展有限公司，
类型：发明
国别省市：天津,12