一种分布式数据服务管理系统及方法技术方案

本发明专利技术公开了一种分布式数据服务管理系统，包括：数据库，用于对web应用服务的分布式业务数据进行存储；数据服务管理DSM模块，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块；ETCD存储模块，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储；Web应用服务前端，用于通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。本发明专利技术将web应用前端和数据服务管理分开，并采用分布式方式部署，有针对性地对数据服务管理进行分布式扩容，实现高并发性能需求，能够高效利用服务器资源，同时提升了系统的稳定性和容错性。

【技术实现步骤摘要】
一种分布式数据服务管理系统及方法
本专利技术涉及web应用服务领域，并且更具体地，涉及一种分布式数据服务管理系统及方法。
技术介绍
随着业务的推进以及web应用服务使用的人数的增加，web应用服务的访问量，访问频次，访问并发数都急剧增长，web应用服务面临着响应性能和运行稳定性的双重压力，以及在软硬件方面扩容web应用服务的支撑能力的需求。现有的web应用服务的实现通常有两种，一种是将页面展示和数据访问放在一个工程中部署实现，仅提供一个web应用以供用户访问使用，实现方式如图1所示，采用单个web应用的服务，可利用资源有限，在高并发访问情况下存在性能瓶颈，无法满足高并发应用访问需求，系统稳定性不好，容易单点故障，容易性能瓶颈。另一种是考虑到高并发访问压力，以及单个web应用服务的性能有限，采用nginx或者硬件负载均衡的方式集成多个web应用服务的方式实现高并发性能需求，实现方式如图2所示，采用负载均衡的方式，集成多个web应用服务可以满足高并发性能需求，但是web应用服务依然将web应用前端和数据服务集成在一个工程中，功能模块耦合性高，应用集群扩容无法针对性扩容，资源浪费严重，扩容成本高且容易出错。因此，需要一种分布式数据管理方法，以解决web应用服务的性能不稳定，容易出现性能瓶颈的问题。
技术实现思路
本专利技术提供了一种分布式数据服务管理系统及方法，以解决web应用服务的性能不稳定，容易出现性能瓶颈的问题。为了解决上述问题，根据本专利技术的一个方面，提供了一种分布式数据服务管理系统，所述系统包括：数据库，用于对web应用服务的分布式业务数据进行存储；数据服务管理DSM(DemandSideManagement，DSM)模块，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件；ETCD存储模块，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储；Web应用服务前端，用于通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。优选地，其中所述数据服务管理DSM模块部署在至少一个服务器上，每个服务器上部署至少一个DSM实例。优选地，其中所述代理服务器包括：软件代理或硬件代理。优选地，其中所述代理服务器为：nginx反向代理服务器。优选地，其中所述数据库包括：ORACLE、MYSQL、MONGODB以及HBASE。根据本专利技术的另一个方面，提供了一种分布式数据服务管理方法，所述方法包括：利用数据库对web应用服务的分布式业务数据进行存储；利用数据服务管理DSM模块实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件；利用ETCD存储模块对分布式DSM组件的服务地址信息和配置信息集中进行存储；Web应用服务前端通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。优选地，其中所述数据服务管理DSM模块部署在至少一个服务器上，每个服务器上部署至少一个DSM实例。优选地，其中所述代理服务器包括：软件代理或硬件代理。优选地，其中所述代理服务器为：nginx反向代理服务器。优选地，其中所述数据库包括：ORACLE、MYSQL、MONGODB以及HBASE。本专利技术提供了一种分布式数据服务管理系统及方法，将web应用前端和数据服务管理分开，拆分成两个独立工程，避免相互干扰，并采用分布式方式部署，有针对性地对数据服务管理进行分布式扩容，实现高并发性能需求，能够高效利用服务器资源，避免资源浪费，同时提升了系统的稳定性和容错性。附图说明通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：图1为现有的web应用服务的实现方式一的示意图；图2为现有的web应用服务的实现方式二的示意图；图3为根据本专利技术实施方式的分布式数据服务管理系统300的结构示意图；图4为根据本专利技术实施方式的分布式数据服务管理系统的示意图；以及图5为根据本专利技术实施方式的分布式数据服务管理方法500的流程图。具体实施方式现在参考附图介绍本专利技术的示例性实施方式，然而，本专利技术可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本专利技术，并且向所属
的技术人员充分传达本专利技术的范围。对于表示在附图中的示例性实施方式中的术语并不是对本专利技术的限定。在附图中，相同的单元/元件使用相同的附图标记。除非另有说明，此处使用的术语(包括科技术语)对所属
的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。图3为根据本专利技术实施方式的分布式数据服务管理系统300的结构示意图。如图3所示，本专利技术实施方式的分布式数据服务管理系统包括：数据库，用于对web应用服务的分布式业务数据进行存储；数据服务管理DSM模块，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求；ETCD存储模块，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储；Web应用服务前端，用于通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。通过将web应用前端和数据服务管理分开，拆分成两个独立工程，避免相互干扰，并采用分布式方式部署，有针对性地对数据服务管理进行分布式扩容，实现高并发性能需求，能够高效利用服务器资源，避免资源浪费，同时提升了系统的稳定性和容错性。如图3所示，本专利技术实时方式的分布式数据服务管理系统300包括:数据库301、数据服务管理DSM模块302、ETCD存储模块303、Web应用服务前端304和代理服务器305。优选地，所述数据库301，用于对web应用服务的分布式业务数据进行存储。优选地，其中所述数据库包括：ORACLE、MYSQL、MONGODB以及HBASE。优选地，所述数据服务管理DSM模块302，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件。优选地，其中所述数据服务管理DSM模块部署在至少一个服务器上，每个服务器上部署至少一个DSM实例。优选地，所述ETCD存储模块303，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储。优选地，所述Web应用服务前端304，用于通过代理服务器305获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。优选地，其中所述代理服务器包括：软件代理或硬件代理。优选地，其中所述代理服务器为：nginx反向代理服务器。图4为根据本专利技术实施方式的分布式数据服务管理系统的示意图。如图4所示，在本专利技术的实施方式中，考虑到web应用服务的主要性能瓶颈在数据查询服务上，将DSM(数据服务管理)封装成独立的组件，与web应用服务前端分离，构成独立的两个服务模块，这样可以方便开发人员本文档来自技高网...

【技术保护点】
一种分布式数据服务管理系统，其特征在于，所述系统包括：数据库，用于对web应用服务的分布式业务数据进行存储；数据服务管理DSM模块，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件；ETCD存储模块，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储；Web应用服务前端，用于通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。

【技术特征摘要】
1.一种分布式数据服务管理系统，其特征在于，所述系统包括：数据库，用于对web应用服务的分布式业务数据进行存储；数据服务管理DSM模块，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件；ETCD存储模块，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储；Web应用服务前端，用于通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。2.根据权利要求1所述的系统，其特征在于，所述数据服务管理DSM模块部署在至少一个服务器上，每个服务器上部署至少一个DSM实例。3.根据权利要求1所述的系统，其特征在于，所述代理服务器包括：软件代理或硬件代理。4.根据权利要求3所述的系统，其特征在于，所述代理服务器为：nginx反向代理服务器。5.根据权利要求1所述的系统，其特征在于，所述数据库包括：ORACLE、MYSQL、MONGODB以...

【专利技术属性】
技术研发人员：姚垒，徐军，朱林，
申请(专利权)人：华迪计算机集团有限公司，
类型：发明
国别省市：北京,11