数据集群化处理的方法、装置及设备制造方法及图纸

本发明专利技术实施例公开了一种数据集群化处理的方法、装置及设备。该方法包括：接收到数据源的访问请求，基于数据源的数据特性确定数据源对应的加锁类型；加锁类型为分布式锁，根据数据源的存储信息分配处理数据源的分布式服务器和处理数据源的应用进程；依据分布式服务器的加锁目录检测应用进程当前是否空闲；应用进程当前空闲，通过应用进程对数据源进行处理。本发明专利技术实施例能够降低在账务数据管理、调整，程序发布等方面的复杂度。

Data clustering processing method, device and equipment

The embodiment of the invention discloses a method, device and device for data clustering processing. The method includes: receiving access requests from data sources, determining the type of lock corresponding to data sources based on data characteristics of data sources; the type of lock is distributed lock, distributing and processing distributed servers of data sources and application processes of data sources according to storage information of data sources; and according to locks of distributed servers. Recording and detecting whether the application process is currently idle; the application process is currently idle, and the data source is processed by the application process. The embodiment of the invention can reduce the complexity of accounting data management, adjustment, and program release.

【技术实现步骤摘要】
数据集群化处理的方法、装置及设备
本专利技术涉及通信
，尤其涉及一种数据集群化处理的方法、装置及设备。
技术介绍
账务数据服务系统BDS为将多个计算机组合成一个集群构成的高可用性系统，其为业务运营支撑系统BOSS内部计费、帐务及其相关系统提供数据存储支持，实现了计费核心的数据集中和统一存放的系统。账务数据服务系统已经实现部分应用的集群化部署，通过多进程抢占方式，支持处理消息、文件和数据存储的应用的集群化部署，具体包括分拣、二批、在线计费、合帐等进程。对于关键业务，如话单入库、租费计算、信控等，由于其处理速度要求高的进程并不支持多进程抢占处理，所以这些关键业务进程并未进行集群化改造，而是临时通过刀片双机方式进行处理。但是，这种关键业务进程临时通过刀片双机方式处理，给在账务数据管理、调整，程序发布等都增加了极大的复杂度。
技术实现思路
本专利技术实施例提供了一种数据集群化处理的方法、装置及设备，能够降低在账务数据管理、调整，程序发布等方面的复杂度。第一方面，本专利技术实施例提供了一种数据集群化处理的方法，包括：接收到数据源的访问请求，基于数据源的数据特性确定数据源对应的加锁类型；加锁类型为分布式锁，根据数据源的存储信息分配处理数据源的分布式服务器和处理数据源的应用进程；依据分布式服务器的加锁目录检测应用进程当前是否空闲；应用进程当前空闲，通过所述应用进程对所述数据源进行处理。第二方面，本专利技术实施例提供了一种数据集群化处理的装置，包括：确定单元，用于接收到数据源的访问请求，基于数据源的数据特性确定数据源对应的加锁类型；分配单元，用于加锁类型为分布式锁，根据数据源的存储信息分配处理数据源的分布式服务器和处理数据源的应用进程；进程检测单元，用于依据分布式服务器的加锁目录检测应用进程当前是否空闲；创建单元，用于应用进程当前空闲，通过所述应用进程对所述数据源进行处理。第三方面，本专利技术实施例提供了一种数据集群化处理的设备，包括：存储器、处理器、通信接口和总线；存储器、处理器和通信接口通过总线连接并完成相互间的通信；存储器用于存储程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行一种数据集群化处理的方法，数据集群化处理的方法包括：接收到数据源的访问请求，基于数据源的数据特性确定数据源对应的加锁类型；加锁类型为分布式锁，根据数据源的存储信息分配处理数据源的分布式服务器和处理数据源的应用进程；依据分布式服务器的加锁目录检测应用进程当前是否空闲；应用进程当前空闲，通过所述应用进程对所述数据源进行处理。本专利技术实施例提供了一种数据集群化处理的方法、装置及设备，本专利技术实施例中，在接收到数据源的访问请求后，基于数据源的数据特性确定数据源对应的加锁类型；加锁类型为分布式锁，根据数据源的存储信息分配处理数据源的分布式服务器和处理数据源的应用进程；依据分布式服务器的加锁目录检测应用进程当前是否空闲；应用进程当前空闲，通过应用进程对数据源进行处理。本专利技术实施例中，基于数据源的数据特性确定数据源对应的加锁类型，如果加锁类型为分布式锁，则对这行数据源分配分步式服务器和应用进程来处理此数据源，实现不通过多进程抢占方式的方式对这些数据源进行集群化部署，进而可以对关键业务进程不通过多进程抢占方式的方式也可实现集群化部署，降低在账务数据管理、调整，程序发布等方面的复杂度。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术一实施例提供的数据集群化处理的方法的示意性流程图；图2是根据本专利技术又一实施例提供的数据集群化处理的方法的示意性流程图；图3是根据本专利技术一实施例提供的数据集群化处理的装置的示意性框图；图4是根据本专利技术又一实施例提供的数据集群化处理的装置的示意性框图；图5是根据本专利技术一实施例提供的数据集群化处理的设备的示意性框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。本专利技术实施例可以用于数据集群化处理的场景。例如，在账务数据服务系统中，对于关键业务，如话单入库、租费计算、信控等采用分布式锁进行处理。账务数据服务系统中，应用层通过数据链路层对存储在数据层的账务数据进行处理，数据链路层对数据源进行处理。其中，在接收到数据源的访问请求后，首先对数据源采用所的方式进行区分，适用于多进程抢占处理的数据源可以采用文件锁或数据锁等来处理，而对于不适用于多进程抢占处理的数据源，可以采用分布式锁来处理，即采用本专利技术实施例的方式。如此可以将账务数据进行集群化部署，降低在账务数据管理、调整，程序发布等方面的复杂度。图1是根据本专利技术一实施例的数据集群化处理的方法的示意性流程图。如图1所示，该方法包括以下步骤。110，接收到数据源的访问请求，基于数据源的数据特性确定数据源对应的加锁类型。其中，数据源的访问请求中包括数据源的数据特性，则在接收到数据源的访问请求后，基于数据源的数据特性确定数据源对应的加锁类型。数据源的数据特性可以根据具体场景设置。例如，在账务数据中，将适合多进程抢占处理的数据源设置第一数据特性，将不适合多进程抢占处理，需要通过本专利技术实施例的方式处理的数据源设置第二数据特性，从而在接收到数据源的访问请求后，即可基于数据源的数据特性确定数据源对应的加锁类型：数据特性为第一数据特性，则确定数据源对应的加锁类型为文件锁或数据锁等；数据特性为第二数据特性，则确定数据源对应的加锁类型为分布式锁。再例如，设置数据特性的值为开或关，数据特性的值为开时，确定数据源对应的加锁类型为分布式锁；数据特性的值为关时，确定数据源对应的加锁类型为文件锁或数据锁等。需要说明的是，本专利技术实施例中，数据源可以包括子队列和/子任务。当数据源为子队列时，数据特性的值可以为subqueue.lock.type；当数据源为子任务时，数据特性的值可以为cluster.task.lock.type。120，加锁类型为分布式锁，根据数据源的存储信息分配处理数据源的分布式服务器和处理数据源的应用进程。其中，加锁类型为分布式锁，说明此数据源不适用于多进程抢占处理，而是采用分布式锁对应的处理方式。本步骤中，首先为数据源分配处理数据源的分布式服务器和处理数据源的应用进程。130，依据分布式服务器的加锁目录检测应用进程当前是否空闲。其中，在为数据源分配了应用进程后，可以依据分布式服务器的加锁目录检测应用进程当前是否空闲，即检测应用进程是否正在处理其他任务。140，应用进程当前空闲，通过应用进程对数据源进行处理。其中，在应用进程当前空闲，说明其当前可以对数据源进行处理，进而通过应用本文档来自技高网...

【技术保护点】
1.一种数据集群化处理的方法，其特征在于，包括：接收到数据源的访问请求，基于所述数据源的数据特性确定所述数据源对应的加锁类型；所述加锁类型为分布式锁，根据所述数据源的存储信息分配处理所述数据源的分布式服务器和处理所述数据源的应用进程；依据所述分布式服务器的加锁目录检测所述应用进程当前是否空闲；所述应用进程当前空闲，通过所述应用进程对所述数据源进行处理。

【技术特征摘要】
1.一种数据集群化处理的方法，其特征在于，包括：接收到数据源的访问请求，基于所述数据源的数据特性确定所述数据源对应的加锁类型；所述加锁类型为分布式锁，根据所述数据源的存储信息分配处理所述数据源的分布式服务器和处理所述数据源的应用进程；依据所述分布式服务器的加锁目录检测所述应用进程当前是否空闲；所述应用进程当前空闲，通过所述应用进程对所述数据源进行处理。2.根据权利要求1所述数据集群化处理的方法，其特征在于，所述根据所述分布式服务器的加锁目录检测所述应用进程当前是否空闲，包括：所述分布式服务器的加锁目录包括子节点，确定所述应用进程当前不空闲；所述分布式服务器的加锁目录不包括子节点，在所述加锁目录下创建临时子节点，所述临时子节点不是所述加锁目录下序号最小的子节点，确定所述应用进程当前不空闲，并删除所述临时子节点；所述分布式服务器的加锁目录不包括子节点，在所述加锁目录下创建临时子节点，所述临时子节点为所述加锁目录下序号最小的子节点，确定所述应用进程当前空闲。3.根据权利要求1所述数据集群化处理的方法，其特征在于，所述在所述分布式服务器上创建所述数据源对应的加锁目录之后，还包括：检测所述应用进程是否出现异常；所述应用进程出现异常，对所述数据源进行解锁。4.根据权利要求1所述数据集群化处理的方法，其特征在于，所述根据所述数据源的存储信息分配处理所述数据源的分布式服务器和处理所述数据源的应用进程，包括：根据存储所述数据源的存储节点查询所述存储节点对应的任务标识；基于所述任务标识和预设属性标识确定所述分布式服务器；根据进程标识从所述分布式服务器的进程列表中确定处理所述数据源的应用进程。5.根据权利要求1所述数据集群化处理的方法，其特征在于，所述数据特性包括数据特性开关值；所述数据特性开关值为预设值，所述加锁类型为分布式锁。6.一种数据集群化处理的装置，其特征在于，包括：确定单元，用于接收到数据源的访问请求，基于所述数据源的数据特性确定所述数据源对应的加锁类型；分配单元，用于所述加锁类型为分布式锁，根据所述数据源的存储信息分配处理所述数据源的分布式服务器和处理所述数据源的应用进程；...

【专利技术属性】
技术研发人员：王卉，雷中杰，樊炼，林洁，胡莉，李林，许佳，徐庆，张欣，黄璐，薛超，
申请(专利权)人：中国移动通信集团湖北有限公司，中国移动通信集团公司，
类型：发明
国别省市：湖北,42