分布式数据采集方法及装置制造方法及图纸

本发明专利技术公开了一种分布式数据采集方法及装置，方法包括：采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列，利用预置的负载均衡器将上述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件，然后解析各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库。相较于现有技术而言，本发明专利技术可以分解消息数据的传输压力，上述数据库预先经过读写分离处理，可具有较高的数据处理性能，从而可以解决现有技术中轨道交通信号设备自动监测系统在采集数据较大时会出现中间件堵塞，数据处理不及时，导致整个系统的性能较差的技术问题。

【技术实现步骤摘要】
分布式数据采集方法及装置
本专利技术涉及数据处理
，尤其涉及一种分布式数据采集方法及装置。
技术介绍
随着轨道交通的迅猛发展，计算机技术的快速提高，将计算机技术合理应用于轨道交通领域已越来越成为规定交通发展的趋势。对于轨道交通的信号系统中各种设备的维护方式，正逐步由人工检测、定期维修向着综合设备实时监测并自动派发维修工单的模式转变。但这种转变需要海量的监测数据，而在轨道交通信号设备自动监测系统中，各种采集数据一般由中间件进行数据转发，这种方案在数据量比较小的时候可以满足系统需求，但当采集数据较大时则会出现中间件堵塞，数据处理不及时等各种问题，影响整个自动检测系统的性能。
技术实现思路
本专利技术的主要目的在于提供一种分布式数据采集方法及装置，旨在解决现有的轨道交通信号设备自动监测系统在采集数据较大时会出现中间件堵塞，数据处理不及时，导致整个系统的性能较差的技术问题。为实现上述目的，本专利技术第一方面提供一种分布式数据采集方法，该方法包括：采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列；利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件；解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库。可选的，所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤之前还包括：监测所述前置消息队列是否接收到所述消息数据；当所述前置消息队列接收到所述消息数据时，则执行所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤。可选的，所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤包括：检测所述各个消息中间件可接收的最大消息数据量；基于所述各个消息中间件可接收的最大消息数据量，利用所述负载均衡器将所述前置消息队列中的消息数据分发至所述各个消息中间件。可选的，所述解析所述各个消息中间件中的子消息数据的步骤之前还包括：监测所述各个消息中间件中是否存在至少一个有新的子消息数据生成的消息中间件；若所述各个消息中间件中存在至少一个有新的子消息数据生成的消息中间件，则执行解析所述各个消息中间件中的子消息数据的步骤。可选的，所述解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库的步骤包括：解析所述各个消息中间件中的子消息数据，将解析后的子消息数据缓存至预设的存储器内；每隔预设的时间间隔，将所述存储器内缓存的子消息数据保存至所述数据库。为实现上述目的，本专利技术第二方面提供一种分布式数据采集装置，该装置包括：采集模块，用于采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列；发送模块，用于利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件；存储模块，用于解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库。可选的，所述装置还包括：第一监测模块，用于监测所述前置消息队列是否接收到所述消息数据，当所述前置消息队列接收到所述消息数据时，则执行所述发送模块。可选的，所述发送模块包括：检测模块，用于检测所述各个消息中间件可接收的最大消息数据量；数据分发模块，用于基于所述各个消息中间件可接收的最大消息数据量，利用所述负载均衡器将所述前置消息队列中的消息数据分发至所述各个消息中间件。可选的，所述装置还包括：第二监测模块，用于监测所述各个消息中间件中是否存在至少一个有新的子消息数据生成的消息中间件，若所述各个消息中间件中存在至少一个有新的子消息数据生成的消息中间件，则执行所述存储模块。可选的，所述存储模块包括：数据解析模块，用于解析所述各个消息中间件中的子消息数据，将解析后的子消息数据缓存至预设的存储器内；数据存储模块，用于每隔预设的时间间隔，将所述存储器内缓存的子消息数据保存至所述数据库。本专利技术所提供的一种分布式数据采集方法，包括：采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列，利用预置的负载均衡器将上述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件，然后解析各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库。相较于现有技术而言，本专利技术将采集到的消息数据经过负载均衡处理后分发至多个消息中间件，然后再分别解析各个消息中间件中子消息数据，并将解析后的子消息数据保存至数据库，以此来分解消息数据的传输压力，上述数据库预先经过读写分离处理，可具有较高的数据处理性能，从而可以解决现有技术中轨道交通信号设备自动监测系统在采集数据较大时会出现中间件堵塞，数据处理不及时，导致整个系统的性能较差的技术问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术第一实施例中分布式数据采集方法的流程示意图；图2为本专利技术第二实施例中分布式数据采集方法的流程示意图；图3为本专利技术第三实施例中分布式数据采集方法的流程示意图；图4为本专利技术第四实施例中分布式数据采集装置的程序模块示意图；图5为本专利技术第五实施例中分布式数据采集装置的程序模块示意图；图6为本专利技术第六实施例中分布式数据采集装置的程序模块示意图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。由于在现有技术中，轨道交通信号设备自动监测系统在采集到的数据较大时会出现中间件堵塞，从而存在数据处理不及时，整个系统的性能较差的技术问题。为了解决上述技术问题，本专利技术实施例提出一种分布式数据采集方法，该方法将采集到的消息数据经过负载均衡处理后分发至多个消息中间件，然后再分别解析各个消息中间件中子消息数据，并将解析后的子消息数据保存至数据库，以此来分解消息数据的传输压力，此外，上述数据库预先经过读写分离处理，因此可具有较高的数据处理性能。具体的，请参阅图1，图1为本专利技术第一实施例中分布式数据采集方法的流程示意图，本专利技术实施例中，上述分布式数据采集方法包括：步骤101、采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列；本专利技术实施例中，先通过预置的数据采集设备采集轨道交通信号设备自动监测系统中已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列。其中，“消息”是指在两台计算机间传送的数据单位，该消息可以非常简单，例如只包含文本字符串；也可以更复杂，如包含嵌入对象。上述消息数据被发送到前置消息队列中，其中，“消息队列”是指在消息的传输过程中保本文档来自技高网...

【技术保护点】
一种分布式数据采集方法，其特征在于，所述方法包括：采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列；利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件；解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库。

【技术特征摘要】
1.一种分布式数据采集方法，其特征在于，所述方法包括：采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列；利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件；解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库。2.根据权利要求1所述的方法，其特征在于，所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤之前还包括：监测所述前置消息队列是否接收到所述消息数据；当所述前置消息队列接收到所述消息数据时，则执行所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤。3.根据权利要求1所述的方法，其特征在于，所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤包括：检测所述各个消息中间件可接收的最大消息数据量；基于所述各个消息中间件可接收的最大消息数据量，利用所述负载均衡器将所述前置消息队列中的消息数据分发至所述各个消息中间件。4.根据权利要求1所述的方法，其特征在于，所述解析所述各个消息中间件中的子消息数据的步骤之前还包括：监测所述各个消息中间件中是否存在至少一个有新的子消息数据生成的消息中间件；若所述各个消息中间件中存在至少一个有新的子消息数据生成的消息中间件，则执行解析所述各个消息中间件中的子消息数据的步骤。5.根据权利要求1至4任意一项所述的方法，其特征在于，所述解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库的...

【专利技术属性】
技术研发人员：智国盛，李健，唐建林，杨自玲，
申请(专利权)人：深圳交控科技有限公司，
类型：发明
国别省市：广东,44