本发明专利技术公开了一种数据采集处理方法、系统、装置及存储介质，获取数据源的数据，根据数据源的数据确定对应的消息体，将消息体发送至消息队列中，依次从消息队列中获取消息体，根据消息体确定数据源的状态，在数据源为存在且开启的状态时，根据数据源的数据源编码和关键词信息确定处理数据的目标处理器，然后，将数据分发给目标处理器进行清洗处理，并根据清洗后的数据得到若干个数据集合，将数据集合发送到数据库中进行存储；获取数据源的数据并根据数据得到消息体，将消息体发送到消息队列，从消息队列中依次读取进行数据处理，将数据源和数据处理解耦，提高数据处理的效率；本发明专利技术实施例可广泛应用于数据处理技术领域。
【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据采集处理方法、系统、装置及存储介质。
技术介绍
1、在现在的业务系统中，业务系统连接许多种不同的数据源，在日常的业务运行中，数据源会产生许多数据，并将这些数据发送给业务系统中，例如数据库业务数据、系统运行数据、三方接口调用数据、应用程序日志等；但这些数据源产生的数据量庞大，需要占用业务系统大量的资源进行处理，不同的数据源产生的数据格式之间不统一，业务系统的数据处理效率低，影响业务系统的正常运行。
技术实现思路
1、有鉴于此，本专利技术实施例的目的是提供一种数据采集处理方法、系统、装置及存储介质，可以对不同的数据源进行管理，提高数据处理效率。
2、一方面，本专利技术实施例提供了一种数据采集处理方法，包括以下步骤：
3、获取若干个数据源的数据，并根据所述数据源的数据确定消息体；其中，所述消息体包括数据源编码、关键词以及数据源的数据；
4、将所述消息体发送至消息队列；
5、依次获取所述消息队列中的所述消息体，根据所述消息体确定所述数据源的状态；若所述数据源的状态为第一状态，根据数据源确定数据源信息，并根据所述数据源信息确定目标处理器；其中，所述数据源信息包括所述数据源的数据源编码以及所述数据源的关键词信息；所述第一状态表征所述数据源存在且处于开启状态；
6、将若干个所述数据源的数据分发至若干个对应的目标处理器，以使若干个所述目标处理器对所述数据源的数据进行清洗，得到若干个数据集合；
7、将若干个所述数据集合发送至数据库进行存储。
8、可选地，所述数据源的来源包括数据库、系统日志、接口调用或外部输入中的任意一种，所述获取若干个数据源的数据，具体包括：
9、通过监听方式获取数据库上报的数据；
10、或，通过埋点方式获取系统日志或接口调用上报的数据；
11、或，通过接口上报方式获取外部输入的数据。
12、可选地，所述根据所述数据源的数据确定消息体，具体包括：
13、根据所述数据的来源确定数据源编码和关键词；
14、按照预设格式将所述数据源编码、所述关键词和所述数据进行封装，得到消息体。
15、可选地，所述根据所述消息体确定所述数据源的状态，具体包括：
16、对所述消息体进行解析处理，确定数据源编码；
17、将所述数据源编码与第一预设表进行匹配，若匹配成功，根据所述第一预设表确定所述数据源的状态；其中，所述第一预设表包括数据源来源、数据源编码以及所述数据源编码对应的状态信息；所述状态信息包括开启或关闭。
18、可选地，所述根据所述数据源信息确定目标处理器，具体包括：
19、将所述数据源编码以及所述关键词信息与第二预设表进行匹配；
20、若匹配成功，则根据所述第二预设表确定处理器信息，并将所述处理器信息对应的处理器作为目标处理器。
21、可选地，所述方法还包括：
22、实时获取第一数据表信息；实时获取第二数据表信息；其中，所述第一数据表信息包括数据源的来源、数据源编码和数据源状态信息；所述第二数据表信息包括数据源编码、关键词和处理器信息；
23、根据所述第一数据表信息更新所述第一预设表；根据所述第二数据表信息更新第二预设表。
24、可选地，所述将若干个所述数据集合发送至数据库进行存储，具体包括：
25、采集所述数据集合的集合大小信息；
26、将所述集合大小信息与预设阈值进行比较，若所述集合大小信息达到所述预设阈值，将所述数据集合发送至数据库进行存储。
27、另一方面，本专利技术实施例提供了一种数据采集处理系统，包括：
28、数据源配置模块，用于配置采集的数据源、控制数据源的状态以及对数据源进行处理；
29、数据采集模块，用于获取数据源的数据，根据所述数据确定消息体，将所述消息体发送至消息队列，根据消息队列中的消息体确定数据源的状态，并将数据分发至对应的处理器；
30、数据处理模块，用于接收分发的数据，并对所述数据进行清洗，得到数据集合；
31、数据库存储模块，用于接收所述数据集合并进行存储。
32、另一方面，本专利技术实施例提供了一种数据采集处理装置，包括：
33、至少一个处理器；
34、至少一个存储器，用于存储至少一个程序；
35、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如前面方法实施例所述的方法。
36、另一方面，本专利技术实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如前面方法实施例所述的方法。
37、实施本专利技术实施例包括以下有益效果：本实施例获取若干个数据源的数据，根据数据源的数据确定对应的消息体，将消息体发送至消息队列中，依次从消息队列中获取消息体，根据消息体确定数据源的状态，在数据源为存在且处于开启的状态时，根据数据源的数据源编码和关键词信息确定处理数据的目标处理器，然后，将数据分发给目标处理器进行清洗处理，并根据清洗后的数据得到若干个数据集合，将数据集合发送到数据库中进行存储；获取数据源的数据并根据数据得到消息体，将消息体发送到消息队列，从消息队列中依次读取进行数据处理，将数据源和数据处理解耦，提高数据处理的效率。
本文档来自技高网...
【技术保护点】
1.一种数据采集处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述数据源的来源包括数据库、系统日志、接口调用或外部输入中的任意一种，所述获取若干个数据源的数据，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述数据源的数据确定消息体，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述消息体确定所述数据源的状态，具体包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述数据源信息确定目标处理器，具体包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述将若干个所述数据集合发送至数据库进行存储，具体包括：
8.一种数据采集处理系统，其特征在于，包括：
9.一种数据采集处理装置，其特征在于，包括：
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述的方法。
...
【技术特征摘要】
1.一种数据采集处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述数据源的来源包括数据库、系统日志、接口调用或外部输入中的任意一种，所述获取若干个数据源的数据，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述数据源的数据确定消息体，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述消息体确定所述数据源的状态，具体包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述数据源...
【专利技术属性】
技术研发人员：许雪峰，王刚，王远峰，丘凌，曹航瑞，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。