实时数据采集方法和实时数据采集系统技术方案

本发明专利技术提出了一种实时数据采集方法、实时数据采集系统、计算机设备、计算机可读存储介质。其中，实时数据采集方法包括：接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；根据采集数据对应的业务编码确定采集数据所属的业务类型；根据业务类型创建对应的多个任务线程；控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。本发明专利技术实现了按采集数据根据业务类型智能分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

【技术实现步骤摘要】
实时数据采集方法和实时数据采集系统
本专利技术涉及业务数据采集
，具体而言，涉及一种实时数据采集方法、实时数据采集系统、计算机设备、计算机可读存储介质。
技术介绍
随着大数据在业务中不断深入的应用以及业务的高速增长，传统“T+1”模式的离线处理方案在时效性等方面的弊端不断被放大，业务对实时数据处理的需求不断增强。为满足实时数据计算的及时性，首先要解决的问题就是实时数据的采集。因此，如何解决在应用产品中采集上报的所有数据按类型分别采集上报，同时保证数据全面、传输延时低成为亟待解决的问题。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。为此，本专利技术第一个方面在于提出一种实时数据采集方法。本专利技术的第二个方面在于提出一种实时数据采集系统。本专利技术的第三个方面在于提出一种计算机设备。本专利技术的第四个方面在于提出一种计算机可读存储介质。有鉴于此，根据本专利技术的一个方面，提出了一种实时数据采集方法，包括：接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；根据采集数据对应的业务编码确定采集数据所属的业务类型；根据业务类型创建对应的多个任务线程；控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。本专利技术提供的实时数据采集方法，接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，再根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本专利技术实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。根据本专利技术的上述实时数据采集方法，还可以具有以下技术特征：在上述技术方案中，优选地，接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址之前，还包括：发送注册信息至管理服务器，以获取用于请求配置信息的访问密钥；发送心跳信息至管理服务器，以使管理服务器在接收到心跳信息后发送配置信息。在该技术方案中，在接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址之前，首先要发送注册信息至管理服务器，管理服务器负责管理采集器的注册信息及配置，同时为采集器分配一个用于请求配置信息的访问密钥(accessKey)，并为每种业务数据创建数据传输通道；采集器接收访问密钥，根据访问密钥发送心跳信息至管理服务器，管理服务器在接收到心跳信息之后以心跳应答的方式返回采集器的动态配置信息，如此，采集器就可以根据配置信息进行配置并获取用于传输数据的数据总线地址。在上述任一技术方案中，优选地，控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策，具体包括：调用应用程序编程接口API进行封装采集数据；根据采集数据的吞吐量确定当前任务线程的数量；根据采集数据的信息确定采集数据的优先级；控制当前任务线程按照优先级，将采集数据上报至数据平台。在该技术方案中，控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策的过程，对用户提供上报实时数据的应用程序编程接口(API)，通过对API接口调用即可采集上报的数据，对业务系统侵入性小。首先调用API接口进行封装采集数据，根据每种采集数据流的吞吐量(数据包/秒)确定当前任务线程的数量，实现自动调整并发的线程的任务数以防止阻塞，从而满足高吞吐量的需求；再根据采集数据的信息确定采集数据的优先级，根据采集数据的优先级确定线程调度的优先级，控制当前任务线程按照优先级，将采集数据上报至数据平台，保证了重要的数据优先被推送，实现了推送的数据较低的延时。在上述任一技术方案中，优选地，控制当前任务线程按照优先级，将采集数据上报至数据平台之后，还包括：实时监测采集数据的上报状态，根据上报状态确定是否上报成功；若未上报成功，则将采集数据存储至内嵌数据库；发送未上报成功的信息至管理服务器，以使管理服务器根据信息发出预警信号及根据预警信号发送重新调用指令；接收重新调用指令，根据重新调用指令进行调用应用程序编程接口API进行封装采集数据的步骤。在该技术方案中，控制当前任务线程按照优先级，将采集数据上报至数据平台之后，还实时监测采集数据的上报状态，根据上报状态确定上报是否成功，在上报未成功的时候，根据配置的数据有效期，将采集的数据存储至内嵌数据库，保证了采集数据不会丢失；还将未上报成功的信息发送至管理服务器，管理服务器发出预警信号，使得管理服务器对采集状态的监控管理及对异常状态的预警，在选择重新采集上报的采集数据时，接收管理服务器的重新调用指令，重新调用API接口，进行数据封装及数据上报，实现了采集数据一次上报失败，进行二次上报，避免了数据的丢失。在上述任一技术方案中，优选地，采集数据包括：各业务系统的实时交易数据和/或各业务系统的日志数据。在该技术方案中，采集数据包括各业务系统的实时交易数据，以及实时日志数据，通过不同的采集数据类型，进行不同的业务决策，所有的实时数据都被分流推送至大数据平台，满足数据实时计算及挖掘的需求。根据本专利技术的第二个方面，提出了一种实时数据采集系统，包括：获取单元，用于接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；第一确定单元，用于根据采集数据对应的业务编码确定采集数据所属的业务类型；创建单元，用于根据业务类型创建对应的多个任务线程；控制单元，用于控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。本专利技术提供的实时数据采集系统，获取单元接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，第一确定单元指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，创建单元再根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制单元控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本专利技术实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。根据本专利技术的上述实时数据采集系统，还可以具有以下技术特征：在上述技术方案中，优选地，密钥单元，用于发送注册信息至管理服务器，以获取用于请求配置信息的访问密钥；信息单元，用于发送心跳信息至管理服务器，以使管理服务器在接收到心跳信息后发送配置信息。在该技术方案中，在接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址之前，首先密钥单元要发送注册信息至管理服务器，管理服务器负责管理采集器的注册信息及配置，同时为采集器分配一个用于请求配置信息的访问密钥(accessKey)，并为每种业务数据创建数据传输通道；采集器的信息单元接收访问密钥，根据本文档来自技高网...

【技术保护点】
一种实时数据采集方法，其特征在于，包括：接收管理服务器发送的配置信息，根据所述配置信息获取数据总线的地址；根据采集数据对应的业务编码确定采集数据所属的业务类型；根据所述业务类型创建对应的多个任务线程；控制所述多个任务线程通过所述数据总线将对应业务类型的采集数据上报至数据平台，以使所述数据平台根据所述采集数据进行业务决策。

【技术特征摘要】
1.一种实时数据采集方法，其特征在于，包括：接收管理服务器发送的配置信息，根据所述配置信息获取数据总线的地址；根据采集数据对应的业务编码确定采集数据所属的业务类型；根据所述业务类型创建对应的多个任务线程；控制所述多个任务线程通过所述数据总线将对应业务类型的采集数据上报至数据平台，以使所述数据平台根据所述采集数据进行业务决策。2.根据权利要求1所述的实时数据采集方法，其特征在于，接收管理服务器发送的配置信息，根据所述配置信息获取数据总线的地址之前，还包括：发送注册信息至所述管理服务器，以获取用于请求所述配置信息的访问密钥；发送心跳信息至所述管理服务器，以使所述管理服务器在接收到所述心跳信息后发送所述配置信息。3.根据权利要求1所述的实时数据采集方法，其特征在于，控制所述多个任务线程通过所述数据总线将对应业务类型的采集数据上报至数据平台，以使所述数据平台根据所述采集数据进行业务决策，具体包括：调用应用程序编程接口API进行封装所述采集数据；根据所述采集数据的吞吐量确定当前任务线程的数量；根据所述采集数据的信息确定所述采集数据的优先级；控制所述当前任务线程按照所述优先级，将所述采集数据上报至所述数据平台。4.根据权利要求3所述的实时数据采集方法，其特征在于，控制所述当前任务线程按照所述优先级，将所述采集数据上报至所述数据平台之后，还包括：实时监测所述采集数据的上报状态，根据所述上报状态确定是否上报成功；若未上报成功，则将所述采集数据存储至内嵌数据库；发送未上报成功的信息至所述管理服务器，以使所述管理服务器根据所述信息发出预警信号及根据所述预警信号发送重新调用指令；接收所述重新调用指令，根据所述重新调用指令进行调用应用程序编程接口API进行封装所述采集数据的步骤。5.根据权利要求1至4中任一项所述的实时数据采集方法，其特征在于，所述采集数据包括：各业务系统的实时交易数据和/或各业务系统的日志数据。6.一种实时数据采集系统，其特征在于，包括：获取单元，用于接收管理服务器发送的配置信息，根据所述配置信息获取数据总线的地址；第一确定单元，用于根据采集数...

【专利技术属性】
技术研发人员：金锋，李长山，
申请(专利权)人：用友金融信息技术股份有限公司，
类型：发明
国别省市：北京,11