业务数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种业务数据处理方法、装置、计算机设备和存储介质。所述方法包括：通过获取业务需求数据；基于预设第一Kafka数据通道，根据业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据；根据目标实时业务数据以及待处理业务数据，获取数据处理结果。本申请通过Kafka数据解耦特性来进行数据传输，可以有效提高业务需求处理过程中，跨系统处理的数据处理效率。

【技术实现步骤摘要】
业务数据处理方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种业务数据处理方法、装置、计算机设备和存储介质。
技术介绍
随着信息技术和智能电网的发展，电力企业对于信息资源共享与数据价值发现等技术的需求不断激增。智能变电站、智能电表、在线监测系统、现场移动检修系统、测控一体化系统等一大批服务应用系统的广泛建成，使得企业产生和积累了海量结构多样、来源复杂、规模巨大、系统独立的数据资源，造成企业跨系统数据集成与共享难度加大，直接影响数据内在知识价值发现，降低电网运营审计效率。当前进行跨系统数据处理主要依托于系统集成，系统集成的实现方式主要是通过数据分析平台设置不同的数据源，将各自系统的数据源均可通过数据分析平台实现展示查看，最后通过数据分析平台设置表间的勾稽关系，实现跨系统数据处理展示。当前的数据集成的方法不支持数据解耦，以营销与计量自动化跨域场景为例，当营销系统或计量自动化系统其中一个升级造成拓展或修改了数据处理过程，将无法实时获取和输出正确的成果数据。此时需要重新进行数据采集和处理，才能更新及展示实时结果数据，在这种情况下数据处理的效率会受到一定影响。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够能有效提高跨系统数据处理效率的业务数据处理方法、装置、计算机设备和存储介质。一种业务数据处理方法，所述方法包括：获取业务需求数据；基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。在其中一个实施例中，所述基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据之前，还包括：基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。在其中一个实施例中，所述基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据之前，还包括：基于所述预设第一Kafka通道构建第一Kafka消息队列；所述基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据包括：通过所述第一Kafka消息队列，以异步方式根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据。在其中一个实施例中，所述待处理业务数据包括通过预设第三Kafka消息队列，以ETL数据仓库技术以及网络服务技术从业务系统采集的结构化数据。在其中一个实施例中，所述基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据之前，还包括：基于所述预设第二Kafka通道构建第二Kafka消息队列；所述基于预设第二Kafka数据通道，从数据采集终端获取所述待处理业务数据对应的目标实时业务数据包括：通过第二Kafka消息队列获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据。在其中一个实施例中，所述根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果之后，还包括：获取所述实时业务数据的数据种类；根据所述实时业务数据的数据种类为所述实时业务数据添加系统标签；根据添加系统标签后的实时业务数据生成数据下发指令，发送数据下发指令发送至所述外部业务数据平台，所述数据下发指令用于控制所述外部业务数据平台根据所述系统标签，将所述实时业务数据下发至所述系统标签对应的业务系统。一种业务数据处理装置，所述装置包括：需求获取模块，用于获取业务需求数据；第一数据获取模块，用于基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据；第二数据获取模块，用于基于预设第二Kafka数据通道，获取底层终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；数据处理模块，用于根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。在其中一个实施例中，还包括通道构建模块，用于：基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取业务需求数据；基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取业务需求数据；基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。上述业务数据处理方法、装置、计算机设备和存储介质，通过获取业务需求数据；基于预设第一Kafka数据通道，根据业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据；根据目标实时业务数据以及待处理业务数据，获取数据处理结果。本申请基于业务需求数据，通过Kafka通道分别访问外部业务数据平台获取业务系统的待处理业务数据，以及从数据采集终端上传的实时业务数据中，获取待处理业务数据对应的目标实时业务数据，并基于待处理业务数据以及目标实时业务数据，得到业务需求对应的数据处理结果，通过Kafka数据解耦特性来进行数据传输，可以有效提高业务需求处理过程中，跨系统处理的数据处理效率。附图说明图1为一个实施例中业务数据处理方法的应用环境图；图2为一个实施例中业务数据处理方法的流程示意图；图3为一个实施例中数据下发过程的步骤的流程示意图；图4为一个实施例中业务数据处理装置的结构框图；图5为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点本文档来自技高网...

【技术保护点】
1.一种业务数据处理方法，所述方法包括：/n获取业务需求数据；/n基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；/n基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；/n根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。/n

【技术特征摘要】
1.一种业务数据处理方法，所述方法包括：
获取业务需求数据；
基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；
基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；
根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。


2.根据权利要求1所述的方法，其特征在于，所述基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据之前，还包括：
基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；
基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。


3.根据权利要求1所述的方法，其特征在于，所述基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据之前，还包括：
基于所述预设第一Kafka通道构建第一Kafka消息队列；
所述基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据包括：
通过所述第一Kafka消息队列，以异步方式根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据。


4.根据权利要求3所述的方法，其特征在于，所述待处理业务数据包括通过预设第三Kafka消息队列，以ETL数据仓库技术以及网络服务技术从业务系统采集的结构化数据。


5.根据权利要求1所述的方法，其特征在于，所述基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据之前，还包括：
基于所述预设第二Kafka通道构建第二Kafka消息队列；
所述基于预设第二Kafka数据通道，从数据...

【专利技术属性】
技术研发人员：梁卫宁，唐桂坤，周钰书，唐文彬，张剑锋，赵永国，刘森，黎晚晴，陈玲娜，
申请(专利权)人：广西电网有限责任公司，南方电网数字电网研究院有限公司，
类型：发明
国别省市：广西;45