接入分发单元的实时可视化监控方法、系统、设备及介质技术方案

本发明专利技术涉及一种接入分发单元的实时可视化监控方法、系统、设备及介质。对接入数据进行粒度划分，得到第一粒度数据，并生成所述第一粒度数据的粒度信息及第一粒度数据信息；通过中间件单元接收第一粒度数据，生成待分发数据；对待分发数据进行粒度划分，得到第二粒度数据，并生成所述第二粒度数据的粒度信息及第二粒度数据信息；根据监控单元的所述第一粒度信息及第一粒度数据信息、第二粒度信息及第二粒度数据信息生成监控结果。能够实时的、系统的、独立的监控接入数据、分发数据的业务状态，对接入的不同业务系统进行监控，能够实时发现已经存在的或者潜在的问题。

Real time visual monitoring method, system, device and medium for access distribution unit

The invention relates to a real-time visual monitoring method, system, equipment and medium for accessing distribution units. The access data is granularized to obtain the first granularity data, and the granularity information and the first granularity data information of the first granularity data are generated; the first granularity data is received by the middleware unit to generate the data to be distributed; the distribution data is granularized to obtain the second granularity data, and the second granularity data is generated. The granularity information and the second granularity data information of the two granularity data, and the monitoring result is generated according to the first granularity information and the first granularity data information, the second granularity information and the second granularity data information of the monitoring unit. Real-time, systematic, independent monitoring of access data, distribution of data business status, monitoring of access to different business systems, can be real-time to identify existing or potential problems.

【技术实现步骤摘要】
接入分发单元的实时可视化监控方法、系统、设备及介质
本专利技术属于数据监控领域，尤其涉及一种接入分发单元的实时可视化监控方法、系统、设备及介质。
技术介绍
近年来，随着移动互联网和信息技术的深入发展和普及应用，物流行业的规模不断增大和业务全面拓展，每时每刻都在产生海量的数据，但是目前还没有一套完整覆盖公司各项业务的数据监控系统，既不能宏观地观察公司的业务与数据，也没有一套屏蔽底层细节的微观观察模型，接入分发单元能够通过kafka接入的各个部门、各种业务的数据，因此，有效的大数据处理监控工具已经成为目前公司和部门的迫切需求，覆盖多层面的监控工具的研发势在必行。
技术实现思路
为了解决上述技术问题，本专利技术的目的在于提供一种接入分发单元的实时可视化监控方法、系统、设备及介质。根据本专利技术的一个方面，提供了一种接入分发单元的实时可视化监控方法，包括以下步骤：对接入数据进行粒度划分，得到第一粒度数据，并生成所述第一粒度数据的粒度信息及第一粒度数据信息，将所述第一粒度数据发送至中间件单元，将所述第一粒度信息及第一粒度数据信息上传至监控单元；通过中间件单元接收第一粒度数据，生成待分发数据；对待分发数据进行粒度划分，得到第二粒度数据，并生成所述第二粒度数据的粒度信息及第二粒度数据信息，将所述第二粒度数据分发至相应的数据库，将所述第二粒度信息及第二粒度数据信息上传至监控单元；根据监控单元的所述第一粒度信息及第一粒度数据信息、第二粒度信息及第二粒度数据信息生成监控结果。进一步的，根据监控单元的所述第一粒度信息及第一粒度数据信息、第二粒度信息及第二粒度数据信息生成监控结果，包括：根据监控单元的第一粒度数据信息及第二粒度数据信息得到中间件单元的数据积压信息；根据监控单元的第一粒度信息、第二粒度信息结合数据来源信息得到数据流向信息。进一步的，所述的接入分发单元的实时可视化监控方法，还包括：将中间件单元的数据积压值与数据积压阈值比对，若中间件单元的数据积压值超过数据积压阈值则生成警示结果。进一步的，数据来源信息通过接入数据提交的字段数据获取。进一步的，所述的接入分发单元的实时可视化监控方法，还包括：通过中间件单元接收第一粒度数据，进行存储，生成主题粒度信息，并将主题粒度元信息上传至监控单元。进一步的，数据流向信息还包括主题粒度元信息。进一步的，监控单元包括开源监控模块、可视化监控模块。其中，中间件单元为kafka，开源监控模块为openTSDB。进一步的，所述第一粒度信息及第一粒度数据信息、所述第二粒度信息及第二粒度数据信息均上传至开源监控模块。进一步的，主题粒度元信息上传至可视化监控模块。进一步的，根据监控单元的第一粒度数据信息及第二粒度数据信息得到中间件单元的数据积压信息，包括：根据开源监控模块的第一粒度数据信息及第二粒度数据信息得到中间件单元的数据积压信息。进一步的，监控结果通过可视化监控模块展示。进一步的，数据积压信息通过可视化监控模块调用中间件单元进行可视化展示。进一步的，数据来源信息和/或数据流向信息通过可视化监控模块根据http协议通过调用开源监控模块进行可视化展示。进一步的，所述第一粒度数据的粒度信息为任务粒度、系统粒度、业务线粒度、接入类型粒度的至少一种信息，所述第二粒度数据的粒度信息包括任务粒度、系统粒度、业务线粒度、分发类型粒度的至少一种信息。根据本专利技术的另一个方面，提供了一种接入分发单元的实时可视化监控系统，包括：接入单元，配置用于对接入数据进行粒度划分，得到第一粒度数据，并生成所述第一粒度数据的粒度信息及第一粒度数据信息，将所述第一粒度数据发送至中间件单元，将所述第一粒度信息及第一粒度数据信息上传至监控单元；中间件单元，配置用于通过中间件单元接收第一粒度数据，生成待分发数据；分发单元，配置用于对待分发数据进行粒度划分，得到第二粒度数据，并生成所述第二粒度数据的粒度信息及第二粒度数据信息，将所述第二粒度数据分发至相应的数据库，将所述第二粒度信息及第二粒度数据信息上传至监控单元；监控单元，配置用于根据所述第一粒度信息及第一粒度数据信息、第二粒度信息及第二粒度数据信息生成监控结果。进一步的，监控单元还配置用于：根据监控单元的第一粒度数据信息及第二粒度数据信息得到中间件单元的数据积压信息；根据监控单元的第一粒度信息、第二粒度信息结合数据来源信息得到数据流向信息。进一步的，该系统还包括警示单元，配置用于将中间件单元的数据积压值与数据积压阈值比对，若中间件单元的数据积压值超过数据积压阈值则生成警示结果。进一步的，数据来源信息通过接入数据提交的字段数据获取。进一步的，中间件单元还配置用于接收第一粒度数据，进行存储，生成主题粒度信息，并将主题粒度元信息上传至监控单元。数据流向信息还包括主题粒度元信息。进一步的，监控单元包括开源监控模块、可视化监控模块。进一步的，开源监控模块配置用于：接收所述第一粒度信息及第一粒度数据信息、所述第二粒度信息及第二粒度数据信息；根据所述第一粒度数据信息及第二粒度数据信息得到中间件单元的数据积压信息。进一步的，可视化监控模块配置用于：接收主题粒度元信息；展现监控结果。进一步的，可视化监控模块还配置用于：调用中间件单元可视化展示数据积压信息；根据http协议通过调用开源监控模块可视化展示数据来源信息和/或数据流向信息。其中，所述第一粒度数据的粒度信息为任务粒度、系统粒度、业务线粒度、接入类型粒度的至少一种信息，所述第二粒度数据的粒度信息包括任务粒度、系统粒度、业务线粒度、分发类型粒度的至少一种信息。分发单元通过控制模块从经中间件单元接入的第一粒度数据。根据本专利技术的另一个方面，提供了一种设备，所述设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一项所述的方法。根据本专利技术的另一个方面，提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法。与现有技术相比，本专利技术具有以下有益效果：1、本专利技术示例的接入分发单元的实时可视化监控方法，对接入数据进行粒度划分，得到第一粒度数据，并生成所述第一粒度数据的粒度信息及第一粒度数据信息，将所述第一粒度数据发送至中间件单元，将所述第一粒度信息及第一粒度数据信息上传至监控单元；通过中间件单元接收第一粒度数据，生成待分发数据；对待分发数据进行粒度划分，得到第二粒度数据，并生成所述第二粒度数据的粒度信息及第二粒度数据信息，将所述第二粒度数据分发至相应的数据库，将所述第二粒度信息及第二粒度数据信息上传至监控单元；根据监控单元的所述第一粒度信息及第一粒度数据信息、第二粒度信息及第二粒度数据信息生成监控结果。能够实时的、系统的、独立的监控接入数据、分发数据的业务状态，对接入的不同业务系统进行监控，能够实时发现已经存在的或者潜在的问题。当积压超过阈值，系统开发人员和相关业务人员就去排查问题，做出最及时的反应。数据流向信息能提供数据流通位置，帮助快速找出问题所在。2、本专利技术示例的接入分发单元的实时可视化监控系统，本专利技术通过构建监控单元，对接入、分发单元各个划分的不同粒度进行监控，能够实时的、系统的、独立的监控接入数据、分发数据的业务状态，对接入的本文档来自技高网...

【技术保护点】
1.一种接入分发单元的实时可视化监控方法，其特征是，包括以下步骤：对接入数据进行粒度划分，得到第一粒度数据，并生成所述第一粒度数据的粒度信息及第一粒度数据信息，将所述第一粒度数据发送至中间件单元，将所述第一粒度信息及第一粒度数据信息上传至监控单元；通过中间件单元接收第一粒度数据，生成待分发数据；对待分发数据进行粒度划分，得到第二粒度数据，并生成所述第二粒度数据的粒度信息及第二粒度数据信息，将所述第二粒度数据分发至相应的数据库，将所述第二粒度信息及第二粒度数据信息上传至监控单元；根据监控单元的所述第一粒度信息及第一粒度数据信息、第二粒度信息及第二粒度数据信息生成监控结果。

【技术特征摘要】
1.一种接入分发单元的实时可视化监控方法，其特征是，包括以下步骤：对接入数据进行粒度划分，得到第一粒度数据，并生成所述第一粒度数据的粒度信息及第一粒度数据信息，将所述第一粒度数据发送至中间件单元，将所述第一粒度信息及第一粒度数据信息上传至监控单元；通过中间件单元接收第一粒度数据，生成待分发数据；对待分发数据进行粒度划分，得到第二粒度数据，并生成所述第二粒度数据的粒度信息及第二粒度数据信息，将所述第二粒度数据分发至相应的数据库，将所述第二粒度信息及第二粒度数据信息上传至监控单元；根据监控单元的所述第一粒度信息及第一粒度数据信息、第二粒度信息及第二粒度数据信息生成监控结果。2.根据权利要求1所述的接入分发单元的实时可视化监控方法，其特征是，根据监控单元的所述第一粒度信息及第一粒度数据信息、第二粒度信息及第二粒度数据信息生成监控结果，包括：根据监控单元的第一粒度数据信息及第二粒度数据信息得到中间件单元的数据积压信息；根据监控单元的第一粒度信息、第二粒度信息结合数据来源信息得到数据流向信息。3.根据权利要求2所述的接入分发单元的实时可视化监控方法，其特征是，还包括：将中间件单元的数据积压值与数据积压阈值比对，若中间件单元的数据积压值超过数据积压阈值则生成警示结果。4.根据权利要求2所述的接入分发单元的实时可视化监控方法，其特征是，数据来源信息通过接入数据提交的字段数据获取。5.根据权利要求2所述的接入分发单元的实时可视化监控方法，其特征是，还包括：通过中间件单元接收第一粒度数据，进行存储，生成主题粒度信息，并将主题粒度元信息上传至监控单元。6.根据权利要求5所述的接入分发单元的实时可视化监控方法，其特征是，数据流向信息还包括主题粒度元信息。7.根据权利要求6所述的接入分发单元的实时可视化监控方法，其特征是，监控单元包括开源监控模块、可视化监控模块。8.根据权利要求7所述的接入分发单元的实时可视化监控方法，其特征是，所述第一粒度信息及第一粒度数据信息、所述第二粒度信息及第二粒度数据信息均上传至开源监控模块。9.根据权利要求8所述的接入分发单元的实时可视化监控方法，其特征是，主题粒度元信息上传至可视化监控模块。10.根据权利要求9所述的接入分发单元的实时可视化监控方法，其特征是，根据监控单元的第一粒度数据信息及第二粒度数据信息得到中间件单元的数据积压信息，包括：根据开源监控模块的第一粒度数据信息及第二粒度数据信息得到中间件单元的数据积压信息。11.根据权利要求10所述的接入分发单元的实时可视化监控方法，其特征是，监控结果通过可视化监控模块展示。12.根据权利要求11所述的接入分发单元的实时可视化监控方法，其特征是，数据积压信息通过可视化监控模块调用中间件单元进行可视化展示。13.根据权利要求11所述的接入分发单元的实时可视化监控方法，其特征是，数据来源信息和/或数据流向信息通过可视化监控模块根据http协议通过调用开源监控模块进行可视化展示。14.根据权利要求1-13任一所述的接入分发单元的实时可视化监控方法，其特征是，所述第一粒度数据的粒度信息为任务粒度、系统粒度、业务线粒度、接入类型粒度的至少一种信息，所述第二粒度数据的粒度信息包括任务粒度、系统粒度、业务线粒度、分发类型粒度的至少一种信息。15.一种...

【专利技术属性】
技术研发人员：张强，蔡适择，陈敏，陈军，陈东沂，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东,44