本申请涉及一种数据处理方法、系统、装置、计算机设备、存储介质和计算机程序产品，涉及云计算技术领域。方法包括：通过采集端获取单元化监控数据，并按照预设的单元化指标分类规则，确定单元化监控数据的单元化指标类型；基于预设的发送策略，通过网关发送节点发送单元化监控数据对应的单元化监控信息；基于预设的接收策略，通过网关接收节点接收单元化监控信息；通过数据处理节点根据单元化监控数据的类型标识和预设的存储规则，确定单元化监控数据的目标存储空间，并对单元化监控数据进行存储处理；单元化监控数据用于对单元化系统监控。采用本方法能够实现对单元化监控系统的数据处理，完成对单元化系统的监控。完成对单元化系统的监控。完成对单元化系统的监控。
【技术实现步骤摘要】
数据处理方法、系统、装置、计算机设备和存储介质
[0001]本申请涉及云计算
，特别是涉及一种数据处理方法、系统、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]单元是一个能完成所有业务操作的自包含集合，在这个集合中包含了所有业务所需的所有服务，以及分配给这个单元的数据。单元化架构就是把单元作为系统部署的基本单位，在全站所有机房中部署数个单元，任意一个单元都部署了系统所需的所有应用，数据则是全量数据按照某种维度(通常是客户维度)水平划分后的一部分。单元化是将服务和数据设计改造让其符合单元特征的过程。
[0003]然而，目前缺乏适用于单元化系统的监控的数据处理方法。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够适用于单元化系统的监控的数据处理方法、系统、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种数据处理方法。所述方法应用于单元化监控系统，所述单元化监控系统包括采集端、网关发送节点、网关接收节点和数据处理节点；所述方法包括：
[0006]通过所述采集端获取单元化监控数据，并按照预设的单元化指标分类规则，确定所述单元化监控数据的单元化指标类型；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；
[0007]基于预设的发送策略，通过所述网关发送节点发送所述单元化监控数据对应的单元化监控信息；所述单元化监控信息包含单元化监控数据和类型标识；所述类型标识用于表示所述单元化监控数据的单元化指标类型；
[0008]基于预设的接收策略，通过所述网关接收节点接收所述单元化监控信息；
[0009]通过所述数据处理节点根据所述单元化监控数据的类型标识和预设的存储规则，确定所述单元化监控数据的目标存储空间，并对所述单元化监控数据进行存储处理；所述单元化监控数据用于对单元化系统监控。
[0010]在其中一个实施例中，所述通过所述数据处理节点根据所述单元化监控数据的类型标识和预设的存储规则，确定所述单元化监控数据的目标存储空间，并对所述单元化监控数据进行存储处理包括：
[0011]基于预设的单元化指标类型与目标存储空间之间的对应关系，通过所述数据处理节点确定所述单元化监控数据的目标存储空间，并将所述单元化监控数据存储到目标存储空间。
[0012]在其中一个实施例中，在所述单元化监控数据的单元化指标类型为链路类的情况下，所述方法还包括：
[0013]通过所述数据处理节点对所述单元化监控数据进行拓扑计算，得到所述单元化监控数据包含的各链路节点对应的签名值；
[0014]通过所述数据处理节点将所述签名值与所述单元化监控数据之间的目标映射关系存储到第一数据库；
[0015]通过所述数据处理节点根据所述各链路节点对应的签名值，确定所述单元化监控数据包含的链路的目标点边关系；
[0016]通过所述数据处理节点将所述目标点边关系存储到第二数据库。
[0017]在其中一个实施例中，所述基于预设的发送策略，通过所述网关发送节点发送所述单元化监控数据对应的单元化监控信息包括：
[0018]通过所述网关发送节点缓存所述单元化监控数据对应的单元化监控信息；
[0019]通过所述网关发送节点对所述单元化监控信息打包，得到打包后的单元化监控信息；
[0020]通过所述网关发送节点对所述打包后的单元化监控信息压缩，得到发送数据，并发送所述发送数据。
[0021]在其中一个实施例中，所述基于预设的接收策略，通过所述网关接收节点接收所述单元化监控信息包括：
[0022]通过所述网关接收节点消费所述发送数据；
[0023]通过所述网关接收节点对所述发送数据解压，得到解压后的发送数据；
[0024]通过所述网关接收节点对所述解压后的发送数据进行解包处理，得到所述单元化监控信息。
[0025]在其中一个实施例中，所述发送所述发送数据包括：
[0026]将所述发送数据发送到消息中间件；
[0027]所述通过所述网关接收节点消费所述发送数据包括：
[0028]通过所述网关接收节点从所述消息中间件中消费所述发送数据。
[0029]第二方面，本申请还提供了一种数据处理系统。所述系统包括：
[0030]采集端，用于获取单元化监控数据，并按照预设的单元化指标分类规则，确定所述单元化监控数据的单元化指标类型；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；
[0031]网关发送节点，用于基于预设的发送策略，发送所述单元化监控数据对应的单元化监控信息；所述单元化监控信息包含单元化监控数据和类型标识；所述类型标识用于表示所述单元化监控数据的单元化指标类型；
[0032]网关接收节点，用于基于预设的接收策略，接收所述单元化监控信息；
[0033]数据处理节点，用于根据所述单元化监控数据的类型标识和预设的存储规则，确定所述单元化监控数据的目标存储空间，并对所述单元化监控数据进行存储处理；所述单元化监控数据用于对单元化系统监控。
[0034]在其中一个实施例中，所述数据处理节点，具体用于：
[0035]基于预设的单元化指标类型与目标存储空间之间的对应关系，确定所述单元化监控数据的目标存储空间，并将所述单元化监控数据存储到目标存储空间。
[0036]在其中一个实施例中，在所述单元化监控数据的单元化指标类型为链路类的情况
下，所述数据处理节点，还用于：
[0037]对所述单元化监控数据进行拓扑计算，得到所述单元化监控数据包含的各链路节点对应的签名值；
[0038]将所述签名值与所述单元化监控数据之间的目标映射关系存储到第一数据库；
[0039]根据所述各链路节点对应的签名值，确定所述单元化监控数据包含的链路的目标点边关系；
[0040]将所述目标点边关系存储到第二数据库。
[0041]在其中一个实施例中，所述网关发送节点，具体用于：
[0042]缓存所述单元化监控数据对应的单元化监控信息；
[0043]对所述单元化监控信息打包，得到打包后的单元化监控信息；
[0044]对所述打包后的单元化监控信息压缩，得到发送数据，并发送所述发送数据。
[0045]在其中一个实施例中，所述网关接收节点，具体用于：
[0046]消费所述发送数据；
[0047]对所述发送数据解压，得到解压后的发送数据；
[0048]对所述解压后的发送数据进行解包处理，得到所述单元化监控信息。
[0049]在其中一个实施例中，所述网关发送节点，具体用于：
[0050]将所述发送数据发送到消息中间件；
[0051]所述网关接收节点，具体用于：
[0052]从所述消息中间件中消费所述发送数据。
[0053]第三方面，本申请还提供了本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于单元化监控系统，所述单元化监控系统包括采集端、网关发送节点、网关接收节点和数据处理节点；所述方法包括：通过所述采集端获取单元化监控数据，并按照预设的单元化指标分类规则，确定所述单元化监控数据的单元化指标类型；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；基于预设的发送策略，通过所述网关发送节点发送所述单元化监控数据对应的单元化监控信息；所述单元化监控信息包含单元化监控数据和类型标识；所述类型标识用于表示所述单元化监控数据的单元化指标类型；基于预设的接收策略，通过所述网关接收节点接收所述单元化监控信息；通过所述数据处理节点根据所述单元化监控数据的类型标识和预设的存储规则，确定所述单元化监控数据的目标存储空间，并对所述单元化监控数据进行存储处理；所述单元化监控数据用于对单元化系统监控。2.根据权利要求1所述的方法，其特征在于，所述通过所述数据处理节点根据所述单元化监控数据的类型标识和预设的存储规则，确定所述单元化监控数据的目标存储空间，并对所述单元化监控数据进行存储处理包括：基于预设的单元化指标类型与目标存储空间之间的对应关系，通过所述数据处理节点确定所述单元化监控数据的目标存储空间，并将所述单元化监控数据存储到目标存储空间。3.根据权利要求2所述的方法，其特征在于，在所述单元化监控数据的单元化指标类型为链路类的情况下，所述方法还包括：通过所述数据处理节点对所述单元化监控数据进行拓扑计算，得到所述单元化监控数据包含的各链路节点对应的签名值；通过所述数据处理节点将所述签名值与所述单元化监控数据之间的目标映射关系存储到第一数据库；通过所述数据处理节点根据所述各链路节点对应的签名值，确定所述单元化监控数据包含的链路的目标点边关系；通过所述数据处理节点将所述目标点边关系存储到第二数据库。4.根据权利要求1所述的方法，其特征在于，所述基于预设的发送策略，通过所述网关发送节点发送所述单元化监控数据对应的单元化监控信息包括：通过所述网关发送节点缓存所述单元化监控数据对应的单元化监控信息；通过所述网关发送节点对所述单元化监控信息打包，得到打包后的单元化监控信息；通过所述网关发送节点对所述打包后的单元化监控信息压缩，得到发送数据，并发送所述发送数据。5.根据权利要求4所述的方法，其特征在于，所述基于预设的接收策略，通过所述网关接收节点接收所述单元化监控信息包括：通过所述网关接收节点消费所述发送数据；通过所述网关接收节点对所述发送数据解压，得到解压后的发送数据；通过所述网关接收节点对所...
【专利技术属性】
技术研发人员：王鹏培，顾欣，凌晨，刘成锋，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。