一种虚拟化云平台的数据采集方法及系统技术方案

本发明专利技术涉及数据采集技术领域，公开了一种虚拟化云平台的数据采集方法，包括以下步骤：步骤S1.在日志单元中收集各类数据发送方的数据，将数据传送至数据处理单元进行配置；步骤S2.在数据处理单元利用通道处理器将配置好的所有数据事件传递给通道选择器和拦截器；步骤S3.通道选择器和拦截器将数据事件传递至对应通道，将数据处理单元匹配通道设为目标通道，并将通道数据复制到通道缓冲区，在通道缓冲区将所有数据传递到数据读取单元；步骤S4.数据读取单元将数据发送至数据处理单元进行处理，将处理后的数据发送给数据采集单元，完成云平台的数据采集。本发明专利技术通过对通道选择器和拦截器的巧妙设置，使得数据的采集与发送均在通道缓存区中进行，对当前通道的业务与数据均不会产生影响，具有业务更加稳定的效果。具有业务更加稳定的效果。具有业务更加稳定的效果。

【技术实现步骤摘要】
一种虚拟化云平台的数据采集方法及系统


[0001]本专利技术涉及数据采集
，具体地说，是一种虚拟化云平台的数据采集方法及系统，使得数据的采集与发送均在通道缓存区中进行，对当前通道的业务与数据均不会产生影响，业务更加稳定。

技术介绍

[0002]当前社会已经进入一个企业数据高速膨胀的时代，近几年，每年全球的数据规模平均以40%的速度增长。在云计算、大数据技术并驾齐驱发展几年后，两个技术逐渐融合，数据平台的技术在云计算的助力下，能够支持更复杂的业务发展需求。虚拟化技术是指一台物理机上可以跑多台虚拟机，共享内存、CPU、IO等硬件资源，虚拟机之间在逻辑上是相互隔离的。云平台发展至今主流的平台已成多足鼎立之势，国外云有AWS、Google云、微软云，国内云有阿里云、腾讯云、AWS中国。在云平台的项目中，经常会有统计页面的需求。统计页面由于数据量和运算量较大，因此不同的数据获取计算方法，可能对页面加载的速度有极大的影响，可能加载时间会差10倍以上。在云平台中整个数据采集系统包括监控服务，上传数据服务，数据分类服务，数据处理服务等，将整个系统拆分成多个子模块并行处理任务，通常会有很多生产数据的服务器，这些服务器的数量上百甚至成千上万，小的数据还可以直接从应用程序写入HDFS，但庞大数量的服务器试着将海量数据直接写入HDFS或者HBase集群，会因为多种原因导致重大问题。如专利CN109104458A所公开的技术方案是通过部署数据采集服务器并使数据采集终端与数据采集工具连接来进行数据采集和数据检测的，虽然能够对数据进行检测，但是由于数据量和运算量较大，加载时间很慢。还需要部署数据采集工具，因此数据采集成本也随之增加。
[0003]因此，为了解决上述问题，亟需一种技术方案，使用本技术方案在虚拟化云平台上进行数据采集使得整个页面对系统的产生的负担非常小，页面加载速度也非常快，几乎都是秒开。本技术方案还提供了一种高可用的、高可靠的、分布式的海量日志采集、聚合和传输的数据采集系统。本技术方案通过对通道选择器和拦截器的巧妙设置，使得数据的采集与发送均在通道缓存区中进行，对当前通道的业务与数据均不会产生影响，业务更加稳定。

技术实现思路

[0004]本专利技术的目的在于提供一种虚拟化云平台的数据采集方法及系统，通过对通道选择器和拦截器的巧妙设置，使得数据的采集与发送均在通道缓存区中进行，对当前通道的业务与数据均不会产生影响，具有业务更加稳定的效果。
[0005]本专利技术通过下述技术方案实现：一种虚拟化云平台的数据采集方法，包括以下步骤：步骤S1.在日志单元中收集各类数据发送方的数据，将数据传送至数据处理单元进行配置；步骤S2.在数据处理单元利用通道处理器将配置好的所有数据事件传递给通道选
择器和拦截器；步骤S3.通道选择器和拦截器将数据事件传递至对应通道，将数据处理单元匹配通道设为目标通道，并将通道数据复制到通道缓冲区，在通道缓冲区将所有数据传递到数据读取单元；步骤S4.数据读取单元将数据发送至数据处理单元进行处理，将处理后的数据发送给数据采集单元，完成云平台的数据采集。
[0006]为了更好地实现本专利技术，进一步地，步骤S1包括：日志单元接受数据，并将接收的数据进行封装后传递给数据处理单元；数据处理单元对数据和事务进行合并后再进行配置。
[0007]为了更好地实现本专利技术，进一步地，数据处理单元对数据和事务进行合并后再进行配置的方法包括：日志单元收集各类数据发送方的数据后，查看日志缓冲区配置项的size值，判断事务是否超过size值，如果是，对数据加入有效状态再进行配置，如果否，直接合并数据和事务进行配置；所述有效状态包括插入指定字段列值以缩短size值。
[0008]为了更好地实现本专利技术，进一步地，步骤S2包括：通道选择器返回写入数据事件的通道列表，并将所有数据事件写入对应的通道。
[0009]为了更好地实现本专利技术，进一步地，步骤S2还包括：使用拦截器对数据进行加解密，所述加解密的方式包括AES加解密方式。
[0010]为了更好地实现本专利技术，进一步地，步骤S3中包括：通道选择器和拦截器将数据事件传递给对应的通道；将通道选择器和拦截器匹配的通道设为目标通道，在目标通道中复制数据到通道缓冲区;在通道缓冲区把所有数据传递给数据读取单元。
[0011]为了更好地实现本专利技术，进一步地，步骤S4中的数据采集单元包括下一个Agent或者最终目的地。
[0012]为了更好地实现本专利技术，进一步地，本专利技术还提供了一种虚拟化云平台的数据采集系统，包括日志单元、数据处理单元、数据读取单元和数据采集单元，其中：日志单元，用于收集各类数据发送方的数据，将数据传送至数据处理单元；数据处理单元，用于配置数据，并利用通道处理器将配置好的所有数据事件传递给通道选择器和拦截器，通道选择器和拦截器将数据事件传递至数据处理单元；用于处理数据，并将处理好的数据发送至数据采集单元；数据读取单元，用于将数据发送至数据处理单元；数据采集单元，用于完成云平台的数据采集。
[0013]本专利技术与现有技术相比，具有以下优点及有益效果：（1）本专利技术提供了一种高可用的、高可靠的、分布式的海量日志采集、聚合和传输的数据采集系统；（2）本专利技术通过对数据处理单元进行配置，并且通过通道选择器和拦截器将数据事件传递至对应通道达到加载数据速度非常快的效果。
附图说明
[0014]本专利技术结合下面附图和实施例做进一步说明，本专利技术所有构思创新应视为所公开内容和本专利技术保护范围。
[0015]图1为本专利技术所提供的一种虚拟化云平台的数据采集方法的流程图。
[0016]图2为本专利技术提供的数据处理单元对数据和事务进行合并后再进行配置的流程图。
具体实施方式
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本专利技术中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。
[0019]实施例1：本实施例的一种虚拟化云平台的数据采集方法，如图1所示，本实施例所公开的数据采集平台云平台虚拟化的数据采集系统，是和其他系统部署在一个虚拟平台上的，其他系统包括信息管理系统，标准化平台，门户系统，基础设施系统等等，本实施例要采集的数据也是这些系统传来的数据。
[0020]实施例2：本实施例在实施例1的基础上做进一步优化，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟化云平台的数据采集方法，其特征在于，包括以下步骤：步骤S1.在日志单元中收集各类数据发送方的数据，将数据传送至数据处理单元进行配置；步骤S2.在数据处理单元利用通道处理器将配置好的所有数据事件传递给通道选择器和拦截器；步骤S3.通道选择器和拦截器将数据事件传递至对应通道，将数据处理单元匹配通道设为目标通道，并将通道数据复制到通道缓冲区，在通道缓冲区将所有数据传递到数据读取单元；步骤S4.数据读取单元将数据发送至数据处理单元进行处理，将处理后的数据发送给数据采集单元，完成云平台的数据采集。2.根据权利要求1所述的一种虚拟化云平台的数据采集方法，其特征在于，所述步骤S1包括：日志单元接受数据，并将接收的数据进行封装后传递给数据处理单元；数据处理单元对数据和事务进行合并后再进行配置。3.根据权利要求2所述的一种虚拟化云平台的数据采集方法，其特征在于，所述数据处理单元对数据和事务进行合并后再进行配置的方法包括：日志单元收集各类数据发送方的数据后，查看日志缓冲区配置项的size值，判断事务是否超过size值，如果是，对数据加入有效状态再进行配置，如果否，直接合并数据和事务进行配置；所述有效状态包括插入指定字段列值以缩短size值。4.根据权利要求1所述的一种虚拟化云平台的数据采集方法，其特征在...

【专利技术属性】
技术研发人员：吴尚，程航，宫帅，武秋阳，张亮，曹弯弯，尹晓宇，董小菱，余东波，张敏，
申请(专利权)人：国网安徽省电力有限公司信息通信分公司，
类型：发明
国别省市：