【技术实现步骤摘要】
数据采集的方法、系统、存储介质及电子设备
[0001]本专利技术涉及数据处理
，尤其涉及数据采集的方法、系统、存储介质及电子设备。
技术介绍
[0002]随着现代业务的高速发展，人们会逐渐对服务的业务健康状态和服务性能状态变得越来越密切关心，因此需要监测服务的数据，被监测的数据源可以是来自各种形式的：诸如主动式的埋点上报或是被动式的日志采集。
[0003]与此同时，也诞生了一个问题：对于一个流量稍高的服务，伴随着数据源种类的增多，这些服务数据若在同一时刻汇总所产生的数据量也变得不容小觑，如何应对大数据量下的数据收集，是一个非常需要迫切解决的问题。
技术实现思路
[0004]本专利技术的目的在于提供数据采集的方法、系统、存储介质及电子设备，在高流量下，保证收集系统稳健的同时还进一步提高了数据的采集效率。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]一种数据采集的方法，包括：
[0007]接入数据源，并利用布隆过滤器对获取的数据进行去重过滤；
【技术保护点】
【技术特征摘要】
1.一种数据采集的方法，其特征在于，包括：接入数据源，并利用布隆过滤器对获取的数据进行去重过滤；将过滤后的数据压缩后进行加密处理；利用内存映射技术将加密后的数据存储到本地，或同时将本地存储的数据通过网络发送给服务器或外部服务接口。2.根据权利要求1所述的数据采集的方法，其特征在于，基于位图实现所述布隆过滤器，所述布隆过滤器的位数组的元素默认为0。3.根据权利要求2所述的数据采集的方法，其特征在于，利用布隆过滤器对获取的数据进行去重过滤的方法包括：抽取数据中的唯一特征标识；将所述特征标识输入布隆过滤器中，并利用所述布隆过滤器中的多个哈希函数生成不同的哈希值，将所述哈希值对应的位数组的元素设置为1，并存储；若数据经过所述布隆过滤器后得到的位数组已经存在，则舍弃；若数据经过所述布隆过滤器后得到的位数组不存在，则保留。4.根据权利要求1所述的数据采集的方法，其特征在于，利用哈夫曼编码压缩算法对数据进行压缩。5.根据权利要求1所述的数据采集的方法，其特征在于，采用DES对称加密算法对压缩后的数据进行加密。6.根据权利要求1所述的数据采集的方法，其特征在于，利用MMAP内...
【专利技术属性】
技术研发人员：董世永，王世鹏，
申请(专利权)人：创盛视联数码科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。