数据分析方法、系统、电子设备和存储介质技术方案

技术编号:36257940 阅读:21 留言:0更新日期:2023-01-07 09:54
本发明专利技术的实施例提供了一种数据分析方法、系统、电子设备及存储介质,涉及大数据领域。其中,数据分析方法,包括:抽取数据源数据库的日志数据集;对所述日志数据集进行第一数据处理后存储至doris数据库;根据所述第一数据处理后的日志数据集对所述doris数据库保存的数据集合进行更新,并对更新后的所述数据集合进行数据分析得到数据分析结果。与现有技术相比,本发明专利技术实施例所提供的数据分析方法、系统、电子设备及存储介质具有实现多维度的实时数据分析的优点。分析的优点。分析的优点。

【技术实现步骤摘要】
数据分析方法、系统、电子设备和存储介质


[0001]本专利技术涉及大数据领域,具体而言,涉及一种数据分析方法、系统、电子设备和存储介质。

技术介绍

[0002]数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动,数据分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操作成为可能,并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物,统计学对于数学的研究有很大的帮助,在信息技术大环境下将统计学与数学的研究结合起来会比较方便学术研究。
[0003]随着大数据时代的来临,现今阶段互联网上面的应用所产生的数据都已经被信息化,各大公司的业务需求和内部决策对于数据分析的实时性和数据分析的维度数量的要求越来越迫切,需要多维度的实时数据分析的能力来赋能。传统的数据分析方法已经无法满足用户对数据分析的实时性和数据分析的维度数量的要求。
专利技术内容
[00本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据分析方法,其特征在于,包括:抽取数据源数据库的日志数据集;对所述日志数据集进行第一数据处理后存储至doris数据库;根据所述第一数据处理后的日志数据集对所述doris数据库保存的数据集合进行更新,并对更新后的所述数据集合进行数据分析得到数据分析结果。2.根据权利要求1所述的方法,其特征在于,所述抽取数据源数据库的日志数据集前,所述方法还包括:获取所述数据源数据库中存储的全部源数据;对所述源数据进行第二数据处理后添加至所述doris数据库中,形成所述数据集合。3.根据权利要求2所述的方法,其特征在于,所述对所述源数据进行第二数据处理,包括:对所述源数据进行抽取,形成csv文件;使用spark工具对所述csv文件形式的所述源数据进行数据规范化处理,所述数据规范化处理包括数据清洗、数据整合、数据合并、数据转化中的任意一种或多种。4.根据权利要求1所述的方法,其特征在于,所述抽取数据源数据库的日志数据集,包括:使用变更数据捕获技术和/或OGG技术从所述数据源数据库中抽取所述日志数据集。5.根据权利要求1所述的方法,其特征在于,所述对所述日志数据集进行第一数据处理后存储至doris数据库,包括:预设Kafka消息队列,并创建若干Kafka Topic;对所述日志数据集进行分类得到若干子类日志数据集;将所述若干子类日志数据集一一对应的添加至所述若干Kafka Topic中;将所述若干子类日志数据集经由所述若干Kafka Topic存储至所述doris数据库。6.根据权利要求...

【专利技术属性】
技术研发人员:周雪刚任英豪
申请(专利权)人:北京新致君阳信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1