一种审计大数据处理方法及系统技术方案

本发明专利技术属于审计数据处理技术领域，公开了一种审计大数据处理方法及系统，所述审计大数据处理系统包括：审计数据获取模块、结构化处理模块、审计数据存储模块、中央处理模块、审计数据预处理模块、特征提取模块、审计数据分析处理模块、审计数据输出模块、审计数据更新显示模块。本发明专利技术提供的审计大数据处理方法，通过将待处理的原始审计数据提取为结构化数据，形成可检索的二维表结构，便于后续审计数据的生成，避免人工干预，提高效率，审计智能化、准确性高。同时，本发明专利技术通过审计数据预处理模块和ETL工具，提高了审计数据的采集质量，审计数据存储采用分布式文件系统，解决了审计数据存储的容量瓶颈，同时保证了审计数据的安全性。

【技术实现步骤摘要】
一种审计大数据处理方法及系统
本专利技术属于审计数据处理
，尤其涉及一种审计大数据处理方法及系统。
技术介绍
大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。但是，传统的基于大数据的审计方法对数据的采集存在目的性和选择性上不够准确导致数据臃肿，影响审计分析结果。因此，亟需一种新的审计大数据处理方法。通过上述分析，现有技术存在的问题及缺陷为：传统的基于大数据的审计方法对数据的采集存在目的性和选择性上不够准确导致数据臃肿，影响审计分析结果。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种审计大数据处理方法及系统。本专利技术是这样实现的，一种审计大数据处理方法，所述审计大数据处理方法包括以下步骤：步骤一，通过审计数据获取模块利用审计数据获取设备获取待处理的原始审计数据；步骤二，通过结构化处理模块利用结构化处理程序将获取的原始审计数据进行结构化转换；步骤三，通过审计数据存储模块利用审计数据存储程序将结构化转换后的数据以文件扩展名的形式存储至云数据库服务器；所述将结构化转换后的数据以文件扩展名的形式存储至云数据库服务器，具体为：根据关系型数据存储方法，在第一服务器存储一个以上第一数据以及所述一个以上第一数据与一个以上第二数据的序列标识的对应关系；对两个以上第二服务器的标识进行映射运算，获取所述两个以上第二服务器的标识的映射值；根据所述两个以上第二服务器的标识的映射值，将映射值集合划分为两个以上映射值区间；将所述两个以上映射值区间分别对应所述两个以上第二服务器，作为该第二服务器的存储标识范围；对所述一个以上第二数据的序列标识进行所述映射运算，以每个第二数据的序列标识的映射值作为该第二数据的存储标识；根据所述一个以上第二数据的序列标识，分别获取每个第二数据的存储标识；根据所述每个第二数据的存储标识和所述每个第二服务器的存储标识范围，将该第二数据存储到对应的第二服务器；关闭所述两个以上第二服务器中的一个以上第二服务器；将存储标识属于关闭的第二服务器的存储标识范围的第二数据，存储到存储标识范围为该关闭的第二服务器的存储标识范围之后的第二服务器，并采用该关闭的第二服务器的标识对该第二数据进行标记；重新开启关闭的所述一个以上第二服务器；根据第二数据标记的所述第二服务器的标识，将该第二数据存储到该标识对应的第二服务器；步骤四，通过中央处理模块利用中央处理器控制所述审计大数据处理系统各个模块的正常运行；步骤五，通过审计数据预处理模块利用审计数据预处理程序利用ETL技术对结构化转换后的审计数据进行预处理，得到预处理后的审计数据；步骤六，通过特征提取模块利用特征提取程序对预处理后的审计数据特征进行提取；步骤七，通过审计数据分析处理模块利用审计数据分析处理程序利用提取的审计数据特征对审计数据进行分析处理；步骤八，通过审计数据输出模块利用数据输出程序将分析处理后的审计数据进行输出；步骤九，通过数据更新显示模块利用审计数据更新程序将所述审计大数据处理系统数据进行更新，并通过高清LED显示器进行显示。进一步，步骤一中，所述通过审计数据获取模块利用审计数据获取设备获取待处理的原始审计数据，具体包括：(1)开始；(2)骨干节点B判断骨干节点B的网络前缀是否等于骨干节点B的网路前缀，如果是，则执行步骤(4)，否则执行步骤(3)；(3)如果骨干节点B的网络前缀大于骨干节点B的网络前缀，骨干节点B则判断骨干节点B的优先级大于骨干节点B，如果骨干节点B的网络前缀小于骨干节点B的网络前缀，骨干节点B则判断骨干节点B的优先级小于骨干节点B，执行步骤(7)；(4)骨干节点B判断骨干节点B的节点ID是否等于骨干节点B的节点ID，如果是，则执行步骤(6)，否则执行步骤(5)；(5)如果骨干节点B的节点ID大于骨干节点B的节点ID，骨干节点B则判断骨干节点B的优先级大于骨干节点B，如果骨干节点B的节点ID小于骨干节点B的节点ID，骨干节点B则判断骨干节点B的优先级小于骨干节点B，执行步骤(7)；(6)如果骨干节点B广播的地址创建消息中的随机数大于骨干节点B广播的地址创建消息中的随机数，骨干节点B则判断骨干节点B的优先级大于骨干节点B，如果骨干节点B广播的地址创建消息中的随机数小于骨干节点B广播的地址创建消息中的随机数，骨干节点B则判断骨干节点B的优先级小于骨干节点B；(7)结束。进一步，步骤二中，所述通过结构化处理模块利用结构化处理程序将获取的原始审计数据进行结构化转换的方法为：将获取的原始审计数据转化为可检索的二维表；在形成所述二维表过程中，跳过对空行的提取。进一步，步骤五中，所述通过预处理程序利用ETL技术对结构化转换后的审计数据进行预处理的方法，包括：(I)将审计数据中的每一条记录封装成数据流类型的对象，将数据流类型的对象插入到缓存队列中，等待下一步操作；(II)利用ETL技术匹配数据流类型的对象的特征，对审计数据进行预处理，得到匹配后的数据；(III)将匹配后的数据发送至云数据库服务器。进一步，步骤(II)中，所述利用ETL技术匹配数据流类型的对象的特征，对审计数据进行预处理的方法，包括：1)配置数据流类型的对象的匹配模板，设置匹配规则；2)生成相应的匹配器，将所述匹配模板加入到匹配器中；3)用匹配器依次读取数据流类型的对象，依次匹配数据流类型对象的特征。进一步，步骤七中，所述通过数据分析处理模块利用分析处理程序利用提取的审计数据特征对审计数据进行分析处理的方法，包括：通过数据清洗、数据转换、数据整合及数据加载中一种或者多种操作将所述基础数据转换为符合会计准则的规范化数据的所述第一数据；通过分析处理程序基于审计师知识图谱的智能审计模型和/或大数据相关性审计方法模型利用提取的审计数据特征得到所述第二数据。本专利技术的另一目的在于提供一种审计大数据处理系统，所述审计大数据处理系统包括：审计数据获取模块、结构化处理模块、审计数据存储模块、中央处理模块、审计数据预处理模块、特征提取模块、审计数据分析处理模块、审计数据输出模块、审计数据更新显示模块；审计数据获取模块，与中央处理模块连接，用于通过审计数据获取设备获取待处理的原始审计数据；结构化处理模块，与中央处理模块连接，用于通过结构化处理程序将获取的原始审计数据进行结构化转换；审计数据存储模块，与中央处理模块连接，用于通过存储程序将结构化转换后的审计数据以文件扩展名的形式存储至云数据库服务器本文档来自技高网...

【技术保护点】
1.一种审计大数据处理方法，其特征在于，所述审计大数据处理方法包括以下步骤：/n步骤一，通过审计数据获取模块利用审计数据获取设备获取待处理的原始审计数据；/n步骤二，通过结构化处理模块利用结构化处理程序将获取的原始审计数据进行结构化转换；/n步骤三，通过审计数据存储模块利用审计数据存储程序将结构化转换后的数据以文件扩展名的形式存储至云数据库服务器；/n所述将结构化转换后的数据以文件扩展名的形式存储至云数据库服务器，具体为：/n根据关系型数据存储方法，在第一服务器存储一个以上第一数据以及所述一个以上第一数据与一个以上第二数据的序列标识的对应关系；/n对两个以上第二服务器的标识进行映射运算，获取所述两个以上第二服务器的标识的映射值；根据所述两个以上第二服务器的标识的映射值，将映射值集合划分为两个以上映射值区间；将所述两个以上映射值区间分别对应所述两个以上第二服务器，作为该第二服务器的存储标识范围；/n对所述一个以上第二数据的序列标识进行所述映射运算，以每个第二数据的序列标识的映射值作为该第二数据的存储标识；/n根据所述一个以上第二数据的序列标识，分别获取每个第二数据的存储标识；/n根据所述每个第二数据的存储标识和所述每个第二服务器的存储标识范围，将该第二数据存储到对应的第二服务器；/n关闭所述两个以上第二服务器中的一个以上第二服务器；将存储标识属于关闭的第二服务器的存储标识范围的第二数据，存储到存储标识范围为该关闭的第二服务器的存储标识范围之后的第二服务器，并采用该关闭的第二服务器的标识对该第二数据进行标记；/n重新开启关闭的所述一个以上第二服务器；根据第二数据标记的所述第二服务器的标识，将该第二数据存储到该标识对应的第二服务器；/n步骤四，通过中央处理模块利用中央处理器控制所述审计大数据处理系统各个模块的正常运行；/n步骤五，通过审计数据预处理模块利用审计数据预处理程序利用ETL技术对结构化转换后的审计数据进行预处理，得到预处理后的审计数据；/n步骤六，通过特征提取模块利用特征提取程序对预处理后的审计数据特征进行提取；/n步骤七，通过审计数据分析处理模块利用审计数据分析处理程序利用提取的审计数据特征对审计数据进行分析处理；/n步骤八，通过审计数据输出模块利用数据输出程序将分析处理后的审计数据进行输出；/n步骤九，通过数据更新显示模块利用审计数据更新程序将所述审计大数据处理系统数据进行更新，并通过高清LED显示器进行显示。/n...

【技术特征摘要】
1.一种审计大数据处理方法，其特征在于，所述审计大数据处理方法包括以下步骤：
步骤一，通过审计数据获取模块利用审计数据获取设备获取待处理的原始审计数据；
步骤二，通过结构化处理模块利用结构化处理程序将获取的原始审计数据进行结构化转换；
步骤三，通过审计数据存储模块利用审计数据存储程序将结构化转换后的数据以文件扩展名的形式存储至云数据库服务器；
所述将结构化转换后的数据以文件扩展名的形式存储至云数据库服务器，具体为：
根据关系型数据存储方法，在第一服务器存储一个以上第一数据以及所述一个以上第一数据与一个以上第二数据的序列标识的对应关系；
对两个以上第二服务器的标识进行映射运算，获取所述两个以上第二服务器的标识的映射值；根据所述两个以上第二服务器的标识的映射值，将映射值集合划分为两个以上映射值区间；将所述两个以上映射值区间分别对应所述两个以上第二服务器，作为该第二服务器的存储标识范围；
对所述一个以上第二数据的序列标识进行所述映射运算，以每个第二数据的序列标识的映射值作为该第二数据的存储标识；
根据所述一个以上第二数据的序列标识，分别获取每个第二数据的存储标识；
根据所述每个第二数据的存储标识和所述每个第二服务器的存储标识范围，将该第二数据存储到对应的第二服务器；
关闭所述两个以上第二服务器中的一个以上第二服务器；将存储标识属于关闭的第二服务器的存储标识范围的第二数据，存储到存储标识范围为该关闭的第二服务器的存储标识范围之后的第二服务器，并采用该关闭的第二服务器的标识对该第二数据进行标记；
重新开启关闭的所述一个以上第二服务器；根据第二数据标记的所述第二服务器的标识，将该第二数据存储到该标识对应的第二服务器；
步骤四，通过中央处理模块利用中央处理器控制所述审计大数据处理系统各个模块的正常运行；
步骤五，通过审计数据预处理模块利用审计数据预处理程序利用ETL技术对结构化转换后的审计数据进行预处理，得到预处理后的审计数据；
步骤六，通过特征提取模块利用特征提取程序对预处理后的审计数据特征进行提取；
步骤七，通过审计数据分析处理模块利用审计数据分析处理程序利用提取的审计数据特征对审计数据进行分析处理；
步骤八，通过审计数据输出模块利用数据输出程序将分析处理后的审计数据进行输出；
步骤九，通过数据更新显示模块利用审计数据更新程序将所述审计大数据处理系统数据进行更新，并通过高清LED显示器进行显示。


2.如权利要求1所述审计大数据处理方法，其特征在于，步骤一中，所述通过审计数据获取模块利用审计数据获取设备获取待处理的原始审计数据，具体包括：
(1)开始；
(2)骨干节点B判断骨干节点B的网络前缀是否等于骨干节点B的网路前缀，如果是，则执行步骤(4)，否则执行步骤(3)；
(3)如果骨干节点B的网络前缀大于骨干节点B的网络前缀，骨干节点B则判断骨干节点B的优先级大于骨干节点B，如果骨干节点B的网络前缀小于骨干节点B的网络前缀，骨干节点B则判断骨干节点B的优先级小于骨干节点B，执行步骤(7)；
(4)骨干节点B判断骨干节点B的节点ID是否等于骨干节点B的节点ID，如果是，则执行步骤(6)，否则执行步骤(5)；
(5)如果骨干节点B的节点ID大于骨干节点B的节点ID，骨干节点B则判断骨干节点B的优先级大于骨干节点B，如果骨干节点B的节点ID小于骨干节点B的节点ID，骨干节点B则判断骨干节点B的优先级小于骨干节点B，执行步骤(7)；
(6)如果骨干节点B广播的地址创建消息中的随机数大于骨干节点B广播的地址创建消息中的随机数，骨干节点B则判断骨干节点B的优先级大于骨干节点B，如果骨干节点B广播的地址创建消息中的随机数小于骨干节点B广播的地址创建消息中的随机数，骨干节点B则判断骨干节点B的优先级小于骨干节点B；
(7)结束。


3.如权利要求1所述审计大数据处理方法，其特征在于，步骤二中，所述通过结构化处理模块利用结构化处理程序将获取的原始审计数据进行结构化转换的方法为：
将获取的原始审计数据转化为可检索的二维表；在形成所述二维表过程中，跳过对空行的提取。<...

【专利技术属性】
技术研发人员：杨国为，詹天明，张凡龙，黄璞，万鸣华，杨章静，
申请(专利权)人：南京审计大学，
类型：发明
国别省市：江苏;32