数据交易智能整合系统技术方案

本发明专利技术提供一种数据交易智能整合系统，属于互联网数据处理技术领域，包括：交易模块，获得原始交易数据；存储模块，存储原始交易数据；数据转换模块，将非结构化的原始交易数据转化为符合预设数据标准的结构一致的待分类交易数据；数据划分模块，对待分类交易数据进行计算分析处理得到对应不同权重等级的待脱敏交易数据；数据脱敏模块，根据脱敏标识进行数据脱敏处理以得到待整合交易数据；数据整合模块，利用相同数据内容对待整合数据进行整合以获得标准交易数据；数据输出模块，对标准交易数据进行分类得到分类结果并存储到相应的存储区域并分配相应的数据获取条件。本发明专利技术的有益效果：提高数据质量，方便用户快速准确获取数据。

Intelligent Integration System for Data Transaction

【技术实现步骤摘要】
数据交易智能整合系统
本专利技术涉及互联网数据处理
，尤其涉及一种数据交易智能整合系统。
技术介绍
现有技术数据处理的方法，由数据经办人直接对数据进行存储，造成数据分布零散，产生信息孤岛，另外，由于数据由经办人进行维护及保存，没有统一的标准对数据处理方法进行规范，导致不同数据差异性大，无法实现对数据的挖掘及分析，因此，通过现有技术的数据处理方法对数据进行处理，形成的数据质量较低，用户难以快速准确获取所需的数据。
技术实现思路
针对现有技术中存在的问题，本专利技术涉及一种数据交易智能整合系统。本专利技术采用如下技术方案：一种数据交易智能整合系统，包括：交易模块，用于提供给用户进行基于大数据的交易操作以获得原始交易数据；存储模块，连接所述交易模块，用于存储所述原始交易数据；数据转换模块，连接所述存储模块，用于通过过滤和/或修改不完整的数据、错误的数据或重复的数据，将非结构化的所述原始交易数据转化为符合预设数据标准的具有统一数据结构的待分类交易数据；数据划分模块，连接所述数据转换模块，用于根据预设的权重配置策略对所述待分类交易数据进行计算分析处理以得到对应不同权重等级的待脱敏交易数据，以及用于将权重等级超过标准阈值的所述待脱敏交易数据添加脱敏标识；数据脱敏模块，连接所述数据划分模块，用于获取所述待脱敏交易数据，根据所述脱敏标识选择预设的数据脱敏策略对具有所述脱敏标识的所述待脱敏交易数据进行数据脱敏处理以得到待整合交易数据；数据整合模块，连接所述数据脱敏模块，用于在判断所述待整合交易数据中存在相同数据内容时，利用相同数据内容对所述待整合数据进行整合以获得标准交易数据；数据输出模块，连接所述数据脱敏模块和所述数据整合模块，用于根据预设的数据目录标准策略对所述标准交易数据进行分类得到分类结果，根据所述分类结果将所述标准交易数据存储到云平台中相应的存储区域并分配相应的数据获取条件，所述用户根据所述数据获取条件从所述存储区域获取所述标准交易数据且在获取上述标准交易数据时通过上述数据脱敏模块对上述标准交易数据再次进行数据脱敏处理。优选的，所述数据划分模块还用于将权重等级超过第一预警阈值的所述待脱敏交易数据添加第一警告标识，所述第一预警阈值大于所述标准阈值；所述数据脱敏模块在处理具有所述第一警告标识的所述待脱敏数据时输出警告信息，并在所述用户返回继续处理指令时继续对具有所述第一警告标识的所述待脱敏数据进行所述数据脱敏处理，以及在所述用户返回停止处理指令时停止对具有所述第一警告标识的所述待脱敏数据停止进行所述数据脱敏操作。优选的，所述数据划分模块还用于将权重等级超过第二预警阈值的所述待脱敏交易数据删除，所述第二预警阈值大于所述第一预警阈值。优选的，所述数据脱敏模块包括：第一脱敏单元，用于在对所述原始交易数据进行数据共享过程中发现的敏感内容进行脱敏处理；第二脱敏单元，用于在对所述原始交易数据进行数据获取过程中发现的敏感内容进行脱敏处理。优选的，所述数据目录标准策略包括：根据国家、行业及地方数据业务标准以及所述目标数据的所属领域，确定对所述目标数据进行分类的规则以对所述标准交易数据进行分类得到所述分类结果。优选的，所述数据目录标准策略包括：根据所述标准交易数据的格式及内容，创建对所述标准交易数据格式进行约束的元数据标准，并创建对所述标准交易数据内容进行约束的数据字典标准，形成包括所述元数据标准及所述数据字典标准的数据整合标准以对所述标准交易数据进行分类得到所述分类结果。优选的，根据所述分类结果将所述标准交易数据存储到相应的存储区域包括：对所述标准交易数据进行标签化处理，从所述标准交易数据中提取关键要素，形成数据标签；将所述数据标签与该数据标签对应的标准交易数据存储到同一个所述存储区域中。优选的，所述数据交易智能整合系统还包括：数据监测模块，连接所述云平台中所述存储区域，用于根据所有所述存储区域内的所述标准交易数据的更新频率和数据类型，为不同类型的所述标准交易数据创建对应的数据质量检测标准；实时对每个存储区域中存储的所述标准交易数据进行监控，并根据所述数据质量检测标准及监控结果形成数据质量检测报告。本专利技术的有益效果：提高数据质量，方便用户快速准确获取数据。附图说明图1为本专利技术一种优选的实施例中，数据交易智能整合系统的功能模块示意图；图2为本专利技术一种优选的实施例中，数据脱敏模块的功能模块示意图。具体实施方式需要说明的是，在不冲突的情况下，下述技术方案，技术特征之间可以相互组合。下面结合附图对本专利技术的具体实施方式作进一步的说明：如图1所示，一种数据交易智能整合系统，包括：交易模块，用于提供给用户进行基于大数据的交易操作以获得原始交易数据；存储模块1，连接上述交易模块，用于存储上述原始交易数据；数据转换模块2，连接上述存储模块1，用于通过过滤和/或修改不完整的数据、错误的数据或重复的数据，将非结构化的上述原始交易数据转化为符合预设数据标准的结构一致的待分类交易数据，使得数据标准化、结构化，为数据处理做准备；数据划分模块3，连接上述数据转换模块2，用于根据预设的权重配置策略对上述待分类交易数据进行计算分析处理以得到对应不同权重等级的待脱敏交易数据，以及用于将权重等级超过标准阈值的上述待脱敏交易数据添加脱敏标识，预设的权重配置策略为整合处理数据划分模块3内部已有信息与外部采集信息即上述待分类交易数据，采用关联分析的数据挖掘方法进行检测，通过数据挖掘中搜索隐藏的信息，寻找数据之间的规律，对于利用数据挖掘方法得出的结果，分别置予不同的权重，进行综合计算分析，得出最终的权重等级值，根据权重等级值对上述待脱敏交易数据进行权重等级的划分；数据脱敏模块4，连接上述数据划分模块3，用于获取上述待脱敏交易数据，根据上述脱敏标识选择预设的数据脱敏策略对具有上述脱敏标识的上述待脱敏交易数据进行数据脱敏处理以得到待整合交易数据，预设的脱敏策略为：用于在对上述原始交易数据进行数据共享过程中发现的敏感内容进行脱敏处理，在数据采集中发现敏感内容并对敏感内容进行保护处理，对上传数据转换模块2的待脱敏交易数据进行数据信息提取为敏感数据保护提供数据准备，在提取的数据信息基础上自动发现涉密信息及敏感数据并添加脱敏标识，发现的敏感内容配置相应的脱敏算法形成脱敏策略，通过系统预定义的脱敏策略对敏感数据实现批量离线脱敏的在线或离线脱敏；以及在用户从数据获取过程中对数据文件下载链接及存储地址的过程中的相对敏感数据配置脱敏策略进行脱敏处理进行保护，对文件存储的真实地址进行变换形成新的存储地址达到存储地址保护，对文件真实存储地址进行变换的基础上为有下载需求的数据需求方展示变换后的文件存储地址防止文件存储地址泄露保护下载链接安全，同时对标准交易数据进行数据信息提取为敏感数据保护提供数据准备，在提取的数据信息基础上自动发现涉密信息及敏感数据并添加脱敏标识，发现的敏感内容配置相应的脱敏算法形成脱敏策略，通过系统预定义的脱敏策略对敏感数据实现批量离线脱敏的在线或离线脱敏；数据整合模块5，连接上述数据脱敏模块4，用于在判断上述待整合交易数据中存在相同数据内容时，利用相同数据内容对上述待整合数据进行整合以获得标准交易数据；数据输出模块6，连接上述数据脱敏模块4和上述数据整合模块5，用于根据预设本文档来自技高网...

【技术保护点】
1.一种数据交易智能整合系统，其特征在于，包括：交易模块，用于提供给用户进行基于大数据的交易操作以获得原始交易数据；存储模块，连接所述交易模块，用于存储所述原始交易数据；数据转换模块，连接所述存储模块，用于将非结构化的所述原始交易数据转化为符合预设数据标准的具有统一数据结构的待分类交易数据；数据划分模块，连接所述数据转换模块，用于根据预设的权重配置策略对所述待分类交易数据进行计算分析处理以得到对应不同权重等级的待脱敏交易数据，以及用于将权重等级超过标准阈值的所述待脱敏交易数据添加脱敏标识；数据脱敏模块，连接所述数据划分模块，用于根据所述脱敏标识选择预设的数据脱敏策略，并基于所述数据脱敏策略对具有所述脱敏标识的所述待脱敏交易数据进行数据脱敏处理以得到待整合交易数据；数据整合模块，连接所述数据脱敏模块，用于在判断所述待整合交易数据中存在相同数据内容时，利用相同数据内容对所述待整合数据进行整合以获得标准交易数据；数据输出模块，连接所述数据脱敏模块和所述数据整合模块，用于根据预设的数据目录标准策略对所述标准交易数据进行分类得到分类结果，根据所述分类结果将所述标准交易数据存储到云平台中相应的存储区域并分配相应的数据获取条件，所述用户根据所述数据获取条件从所述存储区域获取所述标准交易数据且在获取上述标准交易数据时通过上述数据脱敏模块对上述标准交易数据再次进行数据脱敏处理。...

【技术特征摘要】
1.一种数据交易智能整合系统，其特征在于，包括：交易模块，用于提供给用户进行基于大数据的交易操作以获得原始交易数据；存储模块，连接所述交易模块，用于存储所述原始交易数据；数据转换模块，连接所述存储模块，用于将非结构化的所述原始交易数据转化为符合预设数据标准的具有统一数据结构的待分类交易数据；数据划分模块，连接所述数据转换模块，用于根据预设的权重配置策略对所述待分类交易数据进行计算分析处理以得到对应不同权重等级的待脱敏交易数据，以及用于将权重等级超过标准阈值的所述待脱敏交易数据添加脱敏标识；数据脱敏模块，连接所述数据划分模块，用于根据所述脱敏标识选择预设的数据脱敏策略，并基于所述数据脱敏策略对具有所述脱敏标识的所述待脱敏交易数据进行数据脱敏处理以得到待整合交易数据；数据整合模块，连接所述数据脱敏模块，用于在判断所述待整合交易数据中存在相同数据内容时，利用相同数据内容对所述待整合数据进行整合以获得标准交易数据；数据输出模块，连接所述数据脱敏模块和所述数据整合模块，用于根据预设的数据目录标准策略对所述标准交易数据进行分类得到分类结果，根据所述分类结果将所述标准交易数据存储到云平台中相应的存储区域并分配相应的数据获取条件，所述用户根据所述数据获取条件从所述存储区域获取所述标准交易数据且在获取上述标准交易数据时通过上述数据脱敏模块对上述标准交易数据再次进行数据脱敏处理。2.根据权利要求1所述的数据交易智能整合系统，其特征在于，所述数据划分模块还用于将权重等级超过第一预警阈值的所述待脱敏交易数据添加第一警告标识，所述第一预警阈值大于所述标准阈值；所述数据脱敏模块在处理具有所述第一警告标识的所述待脱敏数据时输出警告信息，并在所述用户返回继续处理指令时继续对具有所述第一警告标识的所述待脱敏数据进行所述数据脱敏处理，以及在所述用户返回停止处理指令时停止对具有所述第一警告标识的所述待脱敏数据停止进行所述数据脱敏操作。3.根据权利要求1所述的数据交易智能整合系统，其特征在于，所述数据划分模块还用于将权重等级超...

【专利技术属性】
技术研发人员：汤寒林，
申请(专利权)人：贵州数据宝网络科技有限公司，
类型：发明
国别省市：贵州,52