一种大数据结构化处理方法技术

本发明专利技术公开了一种大数据结构化处理方法，包括1、一种大数据结构化处理方法，其特征在于，所述方法包括如下步骤：S1：在数据采集后将采集的数据进行检测，通过预先输入数据库的特征码与采集的数据进行的特征码进行比对，将采集数据的特征码与数据库内预存的特征码一致的数据进行列出；S2：将列出的数据进行的预存特征码进行删除，并保留数据的其他数据源代码，将处理后的数据与原数据进行数据对比，将对比结果输出至外部设备；S3：将进行删除后的数据进行步骤S4处理，将原始数据进行步骤S5处理；S4：将预存特征码删除后的数据中加入数据变形码，将处理后的数据进行变形。

A large data structured processing method

The invention discloses a large data structured processing method, which includes 1 and a large data structured processing method. The method includes the following steps: S1: the data is detected after the data acquisition, and the characteristic code is compared with the collected data by the pre input of the characteristic code of the database. The data collected from the data are listed in accordance with the pre stored feature code in the database. S2: the pre stored signature of the listed data is deleted, and the other data source code is retained. The processed data is compared with the original data, and the contrast results are output to the external device; S3: The deleted data will be processed by step S4, and the original data are processed by step S5; S4: Data deformable code is added to the data after the pre stored feature code is deleted, and the processed data are deformed.

【技术实现步骤摘要】
一种大数据结构化处理方法
本专利技术涉及一种数据处理方法，具体涉及一种大数据结构化处理方法。
技术介绍
数据资源包含了大量的敏感和重要信息，且目前敏感及隐私数据保护的法律规范尚不完善，一旦敏感信息泄露或遭到非法利用，会给个人甚至是国家带来无法弥补的损失。通过对敏感、重要数据进行处理，保障数据资源最大程度的开放共享同时，防止数据资源的泄露显得尤为重要。加之，政府对所拥有的数据具有监管的权利和义务，对敏感、重要数据的流向、情况进行监测，可以辅助政府的数据管理部门进行数据溯源与安全审计。因此，数据亦是保证数据资源安全、问责的重要手段。
技术实现思路
本专利技术所要解决的技术问题是目前对数据的结构化处理和非结构化处理方式并没有一个明确的界定，在数据存储时，结构化数据需要一个稳定的数据库进行存储，而非结构化的数据，能够减少存储压力，所以需要将两种数据进行分类存储，本专利技术目的在于提供一种大数据结构化处理方法，解决上述的问题。本专利技术通过下述技术方案实现：一种大数据结构化处理方法，包括1、一种大数据结构化处理方法，其特征在于，所述方法包括如下步骤：S1：在数据采集后将采集的数据进行检测，通过预先输入数据库的特征码与采集的数据进行的特征码进行比对，将采集数据的特征码与数据库内预存的特征码一致的数据进行列出；S2：将列出的数据进行的预存特征码进行删除，并保留数据的其他数据源代码，将处理后的数据与原数据进行数据对比，将对比结果输出至外部设备；S3：将进行删除后的数据进行步骤S4处理，将原始数据进行步骤S5处理；S4：将预存特征码删除后的数据中加入数据变形码，将处理后的数据进行变形，将变形后的数据发送至存储数据库内进行分类，并将数据进行分类存储；S5：将原始数据发送至日志数据库，在存储数据库出现异常后，通过调取日志数据库内的原始数据，对存储数据库内的故障进行判断。相对于结构化数据(即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据)而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据。需要将两种数据分进行分离，通过将数据分离，可以有效避免将两种数据处理方式处理一种数据而出现的问题。用数据库预先存储的特征码进行对比，在对比一致后，能够将有该类特征码的数据进行查验出来，并将该部分特征码进行删除，并处理后的数据发送至外部设置，由人工进行判断是否进行存储，而这些特征码则可以采用木马数据库内的木马特征、杂余数据特征等信息进行判断，这样能够获得一个良好的结构化数据，在将原数据列为非结构化数据，在出现故障后，利用日志数据库进行故障源代码的确认检测，能够节省故障处理时间。进一步地，所述数据变形码采用分段结构，在采集数据中任意一个字节位置加入一段掩码字节，通过掩码字节对目标数据代码进行掩藏。通过分段结构的数据变形，能够加入多段的掩码字节，保证数据存储的安全性。进一步地，所述外部设备采用PC机、笔记本电脑、平板电脑、手机中任意一种。采用多种外部设备进行结果输出的接收，能够让用户在第一时间获取输出结果的信息，进行及时的处理。进一步地，所述数据库对数据进行种类分类，所述数据库数据溢出后将最早存储的数据内容进行覆盖。。为了避免出现数据库内的最新数据遗失的情况，采用这种覆盖式数据式的存储方式，能够有效避免最新产生的数据遗失。而较早的数据内容能够通过移动硬盘进行导出，节省存储空间。本专利技术与现有技术相比，具有如下的优点和有益效果：1、本专利技术一种大数据结构化处理方法，能够将结构化数据和非结构化数据分开处理，让两种数据都能够得到有效运用；2、本专利技术一种大数据结构化处理方法，提高结构化数据的存储安全性，以及能够让数据能够进行处理。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。实施例本专利技术一种大数据结构化处理方法，一种大数据结构化处理方法，包括1、一种大数据结构化处理方法，其特征在于，所述方法包括如下步骤：S1：在数据采集后将采集的数据进行检测，通过预先输入数据库的特征码与采集的数据进行的特征码进行比对，将采集数据的特征码与数据库内预存的特征码一致的数据进行列出；S2：将列出的数据进行的预存特征码进行删除，并保留数据的其他数据源代码，将处理后的数据与原数据进行数据对比，将对比结果输出至外部设备；S3：将进行删除后的数据进行步骤S4处理，将原始数据进行步骤S5处理；S4：将预存特征码删除后的数据中加入数据变形码，将处理后的数据进行变形，将变形后的数据发送至存储数据库内进行分类，并将数据进行分类存储；S5：将原始数据发送至日志数据库，在存储数据库出现异常后，通过调取日志数据库内的原始数据，对存储数据库内的故障进行判断。相对于结构化数据(即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据)而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据。需要将两种数据分进行分离，通过将数据分离，可以有效避免将两种数据处理方式处理一种数据而出现的问题。用数据库预先存储的特征码进行对比，在对比一致后，能够将有该类特征码的数据进行查验出来，并将该部分特征码进行删除，并处理后的数据发送至外部设置，由人工进行判断是否进行存储，而这些特征码则可以采用木马数据库内的木马特征、杂余数据特征等信息进行判断，这样能够获得一个良好的结构化数据，在将原数据列为非结构化数据，在出现故障后，利用日志数据库进行故障源代码的确认检测，能够节省故障处理时间。所述数据变形码采用分段结构，在采集数据中任意一个字节位置加入一段掩码字节，通过掩码字节对目标数据代码进行掩藏。通过分段结构的数据变形，能够加入多段的掩码字节，保证数据存储的安全性。所述外部设备采用PC机、笔记本电脑、平板电脑、手机中任意一种。采用多种外部设备进行结果输出的接收，能够让用户在第一时间获取输出结果的信息，进行及时的处理。所述数据库对数据进行种类分类，所述数据库数据溢出后将最早存储的数据内容进行覆盖。为了避免出现数据库内的最新数据遗失的情况，采用这种覆盖式数据式的存储方式，能够有效避免最新产生的数据遗失。而较早的数据内容能够通过移动硬盘进行导出，节省存储空间。以上所述的具体实施方式，对本专利技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本专利技术的具体实施方式而已，并不用于限定本专利技术的保护范围，凡在本专利技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种大数据结构化处理方法，其特征在于，所述方法包括如下步骤：S1：在数据采集后将采集的数据进行检测，通过预先输入数据库的特征码与采集的数据进行的特征码进行比对，将采集数据的特征码与数据库内预存的特征码一致的数据进行列出；S2：将列出的数据进行的预存特征码进行删除，并保留数据的其他数据源代码，将处理后的数据与原数据进行数据对比，将对比结果输出至外部设备；S3：将进行删除后的数据进行步骤S4处理，将原始数据进行步骤S5处理；S4：将预存特征码删除后的数据中加入数据变形码，将处理后的数据进行变形，将变形后的数据发送至存储数据库内进行分类，并将数据进行分类存储；S5：将原始数据发送至日志数据库，在存储数据库出现异常后，通过调取日志数据库内的原始数据，对存储数据库内的故障进行判断。

【技术特征摘要】
1.一种大数据结构化处理方法，其特征在于，所述方法包括如下步骤：S1：在数据采集后将采集的数据进行检测，通过预先输入数据库的特征码与采集的数据进行的特征码进行比对，将采集数据的特征码与数据库内预存的特征码一致的数据进行列出；S2：将列出的数据进行的预存特征码进行删除，并保留数据的其他数据源代码，将处理后的数据与原数据进行数据对比，将对比结果输出至外部设备；S3：将进行删除后的数据进行步骤S4处理，将原始数据进行步骤S5处理；S4：将预存特征码删除后的数据中加入数据变形码，将处理后的数据进行变形，将变形后的数据发送至存储数据库内进行分类，并将数据进行分类存...

【专利技术属性】
技术研发人员：赵世，
申请(专利权)人：安徽一一八六物联科技有限公司，
类型：发明
国别省市：安徽,34