一种数据库内容快速检查的方法及系统技术方案

本发明专利技术公开了一种数据库内容快速检查的方法及系统，所述方法为：连接数据库，判断数据是否需要检查；需要数据检查时，从数据库中批量获取数据库记录，将批量获取的记录分配固定大小内存块，内存块以固定长度的二位数组存放批量获取的表数据；对数据进行重新聚合，聚合成一个连续的数据；聚合完成后通过多模匹配算法对数据进行检查，检查完成后，生成最终的检查结果。本发明专利技术解决了难以快速筛选检查数据库中敏感信息的问题。中敏感信息的问题。中敏感信息的问题。

【技术实现步骤摘要】
一种数据库内容快速检查的方法及系统


[0001]本专利技术涉及数据处理
，具体涉及一种数据库内容快速检查的方法及系统。

技术介绍

[0002]随着信息化的普及，信息化管理系统(如：OA、ERP、CRM等)被越来越多的企事业单位所使用，信息化管理系统一般都使用数据库来存放数据，随着数据库中存放数据的增加，一些重要的商业秘密或敏感信息会被不小心存放到数据库中。如果不对数据库中的数据进行定期检查，很容易使这些商业秘密或敏感信息长期保存在数据库中，被一些别有用心的人获取。
[0003]防止数据库中存放商业秘密或敏感信息的有效方法是对整个数据库进行定期、全面检查，由于数据库中存放的数据量一般都比较大，所以能对数据库内容进行快速检查是很必要的。

技术实现思路

[0004]为此，本专利技术提供一种数据库内容快速检查的方法及系统，以解决难以快速筛选检查数据库中敏感信息的问题。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]根据本专利技术的第一方面，公开了一种数据库内容快速检查的方法，所述方法为：
[0007]连接数据库，判断数据是否需要检查；
[0008]需要数据检查时，从数据库中批量获取数据库记录；
[0009]将批量获取的记录分配至固定大小内存块，内存块以固定长度的二位数组存放批量获取的表数据；
[0010]对表数据进行重新聚合，聚合成一个连续的数据；
[0011]聚合完成后通过多模匹配算法对数据进行检查，检查完成后，生成最终的检查结果。
[0012]进一步地，所述将批量获取的记录分配固定大小内存块具体过程为：
[0013]预分配的内存大小为：n*(sum(max(len))，其中n为批量获取的记录数；len为各个字段的最大长度，内存块以固定长度的二维数组存放批量获取的表数据。
[0014]进一步地，所述对数据进行重新聚合前，由于存放在二维内存块中的数据存在大量的无用数据，需要对无用数据进行剔除，按记录和字段存放的二维数据，聚合成一个连续的数据。
[0015]进一步地，所述聚合成一个连续的数据时，各个字段之间用换行符\n进行分隔，并用一个集合变量fieldsMap来存放各记录、各字段对应的内存首地址。
[0016]进一步地，所述聚合完成后通过多模匹配算法对数据进行检查，检查完成后，从fieldsMap中找到检查结果对应的记录和字段，生成最终的检查结果。
[0017]根据本专利技术的第二方面，公开了一种数据库内容快速检查的系统，所述系统包括：
[0018]数据获取模块、数据分配模块、数据聚合模块、数据检查模块；
[0019]所述数据获取模块从数据库中获取需要进行检查的数据；
[0020]所述数据分配模块将获取的数据分配至固定大小内存块；
[0021]所述数据聚合模块按记录和字段存放的二维数据，聚合成一个连续的数据；
[0022]所述数据检查模块通过多模匹配算法对数据进行检查，输出检查结果。
[0023]进一步地，所述数据分配模块将批量获取的记录分配固定大小内存块，内存块以固定长度的二位数组存放批量获取的表数据。
[0024]进一步地，所述数据聚合模块对数据中无用数据进行剔除，各个字段之间用换行符\n进行分隔，并用一个集合变量fieldsMap来存放各记录、各字段对应的内存首地址。
[0025]进一步地，所述数据检查模块在检查完成后，从fieldsMap中找到检查结果对应的记录和字段，生成最终的检查结果。
[0026]本专利技术具有如下优点：
[0027]本专利技术公开了一种数据库内容快速检查的方法及系统，通过内存统一分配、批量查询、数据聚合及二维字段定位技术，大大减少了检查过程中内存分配和释放操作，同时在很大程序上提高了多模匹配的速度，从而整体提高了数据库检查的性能。
附图说明
[0028]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
[0029]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。
[0030]图1为本专利技术实施例提供的一种数据库内容快速检查的方法的流程图；
具体实施方式
[0031]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0032]实施例1
[0033]本实施例公开了一种数据库内容快速检查的方法，所述方法为：
[0034]连接数据库，判断数据是否需要检查；
[0035]需要数据检查时，从数据库中批量获取数据库记录；
[0036]将批量获取的记录分配至固定大小内存块，内存块以固定长度的二位数组存放批量获取的表数据；
[0037]对表数据进行重新聚合，聚合成一个连续的数据；
[0038]聚合完成后通过多模匹配算法对数据进行检查，检查完成后，生成最终的检查结果。
[0039]将批量获取的记录分配固定大小内存块具体过程为：
[0040]预分配的内存大小为：n*(sum(max(len))，其中n为批量获取的记录数；len为各个字段的最大长度，内存块以固定长度的二维数组存放批量获取的表数据。
[0041]对数据进行重新聚合前，由于存放在二维内存块中的数据存在大量的无用数据，需要对无用数据进行剔除，按记录和字段存放的二维数据，聚合成一个连续的数据。各个字段之间用换行符\n进行分隔，并用一个集合变量fieldsMap来存放各记录、各字段对应的内存首地址。
[0042]聚合完成后通过多模匹配算法对数据进行检查，检查完成后，从fieldsMap中找到检查结果对应的记录和字段，生成最终的检查结果。
[0043]多模匹配算法在一般的情况下，针对一个文本进行关键词匹配，在匹配的过程中要与每个关键词一一进行计算。也就是说，每与一个关键词进行匹配，都要重新从文档的开始到结束进行扫描。AC自动机的思想是，在开始时先通过词表，对以下三种情况进行缓存：
[0044]1.按照字符转移成功进行跳转(success表)；
[0045]2.按照字符转移失败进行跳转(fail表)；
[0046]3.匹配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库内容快速检查的方法，其特征在于，所述方法为：连接数据库，判断数据是否需要检查；需要数据检查时，从数据库中批量获取数据库记录；将批量获取的记录分配至固定大小内存块，内存块以固定长度的二位数组存放批量获取的表数据；对表数据进行重新聚合，聚合成一个连续的数据；聚合完成后通过多模匹配算法对数据进行检查，检查完成后，生成最终的检查结果。2.如权利要求1所述的一种数据库内容快速检查的方法，其特征在于，所述将批量获取的记录分配固定大小内存块具体过程为：预分配的内存大小为：n*(sum(max(len))，其中n为批量获取的记录数；len为各个字段的最大长度，内存块以固定长度的二维数组存放批量获取的表数据。3.如权利要求1所述的一种数据库内容快速检查的方法，其特征在于，所述对数据进行重新聚合前，由于存放在二维内存块中的数据存在大量的无用数据，需要对无用数据进行剔除，按记录和字段存放的二维数据，聚合成一个连续的数据。4.如权利要求3所述的一种数据库内容快速检查的方法，其特征在于，所述聚合成一个连续的数据时，各个字段之间用换行符\n进行分隔，并用一个集合变量fieldsMap来存放各记录、各字段对应的内存首地址。5.如权利要求1所述的一种数据库内容...

【专利技术属性】
技术研发人员：宫新春，盖丽莉，
申请(专利权)人：北京鼎普科技股份有限公司，
类型：发明
国别省市：