数据管理方法、冗余数据检测方法、存储介质及数据系统技术方案

本发明专利技术提供数据管理方法，在表单建立时，数据在数据库的存储位置作为其来源地址记录在表单中，在判断两个表单是否形成冗余数据时，根据各个数据的来源地址倒推出表单建立时的数据获取过程，对比这两个表单建立时的数据获取过程，若不同则判断这两个表单没有形成冗余数据，而两个表单建立时的数据获取过程不同意味着这两个表单是不同的，所以不会把不同表单误判断为形成了冗余数据，因此能准确地检测出两个表单是否形成冗余数据。

Data management method, redundant data detection method, storage medium and data system

【技术实现步骤摘要】
数据管理方法、冗余数据检测方法、存储介质及数据系统
本专利技术涉及数据处理
，特别涉及数据管理方法、冗余数据检测方法、计算机可读存储介质及数据管理系统。
技术介绍
随着移动互联网、物联网等技术的飞速发展，全球数据量呈现出飞速增长的现象，数据量的飞速增长预示着现在已经进入了大数据时代。目前许多企业、机关单位等利用数据管理系统进行大数据建设，大数据建设使得企业、机关单位等在客户行为分析方面具有很好的数据基础，数据管理系统能根据数据基础建立表单供企业、机关单位等深入分析客户行为特征和规律，从而发现客户的潜在消费需求，故大数据建设是提升企业、机关单位等价值和经营水平的有效手段，这对企业、机关单位等的发展起到非常重要的作用。但是，若企业、机关单位等内部的不同部门就数据库中相同的数据分别建立相同的表单，则各个表单中的数据结构，例如数据的名称、类型和字段长度基本相同，从而导致数据库的相同表单形成冗余数据。尽管用于大数据建设的计算机越来越多，性能越来越好，但是面对海量的数据仍然力不从心，因此大数据建设的第一步，是检测并消除数据库的冗余数据。因此，数据管理系统还通过对比两个表单的数据结构来检测是否形成冗余数据，若这两个表单数据结构相似度超过一定值，则判断这两个表单相同，即这两个表单形成了冗余数据，但是，由于数据库存在海量的数据，两个不同表单的数据结构也可能会相同，因此单纯对比两个表单的数据结构可能会把不同的两个表单误判断为形成了冗余数据。
技术实现思路
本专利技术提供一种数据管理方法，其不会把不同的表单误判断为形成了冗余数据。本专利技术提供的数据管理方法包括：表单建立步骤.从数据库获取多个数据形成表单，对所获取的每个数据，以该数据在数据库的存储位置作为其来源地址，记录在表单中；冗余数据检测步骤.判断两个表单是否形成冗余数据，具体地，对每个表单，从表单中提取出各个数据的来源地址，根据各个数据的来源地址倒推出表单建立时的数据获取过程；对比这两个表单建立时的数据获取过程，若不同则判断这两个表单没有形成冗余数据。优选地，在所述冗余数据监测步骤中，还对比这两个表单的数据结构，若这两个表单数据结构相似度大于预设值，且这两个表单建立时的数据获取过程相同，则判断这两个表单形成冗余数据。优选地，在所述冗余数据监测步骤中，先对比这两个表单的数据结构，若这两个表单数据结构相似度大于预设值，则再对比这两个表单建立时的数据获取过程。优选地，在所述冗余数据监测步骤中，对比两个表单的数据结构具体是对比数据的名称、类型和字段长度。优选地，所述预设值为90%。本专利技术还提供一种表单建立方法，其建立的多个表单不会被误判断为形成了冗余数据。本专利技术提供的表单建立方法，从数据库获取多个数据形成表单，对所获取的每个数据，以该数据在数据库的存储位置作为其来源地址，记录在表单中。本专利技术还提供一种冗余数据检测方法，其能准确地检测出两个表单是否形成冗余数据。本专利技术提供的冗余数据检测方法，判断两个表单是否形成冗余数据，对每个表单，从表单中提取出各个数据的来源地址，根据各个数据的来源地址倒推出表单建立时的数据获取过程；对比这两个表单建立时的数据获取过程，若不同则判断这两个表单没有形成冗余数据。优选地，还对比这两个表单的数据结构，若这两个表单数据结构相似度大于预设值，且这两个表单建立时的数据获取过程相同，则判断这两个表单形成冗余数据。优选地，先对比这两个表单的数据结构，若这两个表单数据结构相似度大于预设值，则再对比这两个表单建立时的数据获取过程。优选地，对比两个表单的数据结构具体是对比数据的名称、类型和字段长度。优选地，所述预设值为90%。本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，能实现上述的数据管理方法、表单建立方法和/或冗余数据检测方法中的步骤。本专利技术还提供一种数据管理系统，包括相互连接的处理器和计算机可读存储介质，计算机可读存储介质如上述。本专利技术具有以下有益效果：因为在表单建立时，数据在数据库的存储位置作为其来源地址记录在表单中，在判断两个表单是否形成冗余数据时，根据各个数据的来源地址倒推出表单建立时的数据获取过程，对比这两个表单建立时的数据获取过程，若不同则判断这两个表单没有形成冗余数据，而两个表单建立时的数据获取过程不同意味着这两个表单是不同的，所以不会把不同表单误判断为形成了冗余数据，因此能准确地检测出两个表单是否形成冗余数据。具体实施方式：下面将更详细地描述本申请的示例性实施例。虽然描述了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反地，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整地传达给本领域的技术人员。本实施例中，数据管理系统能建立反映客户行为特征和规律的表单，还能检测表单之间是否形成冗余数据。数据管理系统在建立表单时，先从数据库获取客户的行为数据，以获取两个行为数据为例，把这两个行为数据记为数据Da和数据Db，每个数据与其在数据库的存储位置之间建立有一个确定的对应关系，即获取到的每个数据对应一个唯一的来源地址，其中数据Da对应的来源地址记为La，数据Db对应的来源地址记为Lb；在获取到客户的行为数据后，根据数据Da生成基础信息表A，基础信息表A中包含有数据Da及其来源地址La，根据数据Db生成基础信息表B，基础信息表B中包含有数据Db及其来源地址Lb；然后合并基础信息表A和基础信息表B以建立表单1，表单1中数据Da、Db的来源地址La、Lb反映了表单1建立时的数据获取过程，该表单1能反映客户行为特征和规律以供企业、机关单位等深入分析，从而发现客户的潜在消费需求。同样地，数据管理系统在建立表单2时，从数据库另外获取两个行为数据，这两个行为数据分别记为数据Dc和数据Dd，则数据Dc对应的来源地址记为Lc，数据Dd对应的来源地址记为Ld；根据数据Dc生成基础信息表C，基础信息表C中包含有数据Dc及其来源地址Lc，根据数据Dd生成基础信息表D，基础信息表D中包含有数据Dd及其来源地址Ld；然后合并基础信息表C和基础信息表D以建立表单2，表单2中数据Dc、Dd的来源地址Lc、Ld反映了表单2建立时的数据获取过程。本实施例中，数据Da、Db、Dc和Dd分别是四个不同的行为数据，故数据Da、Db、Dc和Dd的来源地址La、Lb、Lc和Ld各不相同，但数据Da与数据Dc数据结构相似度大于90%，数据Db与数据Dd数据结构相似度大于90%。在表单1和表单2建立完成后，数据管理系统检测表单1和表单2是否形成冗余数据，具体先对比表单1中的数据Da、Db与表单2中的数据Dc、Dd的名称、类型和字段长度，即对比表单1与表单2的数据结构。因为数据Da与数据Dc数据结构相似度大于90%，数据Db与数据Dd数据结构相似度大于90%，所以表单1与表单2数据结构相似度大于预设值90%，因此可认为本文档来自技高网...

【技术保护点】
1.数据管理方法，其特征是，包括：/n表单建立步骤.从数据库获取多个数据形成表单，对所获取的每个数据，以该数据在数据库的存储位置作为其来源地址，记录在表单中；/n冗余数据检测步骤.判断两个表单是否形成冗余数据，具体地，对每个表单，从表单中提取出各个数据的来源地址，根据各个数据的来源地址倒推出表单建立时的数据获取过程；对比这两个表单建立时的数据获取过程，若不同则判断这两个表单没有形成冗余数据。/n

【技术特征摘要】
1.数据管理方法，其特征是，包括：
表单建立步骤.从数据库获取多个数据形成表单，对所获取的每个数据，以该数据在数据库的存储位置作为其来源地址，记录在表单中；
冗余数据检测步骤.判断两个表单是否形成冗余数据，具体地，对每个表单，从表单中提取出各个数据的来源地址，根据各个数据的来源地址倒推出表单建立时的数据获取过程；对比这两个表单建立时的数据获取过程，若不同则判断这两个表单没有形成冗余数据。


2.根据权利要求1所述的数据管理方法，其特征是：在所述冗余数据监测步骤中，还对比这两个表单的数据结构，若这两个表单数据结构相似度大于预设值，且这两个表单建立时的数据获取过程相同，则判断这两个表单形成冗余数据。


3.根据权利要求2所述的数据管理方法，其特征是：在所述冗余数据监测步骤中，先对比这两个表单的数据结构，若这两个表单数据结构相似度大于预设值，则再对比这两个表单建立时的数据获取过程。


4.根据权利要求2所述的数据管理方法，其特征是：在所述冗余数据监测步骤中，对比两个表单的数据结构具体是对比数据的名称、类型和字段长度。


5.根据权利要求2所述的数据管理方法，其特征是：所述预设值为90%。


6.冗余数据检测方法，判断两个表单是否形成冗余数据，其...

【专利技术属性】
技术研发人员：高伟，李劲松，黎展宏，许仙邦，庞日海，丘志新，吴冬铭，
申请(专利权)人：广州信安数据有限公司，
类型：发明
国别省市：广东;44