基于大数据处理自更新去冗余的人工智能公共数据平台制造技术

本发明专利技术涉及一种公共数据平台，具体地说，涉及基于大数据处理自更新去冗余的人工智能公共数据平台。其包括新数据输入单元，新数据输入单元输出端连接有公共数据共享单元，公共数据共享单元输出端连接有新旧数据对比单元，新旧数据对比单元输出端还连接有冗余数据剔除单元。本发明专利技术中，通过新数据输入单元进行新数据输入，将新数据信息传输至公共数据共享单元，公共数据共享单元对新数据信息进行暂存，新旧数据对比单元结合公共数据共享单元原先数据信息与新数据信息进行对比，并将对比信息传输至冗余数据剔除单元，通过冗余数据剔除单元对冗余新数据进行剔除，同时将未重复的新数据传输至公共数据共享单元，完成公共数据自更新功能。新功能。新功能。

【技术实现步骤摘要】
基于大数据处理自更新去冗余的人工智能公共数据平台


[0001]本专利技术涉及一种公共数据平台，具体地说，涉及基于大数据处理自更新去冗余的人工智能公共数据平台。

技术介绍

[0002]在当今产业信息化年代，社会资源信息传播已经网络化，对资源信息利用率大幅度提高，人们把意向需求以市场形式展现出来，即时在公共数据平台里传播或寻找需求，这种对信息资源传播的互动交流，创造出来的网络新文化，公共数据平台是指所有参与者都能够自由获得信息场所，是社会资源得以充分展现，在以经济为主体对市场知识的迫切需求。
[0003]而现有公共数据平台由于处于面向全部用户开放状态，数据输入随机，导致公共数据平台将会存放有大量重复冗余数据，使得用户通过公共数据平台进行数据查询时，需要从多个类似的数据之间进行寻找，导致智能效果大大降低。

技术实现思路

[0004]本专利技术的目的在于提供基于大数据处理自更新去冗余的人工智能公共数据平台，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，提供了基于大数据处理自更新去冗余的人工智能公共数据平台，包括新数据输入单元，所述新数据输入单元输出端连接有公共数据共享单元，所述公共数据共享单元，所述公共数据共享单元输出端连接有新旧数据对比单元，所述新旧数据对比单元用于对新数据与原先存储的数据进行对比，所述新旧数据对比单元输出端连接有大数据存储单元，所述大数据存储单元输出端与所述公共数据共享单元输入端连接，所述新旧数据对比单元输出端还连接有冗余数据剔除单元，所述冗余数据剔除单元用于对重复的新数据进行剔除。
[0006]作为本技术方案的进一步改进，所述公共数据共享单元包括新数据母本预存储模块，所述新数据母本预存储模块输出端连接有新数据副本生成模块，所述新数据副本生成模块用于根据新数据信息生成新数据副本，所述新数据副本生成模块输出端连接有新数据副本输出模块，所述新数据母本预存储模块输出端还连接有母本数据自更新模块，所述母本数据自更新模块数输入端与所述大数据存储单元输出端连接。
[0007]作为本技术方案的进一步改进，所述新数据母本预存储模块输出端还连接有母本数据删除模块，所述母本数据删除模块输入端与所述冗余数据剔除单元输出端连接。
[0008]作为本技术方案的进一步改进，所述新旧数据对比单元包括对比数据字符提取模块，所述对比数据字符提取模块用于对对比的数据进行字符提取，所述对比数据字符提取模块输出端连接有数据字符重复率计算模块，所述数据字符重复率计算模块输出端连接有对比结果输出模块。
[0009]作为本技术方案的进一步改进，所述新旧数据对比单元采用字符重复率计算公
式，其公式如下所示：式，其公式如下所示：；其中为公共数据共享单元初始数据字符集合，a为初始数据字符，为新数据字符集合，b为新数据字符，为共享单元初始数据字符与新数据字符重复率，为共享单元初始数据字符与新数据字符重复个数，为共享单元初始数据字符与新数据字符总和，B为阈值重复率，当＞B，表示该对比的新数据与公共数据共享单元初始存储数据重复，当≤B，表示对比的新数据为未重复数据。
[0010]作为本技术方案的进一步改进，所述冗余数据剔除单元输出端连接有重复数据标识单元，所述重复数据标识单元用于对冗余数据进行标识，所述重复数据标识单元输出端与所述大数据存储单元输入端连接。
[0011]作为本技术方案的进一步改进，所述重复数据标识单元包括重复数据字符提取模块，所述重复数据字符提取模块输出端连接有标识数据字符适应模块。
[0012]作为本技术方案的进一步改进，所述大数据存储单元输出端与所述新数据输入单元输入端连接。
[0013]作为本技术方案的进一步改进，所述新数据输入单元包括数据预筛分模块，所述数据预筛分模块输入端与所述大数据存储单元输出端连接，所述数据预筛分模块输出端连接有数据截取模块，所述数据预筛分模块输出端还连接有数据输入模块。
[0014]与现有技术相比，本专利技术的有益效果：1、该基于大数据处理自更新去冗余的人工智能公共数据平台中，通过新数据输入单元进行新数据输入，将新数据信息传输至公共数据共享单元，公共数据共享单元对新数据信息进行暂存，新旧数据对比单元结合公共数据共享单元原先数据信息与新数据信息进行对比，并将对比信息传输至冗余数据剔除单元，通过冗余数据剔除单元对冗余新数据进行剔除，同时将未重复的新数据传输至公共数据共享单元，完成公共数据自更新功能。
[0015]2、该基于大数据处理自更新去冗余的人工智能公共数据平台中，通过新数据母本预存储模块对新数据信息母体进行预存，同时通过新数据副本生成模块根据新数据信息生成新数据副本，并将新数据副本信息传输至新数据副本输出模块，通过新数据副本输出模块传输至新旧数据对比单元，通过新旧数据对比单元进行数据对比，分析出其中冗余数据以及未重复数据。
[0016]3、该基于大数据处理自更新去冗余的人工智能公共数据平台中，通过设置的母本数据删除模块与冗余数据剔除模块连接，当冗余数据剔除单元对新数据副本剔除后，会将剔除信息传输至母本数据删除模块，母本数据删除模块接收剔除信息后，将剔除信息对应的母本数据进行剔除，及时删除冗余母本信息。
[0017]4、该基于大数据处理自更新去冗余的人工智能公共数据平台中，重复数据字符提取模块对冗余数据字符进行提取，并将提取字符信息传输至标识数据字符适应模块，标识
数据字符适应模块制定标识字符，当相同数据输入后，经过标识字符比对识别，即可判断该新数据为冗余数据，及时去除。
附图说明
[0018]图1为本专利技术实施例1的整体流程图；图2为本专利技术实施例1的新数据输入单元流程图；图3为本专利技术实施例1的公共数据共享单元流程图；图4为本专利技术实施例1的新旧数据对比单元流程图；图5为本专利技术实施例1的重复数据标识单元流程图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0021]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”的含义是两个或两个以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于大数据处理自更新去冗余的人工智能公共数据平台，包括新数据输入单元，其特征在于：所述新数据输入单元输出端连接有公共数据共享单元，所述公共数据共享单元，所述公共数据共享单元输出端连接有新旧数据对比单元，所述新旧数据对比单元用于对新数据与原先存储的数据进行对比，所述新旧数据对比单元输出端连接有大数据存储单元，所述大数据存储单元输出端与所述公共数据共享单元输入端连接，所述新旧数据对比单元输出端还连接有冗余数据剔除单元，所述冗余数据剔除单元用于对重复的新数据进行剔除。2.根据权利要求1所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述公共数据共享单元包括新数据母本预存储模块，所述新数据母本预存储模块输出端连接有新数据副本生成模块，所述新数据副本生成模块用于根据新数据信息生成新数据副本，所述新数据副本生成模块输出端连接有新数据副本输出模块，所述新数据母本预存储模块输出端还连接有母本数据自更新模块，所述母本数据自更新模块数输入端与所述大数据存储单元输出端连接。3.根据权利要求2所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述新数据母本预存储模块输出端还连接有母本数据删除模块，所述母本数据删除模块输入端与所述冗余数据剔除单元输出端连接。4.根据权利要求1所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述新旧数据对比单元包括对比数据字符提取模块，所述对比数据字符提取模块用于对对比的数据进行字符提取，所述对比数据字符提取模块输出端连接有数据字符重复率计算模块，所述数据字符重复率计算模块输出端连接有对比结果输出模块。5.根据权利要...

【专利技术属性】
技术研发人员：李金兰，
申请(专利权)人：深圳嘉麟科技有限责任公司，
类型：发明
国别省市：