基于浏览器进行数据存储与计算的系统及方法技术方案

本发明专利技术涉及基于浏览器进行数据存储与计算的系统及方法，此系统包括数据扩展单元、关系数据扩展类型切分单元以及数据存储管理访问单元；数据扩展单元利用数据特征类型对数据特征进行拓展描述，并结合数据抽象计算方法对结构化数据进行扩展和转化，以便进行信息存储和压缩；关系数据扩展类型切分单元在完成数据扩展分类的基础上，根据数据特征进一步进行数据类型切分，当数据扩展范围超过限定阀值时，扩展出来的虚拟类数据信息被视为普通子类信息进行存储处理；数据存储管理访问单元利用非关系型数据特点为缓存数据进行特征分类，来实现数据的扩展和转换，以便优化客户端的数据通信模式。此系统及方法有效提高了对海量数据进行查询的工作效率。行查询的工作效率。行查询的工作效率。

【技术实现步骤摘要】
基于浏览器进行数据存储与计算的系统及方法


[0001]本专利技术涉及数据存储
，尤其是涉及基于浏览器进行数据存储与计算的系统及方法。

技术介绍

[0002]数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。
[0003]现有的技术中，如公开号为CN103995897A的中国专利，其公开了一种数据存储系统及数据存储方法，该系统包括信息获取模块，获取位于信息记录物件表面的信息源所表征的信息，所获取的信息包含云服务器的存储空间的地址信息；存储空间访问模块，根据存储空间的地址信息访问存储空间；数据上传模块，由信息记录物件的持有人向数据存储空间上传数据；数据下载模块，从数据存储空间下载被选择的数据。该方法是获取位于信息记录物件表面的信息源所表征的信息，包含云服务器的存储空间的地址信息；根据存储空间的地址信息访问存储空间，由信息记录物件的持有人向数据存储空间上传数据，并从数据存储空间下载被选择的数据。
[0004]上述中的现有技术方案存在以下缺陷：上述的方案虽然可方便信息记录物件持有人或被授权人方便地上传个性化数据，但是其中的数据库与传统的数据库大同小异，难以满足对大数据进行精确筛选兼容和海量存储提取的需求，导致数据存储系统难以快速高效地对数据进行传输和提取，从而降低了对海量数据进行查询的工作效率。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术的目的是提供基于浏览器进行数据存储与计算的系统及方法，其可以有效解决关系数据模型的兼容和扩展性问题，有效提高了对海量数据进行查询的工作效率，有效解决了当前对大数据兼容存储能力不足的问题。
[0006]本专利技术的上述专利技术目的是通过以下技术方案得以实现的：
[0007]基于浏览器进行数据存储与计算的系统，包括数据扩展单元、关系数据扩展类型切分单元以及数据存储管理访问单元；
[0008]所述数据扩展单元利用数据特征类型对数据特征进行拓展描述，并结合数据抽象计算方法对结构化数据进行扩展和转化，以便进行信息存储和压缩；
[0009]所述关系数据扩展类型切分单元在完成数据扩展分类的基础上，根据数据特征进一步进行数据类型切分，当数据扩展范围超过限定阀值时，扩展出来的虚拟类数据信息被视为普通子类信息进行存储处理；
[0010]所述数据存储管理访问单元利用非关系型数据特点为缓存数据进行特征分类，来实现数据的扩展和转换，以便优化客户端的数据通信模式。
[0011]本专利技术在一较佳示例中可以进一步配置为：所述数据扩展单元包括数据抽象计算模块以及分别与所述数据抽象计算模块连接的数据解压模块及数据转化模块；
[0012]所述数据解压模块与所述数据转化模块均连接有数据筛选模块、数据存储模块、数据查询模块、数据采集模块、数据更新模块以及数据调度模块，用户数据信息传输至数据抽象计算模块中进行处理分析，分析完成后再将数据计算结果归并至用户数据信息中。
[0013]本专利技术在一较佳示例中可以进一步配置为：所述关系数据扩展类型切分单元包括数据切分子系统、数据解析模块以及数据分发模块，所述数据切分子系统分别与所述数据查询模块以及所述数据解析模块连接，所述数据分发模块与所述数据解析模块连接。
[0014]本专利技术在一较佳示例中可以进一步配置为：所述数据切分子系统包括依次连接的数据类型映射模块、数据类型扩展模块、数据关系计算模块、数据信息判断模块以及数据特征切分模块。
[0015]本专利技术在一较佳示例中可以进一步配置为：所述数据存储管理访问单元包括数据管理入口、大数据访问统一接口、数据关系映射层以及数据库，所述大数据访问统一接口连接有数据计算处理平台，所述数据计算处理平台内设置有用户输入模块、结果展示模块以及数据预处理模块。
[0016]本专利技术在一较佳示例中可以进一步配置为：还包括数据并行处理系统，所述数据并行处理系统用于对任务进行并行处理，并通过监控系统和数据监听模块对并行任务处理情况进行监督和管理，最后对数据的存储结果进行有效的分析和检测。
[0017]本专利技术在一较佳示例中可以进一步配置为：所述数据并行处理系统分别连接有信息采集任务更新模块与系统管理模块，所述信息采集任务更新模块连接有信息计算资源调度模块，所述信息计算资源调度模块连接有信息采集任务处理模块，所述信息采集任务处理模块与所述系统管理模块共同连接有任务采集获取模块，所述任务采集获取模块连接有采集任务划分模块；
[0018]所述采集任务划分模块分别连接有参数采集获取模块与资源参数计算模块，所述参数采集获取模块连接有采集子任务参数获取模块，所述资源参数计算模块连接有可并行子任务获取模块，所述采集子任务参数获取模块与所述可并行子任务获取模块共同连接有数据检测告警模块，所述数据检测告警模块连接有子任务采集映射模块。
[0019]基于浏览器进行数据存储与计算的方法，包括以下步骤：初始化后，向服务器发送处理请求，再获取客户端数据处理器请求，通过系统对数据进行计算处理；
[0020]若结果显示异常，则对异常数据进行解析数据格式，再将正常的数据筛选出来进行储存，存储后进行数据预处理的步骤；
[0021]若结果没有显示异常，则对数据进行预处理，若结果没有显示异常，则完成数据计算处理资源，然后数据资源筛选读取信息资源是否存在，若显示存在则对数据信息进行存储，若数据预处理的结构显示异常，则生产错误提示消息，然后错误信息提示报告，再利用数据资源获取缓存，再对信息资源是否存在进行判断，若不存在则跳到数据筛选储存步骤。
[0022]综上所述，本专利技术包括以下至少一种有益技术效果：
[0023]本专利技术公开了一种基于浏览器进行数据存储与计算的系统及方法，针对当前网络对海量数据存储和管理系统中存在的问题进行分析，为了更好地适应网络信息技术的发展要求，设计基于云计算环境的大数据兼容性存储系统，从而达到对网络中大规模信息资源
进行采集处理和兼容存储的设计目标。通过实验检测证实，该系统具有存储容量大、数据兼容性强，信息处理高效准确等优点，可有效提高数据采集处理效率，充分弥补传统方法中的不足，适用于实际信息存储工作中。其可以有效解决关系数据模型的兼容和扩展性问题，有效提高了对海量数据进行查询的工作效率，有效解决了当前对大数据兼容存储能力不足的问题。
附图说明
[0024]图1为本专利技术展示的数据扩展单元的结构示意图。
[0025]图2为本专利技术展示的关系数据扩展类型切分单元的结构示意图。
[0026]图3为本专利技术展示的数据存储管理访问单元的结构示意图。
[0027]图4为本专利技术展示的数据并行处理系统的结构示意图。
[0028]图5为本专利技术方法的流程图。
具体实施方式
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于浏览器进行数据存储与计算的系统，其特征在于：包括数据扩展单元、关系数据扩展类型切分单元以及数据存储管理访问单元；所述数据扩展单元利用数据特征类型对数据特征进行拓展描述，并结合数据抽象计算方法对结构化数据进行扩展和转化，以便进行信息存储和压缩；所述关系数据扩展类型切分单元在完成数据扩展分类的基础上，根据数据特征进一步进行数据类型切分，当数据扩展范围超过限定阀值时，扩展出来的虚拟类数据信息被视为普通子类信息进行存储处理；所述数据存储管理访问单元利用非关系型数据特点为缓存数据进行特征分类，来实现数据的扩展和转换，以便优化客户端的数据通信模式。2.根据权利要求1所述的基于浏览器进行数据存储与计算的系统及方法，其特征在于，所述数据扩展单元包括数据抽象计算模块以及分别与所述数据抽象计算模块连接的数据解压模块及数据转化模块；所述数据解压模块与所述数据转化模块均连接有数据筛选模块、数据存储模块、数据查询模块、数据采集模块、数据更新模块以及数据调度模块，用户数据信息传输至数据抽象计算模块中进行处理分析，分析完成后再将数据计算结果归并至用户数据信息中。3.根据权利要求2所述的基于浏览器进行数据存储与计算的系统及方法，其特征在于，所述关系数据扩展类型切分单元包括数据切分子系统、数据解析模块以及数据分发模块，所述数据切分子系统分别与所述数据查询模块以及所述数据解析模块连接，所述数据分发模块与所述数据解析模块连接。4.根据权利要求3所述的基于浏览器进行数据存储与计算的系统及方法，其特征在于，所述数据切分子系统包括依次连接的数据类型映射模块、数据类型扩展模块、数据关系计算模块、数据信息判断模块以及数据特征切分模块。5.根据权利要求1所述的基于浏览器进行数据存储与计算的系统及方法，其特征在于，所述数据存储管理访问单元包括数据管理入口、大数据访问统一接口、数据关系映射层以及数据库，所述大数据访问统一...

【专利技术属性】
技术研发人员：罗园园，程玉坤，倪传松，龚凯凯，
申请(专利权)人：上海蓝凡网络科技股份有限公司，
类型：发明
国别省市：