一种数据处理方法技术

本发明专利技术涉及数据交换技术领域，公开了一种数据处理方法，提取原始数据内容，并保存至相应数据库中；提取出所述的原始数据的位置信息；设定虚拟盘并提取所述的原始数据的位置信息，所述的位置信息存放至虚拟盘中；发送访问请求，并建立与虚拟盘之间的映射，提取出虚拟盘内部的位置信息，并通过位置数据信息访问原始数据。在本申请中，会对后台说存储的数据进行筛选、分类和整合，并且针对不同的原始数据进行优先级的划分，具体的划分标准则是按照所述的原始数据被访问的频率来制定，而在访问过程中，将优先对访问级别较高的访问请求开设单独的访问通道，使其能够更加快速的完成访问请求。求。求。

【技术实现步骤摘要】
一种数据处理方法


[0001]本专利技术涉及数据交换
，具体涉及一种数据处理方法。

技术介绍

[0002]AIdustry安全中台是一个基于SaaS的安全管理即服务平台，连接安全策略与AIdustry安全基础设施，构成连贯一致的“人
‑
过程
‑
技术”安全管理体系，确保安全策略正确实施。安全中台的核心就是对数据资产的安全防护，通过安全策略的执行来调度安全能力为数据资产提供安全环境。安全中台为数据资产提供安全服务的能力是以安全标识为核心，通过安全标识的设置来调动安全策略的编排、调度与执行。
[0003]数据处理，是对数据的采集、存储、检索、加工、变换和传输。根据处理设备的结构方式、工作方式，以及数据的时间空间分布方式的不同，数据处理有不同的方式。不同的处理方式要求不同的硬件和软件支持。每种处理方式都有自己的特点，应当根据应用问题的实际环境选择合适的处理方式。
[0004]而在日常运行过程中，不同的数据存储在各种不同的存储引擎中，以帮助大数据平台的使用者更规范、更统一、更安全的管理大数据平台中的数据，实现统一的数据管理。而数据的访问和调用更加数据系统日常处理最常见的问题。在具体操作中往往是各个数据终端向数据中台发送不同的访问请求，经由数据中台允许并开通访问路径之后才能够进行正常的访问。而其中重要性较高的数据的访问频率相较于其他数据要大得多，因此数据中台需要频繁处理相同数据的访问请求，严重影响工作效率。

技术实现思路

[0005]本专利技术的目的在于提供一种数据处理方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]一种数据处理方法，其特征在于，所述的方法包括：
[0008]提取原始数据内容，并保存至相应数据库中；
[0009]提取出所述的原始数据的位置信息，所述的位置信息可以是所述的原始数据所在的文件夹信息或者通向所述的原始数据所在位置的超链接；
[0010]设定虚拟盘并提取所述的原始数据的位置信息，所述的位置信息存放至虚拟盘中；
[0011]发送访问请求，并建立与虚拟盘之间的映射，提取出虚拟盘内部的位置信息，并通过位置数据信息访问原始数据
[0012]作为本专利技术进一步的方案，在提取原始数据的过程中，会因为数据的来源不同或者重复记录的原因而造成所提取的原始数据出现重复，因此在将原始数据存储入数据库之前，需要对所述的原始数据进行筛选，具体的筛选过程如下所示：
[0013]提取原始数据中的特征信息，所述的特征信息也即是可以体现出所述的原始数据的信息特征的相关信息，根据所述的特征信息至少可以判断所述的原始数据的类别；
[0014]提取所述的特征信息，并进行比对，所述的比对方式采用两两对比的方式，在比对过程中，出现相同的两个特征信息时；
[0015]提取出相同的特征信息所对应的原始数据，将两个所述的原始数据进行比对，并在两个原始数据内容相同，仅保留其中一项。
[0016]作为本专利技术进一步的方案，如果提取出相同的特征信息所对应的原始数据后，两个所述的原始数据内容不相同，则将两份原始数据合并为同一份原始数据，并且其特征信息不变。
[0017]作为本专利技术进一步的方案，如果提取出相同的特征信息所对应的原始数据后，两个所述的原始数据内容部分相同，则删除其中一份原始数据中的相同部分，并且将删减后的原始数据与另一份原始数据进行合并，并且特征信息不变。
[0018]作为本专利技术进一步的方案，当系统关闭后重新启动，因为虚拟盘的本身特性，其内部所存储的位置信息将会发生丢失，此时应重新提取位置信息并存放至虚拟盘中保存。
[0019]作为本专利技术的进一步方案，对于不同访问频率的原始数据需要建立不同的访问方式，具体步骤入下：
[0020]提取访问记录，所述的访问记录指的是通过映射，从而虚拟盘中或者位置信息后访问原始数据的记录；
[0021]提取访问记录中，不同原始数据的访问次数，并根据访问次数对不同的原始数据进行排序，访问次数越多的原始数据的优先级越高，相应的所述的原始数据所对应的位置信息的优先级越高；
[0022]建立访问通道，所述的访问通道值得是请求端到达位置信息所在地址的数据通道；
[0023]将访问通道划分公用访问通道的独立访问通道；
[0024]在同一时间内优先级最高的位置信息所对应的访问请求将使用独立访问通道对原始数据进行访问，其余访问请求则共同使用公用访问通道。
[0025]作为本专利技术进一步的方案，当某一访问请求正在通过独立访问通道对原始数据进行访问时，新出现访问优先级高于该访问请求的情况时，则等待上一访问请求完成之后再通过独立访问通道进行访问。
[0026]作为本专利技术进一步的方案，当某一访问请求正在通过独立访问通道对原始数据进行访问时，新出现访问优先级高于该访问请求的情况时，则开启计时，在所设定的时间范围内，新的访问请求则等待上一访问请求完成访问之后再通过独立访问通道进行访问，如果超出所设定的等待时间，则中断上一访问请求，而新的访问请求则通过独立访问通道进行访问。
[0027]作为本专利技术进一步的方案，在上一访问请求超出等待时间被中断时，该访问请求会通过公用访问通道重新进行访问。
[0028]与现有技术相比，本专利技术的有益效果是：在本申请中，会对后台说存储的数据进行筛选、分类和整合，并且针对不同的原始数据进行优先级的划分，具体的划分标准则是按照所述的原始数据被访问的频率来制定，而在访问过程中，将优先对访问级别较高的访问请求开设单独的访问通道，使其能够更加快速的完成访问请求。
附图说明
[0029]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中的一些实施例。
[0030]图1为本专利技术实施例提供的适用于本专利技术实施例的一种数据处理方法的流程示意图。
[0031]图2为本专利技术一种优选的实施例中提供的一种数据比对的流程示意图。
[0032]图3为本专利技术一种优选的实施例中提供的一种数据访问的流程示意图。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]需要说明，若本专利技术实施例中有方向性指示(诸如上、下、左、右、前、后......)，则其仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0035]另外，若在本专利技术中涉及“第一”、“第二”等的描述，则其仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述的方法包括：提取原始数据内容，并保存至相应数据库中；提取出所述的原始数据的位置信息，所述的位置信息可以是所述的原始数据所在的文件夹信息或者通向所述的原始数据所在位置的超链接；设定虚拟盘并提取所述的原始数据的位置信息，所述的位置信息存放至虚拟盘中；发送访问请求，并建立与虚拟盘之间的映射，提取出虚拟盘内部的位置信息，并通过位置数据信息访问原始数据。2.根据权利要求1所述的一种数据处理方法，其特征在于，在提取原始数据的过程中，会因为数据的来源不同或者重复记录的原因而造成所提取的原始数据出现重复，因此在将原始数据存储入数据库之前，需要对所述的原始数据进行筛选，具体的筛选过程如下所示：提取原始数据中的特征信息，所述的特征信息也即是可以体现出所述的原始数据的信息特征的相关信息，根据所述的特征信息至少可以判断所述的原始数据的类别；提取所述的特征信息，并进行比对，所述的比对方式采用两两对比的方式，在比对过程中，出现相同的两个特征信息时；提取出相同的特征信息所对应的原始数据，将两个所述的原始数据进行比对，并在两个原始数据内容相同，仅保留其中一项。3.根据权利要求2所述的一种数据处理方法，其特征在于，如果提取出相同的特征信息所对应的原始数据后，两个所述的原始数据内容不相同，则将两份原始数据合并为同一份原始数据，并且其特征信息不变。4.根据权利要求2所述的一种数据处理方法，其特征在于，如果提取出相同的特征信息所对应的原始数据后，两个所述的原始数据内容部分相同，则删除其中一份原始数据中的相同部分，并且将删减后的原始数据与另一份原始数据进行合并，并且特征信息不变。5.根据权利要求1所述的一种数据处理方法，其特征...

【专利技术属性】
技术研发人员：李杰，缪忠恕，翟明杰，郭刘畅，马远征，杜鹏，李亚峰，李栋梁，杨亚泽，李延龙，
申请(专利权)人：华能信息技术有限公司，
类型：发明
国别省市：