一种数据检索方法及装置制造方法及图纸

技术编号:30337807 阅读:24 留言:0更新日期:2021-10-12 22:58
本发明专利技术公开了一种数据检索方法及装置,方法包括:响应于数据资产管理方发送的检索请求,获取检索信息;依据检索信息查找当前关系图谱,获得检索信息对应的数据节点信息和操作流程文件;对数据节点信息和操作流程文件进行分析处理,获得第一数据资产和第一数据资产对应的图谱数据;其中,第一数据资产包括第一数据资产的属性信息;依据第一数据资产对应的图谱数据和第一数据资产的属性信息,生成并发送检索响应给数据资产管理方。通过第一数据资产对应的图谱数据对第一数据资产进行溯源,追踪到第一数据资产对应的初始数据,保护了数据的不可篡改性,降低了数据管理的复杂性。降低了数据管理的复杂性。降低了数据管理的复杂性。

【技术实现步骤摘要】
一种数据检索方法及装置


[0001]本专利技术涉及数据安全
,具体涉及一种数据检索方法及装置。

技术介绍

[0002]随着科学技术的不断进步,大数据技术被机构和组织广泛接纳和应用,以面对高速增长的数据量和用户需求。大数据生态系统中的服务类型包括数据的存储、检索、计算、分析、协调等,大数据生态系统的分布式部署理念和主从结构决定了数据应用的灵活性和高效性,但是也增加了数据质量管理的分散性和复杂性。大数据质量管理的关键在于数据的发现和跟踪。数据发现是指对于大数据平台中的组件上所存储的数据具有自动识别、分类和整理的能力,而数据跟踪则是指对于这些组件中的已发现数据具有溯源和追踪的能力。
[0003]目前,面对复杂的大数据生态系统和庞杂的海量异构数据,用于对这些数据进行质量管理的技术手段非常有限,有些技术只具备数据溯源的能力,而缺乏数据审计的能力;有些技术只满足部分组件的管理需求,而缺乏全面的大数据平台管理能力,无法实现对海量数据的全面管理。

技术实现思路

[0004]为此,本专利技术提供一种数据检索方法及装置,以解决现有技术中由于用于数据质量管理的技术存在片面性而导致的无法实现对海量数据的全面管理的问题。
[0005]为了实现上述目的,本专利技术第一方面提供一种数据检索方法,方法包括:响应于数据资产管理方发送的检索请求,获取检索信息;依据检索信息查找当前关系图谱,获得检索信息对应的数据节点信息和操作流程文件;对数据节点信息和操作流程文件进行分析处理,获得第一数据资产和第一数据资产对应的图谱数据;其中,第一数据资产包括第一数据资产的属性信息;依据第一数据资产对应的图谱数据和第一数据资产的属性信息,生成并发送检索响应给数据资产管理方。
[0006]在一些具体实现中,对数据节点信息和操作流程文件进行分析处理,获得第一数据资产和第一数据资产对应的图谱数据,包括:对数据节点信息进行分析,获得第一数据资产和第一数据资产对应的关系信息,其中,第一数据资产对应的关系信息至少包括第一数据资产与其他数据资产之间的数据关联关系信息、数据血缘关系信息和数据派生关系信息中的任一种信息;对操作流程文件中的操作信息进行审计,若确定审计通过,则依据操作信息和第一数据资产对应的关系信息,构造数据追踪模型;依据数据追踪模型和第一数据资产,生成第一数据资产对应的图谱数据。
[0007]在一些具体实现中,依据检索信息查找当前关系图谱,获得检索信息对应的数据节点信息和操作流程文件,包括:检索信息包括检索条目信息;依据检索条目信息查找当前关系图谱,获得压缩文件,其中,压缩文件是经过序列化处理的数据节点信息和操作流程文件;对压缩文件进行反序列化处理,获得数据节点信息和操作流程文件。
[0008]在一些具体实现中,在响应于数据资产管理方发送的检索请求,获取检索信息步骤之前,还包括:获取数据资产管理方发送的创建图谱消息,创建图谱消息包括自定义类型模板;从大数据集群用户导入的第二数据资产中,依据自定义类型模板,筛选获得初始数据资产;依据初始数据资产,生成初始关系图谱;依据初始关系图谱和大数据集群用户导入的第三数据资产,生成当前关系图谱。
[0009]在一些具体实现中,依据初始关系图谱和大数据集群用户导入的第三数据资产,生成当前关系图谱,包括:获取第三数据资产对应的关系信息;若确定第三数据资产对应的关系信息与初始关系图谱存在交集,则依据第三数据资产对应的关系信息更新初始关系图谱,获得当前关系图谱。
[0010]在一些具体实现中,创建图谱消息还包括敏感数据策略;在获取第三数据资产对应的关系信息步骤之后,还包括:对第三数据资产进行解析,获得第三数据资产中的敏感数据;依据敏感数据策略,对第三数据资产中的敏感数据进行拦截或限制访问。
[0011]在一些具体实现中,敏感数据策略至少包括访问时间限制策略、访问用户限制策略和敏感信息标记策略中的任一种策略。
[0012]在一些具体实现中,自定义类型模板包括数据类型模板和业务类型模板;其中,数据类型模板是数据资产管理方根据大数据集群用户存储的数据资产的属性信息进行创建、更新或删除的模板;业务类型模板是数据资产管理方根据大数据集群用户的业务需求信息进行创建、更新或删除的模板。
[0013]在一些具体实现中,检索信息还包括检索类型,检索类型至少包括节点检索、边界检索和全文检索中的任一项。
[0014]为了实现上述目的,本专利技术第二方面提供一种数据检索装置,包括:获取模块,用于响应于数据资产管理方发送的检索请求,获取检索信息;查询模块,用于依据检索信息查找当前关系图谱,获得检索信息对应的数据节点信息和操作流程文件;分析模块,用于对数据节点信息和操作流程文件进行分析处理,获得第一数据资产和第一数据资产对应的图谱数据,第一数据资产包括第一数据资产的属性信息;生成模块,用于依据第一数据资产对应的图谱数据和第一数据资产的属性信息,生成并发送检索响应给数据资产管理方。
[0015]为了实现上述目的,本专利技术第三方面提供一种电子设备,其包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现第一方面中的方法。
[0016]为了实现上述目的,本专利技术第四方面提供一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现第一方面中的方法。
[0017]本专利技术具有如下优点:通过检索信息查找当前关系图谱,可以对待检索的数据做初步筛查,确定要查找的数据的操作流程文件,通过该操作流程文件中所记载的流程信息,能够真实地反映数据采集、利用、延续和销毁的全过程,使得对第一数据资产的操作能够被完整的记录下来,进而获得该检索信息对应的数据节点信息;然后再对数据节点信息和操作流程文件进行分析处理,获得第一数据资产及其对应的图谱数据;依据第一数据资产对应的图谱数据和第一数据资产的属性信息生成并发送检索响应给数据资产管理方后,使得数据资产管理方能够依据第一数据资产对应的图谱数据对第一数据资产进行溯源,追踪到第一数据资产对应的初始数据,保护了数据的不可篡改性,降低了数据管理的复杂性。
附图说明
[0018]附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开,并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述,以上和其它特征和优点对本领域技术人员将变得更加显而易见,在附图中:
[0019]图1为本申请实施例一中的一种数据检索方法流程图。
[0020]图2为本申请实施例二中的一种数据检索方法流程图。
[0021]图3为本申请实施例三中的一种数据检索装置方框图。
[0022]图4为本申请实施例四中的一种数据检索系统的组成方框图。
[0023]图5为本申请实施例四中的一种数据检索系统中的各个主要模块的逻辑结构图。
[0024]图6为本申请实施例四中的数据检索系统的工作方法流程图。
[0025]图7为本申请实施例五中的可本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据检索方法,其特征在于,所述方法包括:响应于数据资产管理方发送的检索请求,获取检索信息;依据所述检索信息查找当前关系图谱,获得所述检索信息对应的数据节点信息和操作流程文件;对所述数据节点信息和所述操作流程文件进行分析处理,获得第一数据资产和所述第一数据资产对应的图谱数据;其中,所述第一数据资产包括所述第一数据资产的属性信息;依据所述第一数据资产对应的图谱数据和所述第一数据资产的属性信息,生成并发送检索响应给所述数据资产管理方。2.根据权利要求1所述的方法,其特征在于,所述对所述数据节点信息和所述操作流程文件进行分析处理,获得第一数据资产和所述第一数据资产对应的图谱数据,包括:对所述数据节点信息进行分析,获得所述第一数据资产和所述第一数据资产对应的关系信息,其中,所述第一数据资产对应的关系信息至少包括所述第一数据资产与其他数据资产之间的数据关联关系信息、数据血缘关系信息和数据派生关系信息中的任一种信息;对所述操作流程文件中的操作信息进行审计,若确定审计通过,则依据所述操作信息和所述第一数据资产对应的关系信息,构造数据追踪模型;依据所述数据追踪模型和所述第一数据资产,生成所述第一数据资产对应的图谱数据。3.根据权利要求1所述的方法,其特征在于,所述依据所述检索信息查找当前关系图谱,获得所述检索信息对应的数据节点信息和操作流程文件,包括:所述检索信息包括检索条目信息;依据所述检索条目信息查找所述当前关系图谱,获得压缩文件,其中,所述压缩文件是经过序列化处理的所述数据节点信息和所述操作流程文件;对所述压缩文件进行反序列化处理,获得所述数据节点信息和所述操作流程文件。4.根据权利要求1所述的方法,其特征在于,在所述响应于数据资产管理方发送的检索请求,获取检索信息步骤之前,还包括:获取所述数据资产管理方发送的创建图谱消息,所述创建图谱消息包括自定义类型模板;从大数据集群用户导入的第二数据资产中,依据所述自定义类型模板,筛选获得初始数据资产;依据所述初始数据资产,生成初始关系图谱;依据所述初始关系图谱和所述大数据集群用户导入的第三数据资产,生成所述当前关系图谱。5.根据权利要求4所述的方法,其特征在于,所述依据所述初始关系图谱和所述大数据集群用户导入的第三数据资产,...

【专利技术属性】
技术研发人员:王影赵远杰张柯丽王艳霞栗志鹏
申请(专利权)人:中电长城网际系统应用有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1