离散式索引方法与系统技术方案

技术编号:26376564 阅读:28 留言:0更新日期:2020-11-19 23:45
本发明专利技术公开了一种离散式索引方法与系统,属于数据索引技术领域。所述方法包括:根据投影计算逻辑,将问题域数据对象投影到图模型,建立图模型数据对象;根据投影计算逻辑,实例化图模型;根据实例化的图模型进行分解计算,输出并存储离散式索引数据。所述系统包括投影建立模块、实例化模块和计算存储模块。本发明专利技术提供的离散式索引方法与系统能够有效解耦数据孤岛关联关系,实现计算逻辑向数据的分配与迁移,进而通过分布式计算显著提升整体数据分析效率。

【技术实现步骤摘要】
离散式索引方法与系统
本专利技术涉及数据索引
,特别涉及一种服务于异地异构数据孤岛联合数据分析的数据索引方法与系统。
技术介绍
在关系数据库中,索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列属性值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录,可以根据目录中的页码快速查询到所需的内容。在其他
,如搜索引擎等,索引所包含的意义与上述关系数据库类似。查询与分析计算过程定义如下:给定一个输入集合M从数据集X中获取输出集合N,如果在获取N的计算过程中仅包含针对数据集X的遍历与提取计算操作,那么获取N的计算过程称之为“查询”;如果在获取N的计算过程中还包括额外的数据计算和加工环节,那么获取N的计算过程称之为“分析”。举例而言,从一个社交数据库针对输入一组身份证号码集合获取身份证号码对应的人员姓名、年龄等属性数据,因整个过程仅包含遍历(遍历身份证号码集合)和提取(每个身份证对应的人员姓名、年龄属性等)操作,所以该计算过程属于“查询”;如果从该数据本文档来自技高网...

【技术保护点】
1.一种离散式索引方法,其特征在于,包括:/n根据投影计算逻辑,将问题域数据对象投影到图模型,建立图模型数据对象;/n根据所述投影计算逻辑,实例化所述图模型;以及/n根据实例化的所述图模型进行分解计算,输出并存储离散式索引数据。/n

【技术特征摘要】
1.一种离散式索引方法,其特征在于,包括:
根据投影计算逻辑,将问题域数据对象投影到图模型,建立图模型数据对象;
根据所述投影计算逻辑,实例化所述图模型;以及
根据实例化的所述图模型进行分解计算,输出并存储离散式索引数据。


2.如权利要求1所述的离散式索引方法,其特征在于,在所述建立图模型数据对象与根据所述投影计算逻辑实例化所述图模型的步骤之间还包括:根据所述图模型数据对象中顶点对象的属性关联关系,建立数据孤岛关联关系的计算逻辑;相应地,根据所述投影计算逻辑和数据孤岛关联关系的计算逻辑,实例化所述图模型。


3.如权利要求2所述的离散式索引方法,其特征在于,所述问题域数据对象指的是以数据模型形式描述的分析主题所涉及的数据对象,包括实体对象和关系对象;所述数据模型为数据孤岛物理数据模型或由多个数据孤岛本地物理数据模型聚合而成的虚拟数据模型;所述投影计算逻辑至少包括虚拟对象计算逻辑、投影方法逻辑、安全计算逻辑和同步计算逻辑中的至少一种。


4.如权利要求3所述的离散式索引方法,其特征在于,所述图模型数据对象的属性包括其对应的所述数据模型的数据对象的全部属性或部分属性。


5.如权利要求4所述的离散式索引方法,其特征在于,所述图模型数据对象的属性还包括图模型分析中需要建立的自定义属性。


6.如权利要求3所述的离散式索引方法,其特征在于,所述投影方法逻辑包括实例化投影方法逻辑和抽象化投影方法逻辑;所述虚拟对象计算逻辑包括虚拟实体对象计算逻辑和虚拟关系对象计算逻辑。


7.如权利要求6所述的离散式索引方法,其特征在于,所述根据投影计算逻辑,将问题域数据对象投影到图模型的步骤包括下列步骤中的至少一个:
根据所述虚拟实体对象计算逻辑,将所述数据模型实际定义和保存的实体对象属性集合进行加工计算得到虚拟实体数据对象;
根据所述虚拟关系对象计算逻辑,将所述数据模型实际定义和保存的两个实体对象属性集合进行加工计算得到虚拟关系数据对象;
根据所述实例化投影方法逻辑,将所述虚拟实体数据对象和虚拟关系数据对象在所述图模型上以1∶1建立相同属性集合或者部分相同属性集合的顶点与边对象集合;
根据所述抽象化投影方法逻辑,将所述虚拟实体数据对象和虚拟关系数据对象在所述图模型上以N∶1建立相同属性集合或者部分相同属性集合的顶点与边对象集合;
根据所述实例化投影方法逻辑,将问题域数据对象在图模型上以1∶1建立相同属性集合或者部分相同属性集合的顶点与边对象集合;
根据所述抽象化投影方法逻辑,将问题域数据对象在图模型上以N∶1建立相同属性集合或者部分相同属性集合的顶点与边对象集合;或者
根据所述安全计算逻辑,将所述虚拟实体数据对象、虚拟关系数据对象和问题域数据对象中的至少一种进行安全计算;
其中N为大于1的自然数。


8.如权利要求7所述的离散式索引方法,其特征在于,所述实例化所述图模型的步骤通过跨网域、前置系统转发或/和密文...

【专利技术属性】
技术研发人员:赵乃岩
申请(专利权)人:即云天下北京数据科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1