一种多源指标数据智能存储的管理方法及装置制造方法及图纸

本发明专利技术适用于数据存储技术领域，提供一种多源指标数据智能存储的管理方法及装置，所述方法包括：根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型；根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库。本发明专利技术方法可以将不同来源的指标以及指标数据以统一的形式按照一定的规则存储到不同的数据库中，并给空间规划业务提供统一的、高效的、便捷的接口服务；本发明专利技术能有效的解决单一体系指标存储管理存在的问题，并能很好的降低开发成本，缩短项目周期，提高生产效率。提高生产效率。提高生产效率。

【技术实现步骤摘要】
一种多源指标数据智能存储的管理方法及装置


[0001]本专利技术属于数据存储
，尤其涉及一种多源指标数据智能存储的管理方法及装置。

技术介绍

[0002]国土空间规划编制、实施、监督评价和体检评估等全过程日程业务办理过程中，涉及到了对大量指标的存储管理，这些指标种类繁多，来源形式多种多样，同时数据量也非常的大，目前已经涉及到的指标有千余种，按照全省指标按天来汇聚入库，每年指标数据量将近亿级，通过现有指标数据存储方式，显然无法满足指标数据的存储与高效查询。
[0003]在自然资源应用领域，指标包含了指标项、指标数据、指标来源、指标元信息等，这些数据有着数据量大、种类繁多、数据来源不一等特点，以传统的单一体系进行指标数据管理扩展性差、灵活性低、效率低的问题，难以满足日新月异的指标数据实时的联动更新以及同一指标不同维度统计数据的准确性。
[0004]传统的指标管理模式技术具体存在以下问题：1、现有单一体系下指标数据仅支持数据录入无法满足不同来源指标数据的入库问题，比如指标数据来自于第三方业务系统、空间数据实时计算、统计年鉴指标数据、复合指标计算以及空间规划成果包中的指标数据等，这些指标数据种类繁多、来源形式多种多样，在现有的单一指标管理模式下已无法满足系统的需求。
[0005]2、现有单一体系下指标数据存储单一且只能通过人工的方式进行建表存储，存储数据量过小，无法满足年数据量达到亿级的问题。
[0006]3、指标数据在现有的存储规则下，数据量达到亿级以上，查询效率很低的问题。

技术实现思路

[0007]鉴于上述问题，本专利技术的目的在于提供一种多源指标数据智能存储的管理方法及装置，旨在解决现有指标数据管理扩展性差、灵活性低、效率低的技术问题，以满足在自然资源与规划业务中提出的变化不定的指标以及指标数据的管理需求。
[0008]本专利技术采用如下技术方案：一方面，所述多源指标数据智能存储的管理方法，包括下述步骤：根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型；根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库。
[0009]另一方面，所述多源指标数据智能存储的管理装置，所述管理装置包括：类型划分单元，用于根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型；
数据入库单元，用于根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库。
[0010]本专利技术的有益效果是：本专利技术提出了一种多源指标数据智能存储的管理方法，本专利技术方法可以将不同来源的指标以及指标数据以统一的形式按照一定的规则存储到不同的数据库中，并给空间规划业务提供统一的、高效的、便捷的接口服务；本专利技术能有效的解决单一体系指标存储管理存在的问题，并能很好的降低开发成本，缩短项目周期，提高生产效率。本专利技术通过分布式多表多库以及多种存储模式解决了不同指标数据查询慢的问题，将查询效率提升10倍以上。
附图说明
[0011]图1是本专利技术实施例提供的多源指标数据智能存储的管理方法的流程图；图2是本专利技术实施例提供的指标数据入库操作的流程图。
具体实施方式
[0012]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0013]为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。
[0014]实施例一
[0015]如图1所示，本实施例提供的多源指标数据智能存储的管理方法，包括述步骤：步骤S1、根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型。
[0016]多源指标数据来源多种多样，本专利技术实施例涉及到的数据来源有6种，分别为：1、从空间数据通过第三方库抽取或模型服务计算所得的指标数据；2、外部资料文献梳理录入的指标数据；3、通过第三方系统共享交换的指标数据4、通过系统填报汇交实时同步数据库的指标数据5、市县规划成果包中的指标数据；6、根据内部单一指标数据通过复合指标计算入库获得的复合指标。
[0017]上述6种指标数据分成三个类型，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型。其中指标成果文件类型具体为指标来源为文件格式的数据，比如前述的类型2、5；第三方指标数据接口类型具体为指标来源为第三方接口形式，比如前述的类型1、3、4；复合指标类型具体为指标来源为复合指标，比如前述的类型6。
[0018]步骤S2、根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库。
[0019]本步骤针对不同类型的指标数据，通过型计算调度系数，并根据调度系数自适应创建相应数量的解析服务节点，进行指标数据入库操作。
[0020]对于单一行政区指标，调度系数用E表示，三种类型的指标数据，其基础参数分别用A、B、C表示，基础参数是表示这三类型来源的指标数据通过服务计算所消耗的时间系数变量，三个基础之间又存在倍数关系，A、B、C的比例始终是保持在3:2:1。指标成果文件类型、第三方指标数据接口类型和复合指标类型的基础参数分别为A、B、C。另外用n表示执行
次数，即计算调度系数的次数。
[0021]本步骤实现的是对于多来源的指标数据通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库，调度规则是通过指标数据来源类型、指标数据量、当前环境情况等因素自动调节，以最大限度提高多源指标数据入库效率，调度规则通过指标调度系数进行量化。
[0022]为了方便描述，对于单一行政区的指标调度系数，用E表示。下面针对三种类型的指标数据的调度系数计算进行具体说明。
[0023]（1）指标成果文件类型的指标数据如果指标数据的文件格式是excel时，E=A+T
×
A 2
，T表示excel文件解析执行的时间，单位为秒,excel解析时间越长，说明对服务计算能力越高，调度系数越高；当文件格式是zip时，E=A+2L
×
A 2
/100, L表示zip包的大小，单位为兆，计算每百兆文件的耗时，从而计算出服务调度系数，zip包文件执行效率比单文件执行效率要慢2倍。即：。
[0024]（2）第三方指标数据接口类型的指标数据当指标数据来源为第三方指标数据接口的形式，接口类型有空间模型分析接口、第三方接口和省市县三级汇交接口，按照复杂度，不同的数据接口类型，第三方接口<省市县三级汇交接口<空间模型分析接口，分别设为B、2B和3B。设接口类型为N，N=[B,2B,3B], 调度系数E=B+N，N根据接口类型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源指标数据智能存储的管理方法，其特征在于，所述方法包括下述步骤：根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型；根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库。2.如权利要求1所述多源指标数据智能存储的管理方法，其特征在于，所述调度规则如下：根据指标数据的类型计算调度系数，并根据调度系数自适应创建相应数量的解析服务节点，进行指标数据入库操作。3.如权利要求2所述多源指标数据智能存储的管理方法，其特征在于，所述调度系数Kn计算式如下：如果省市县三级指标独立，指标数据的类型为指标成果文件类型且文件格式是excel时，；指标数据的类型为指标成果文件类型且文件格式是zip时，；指标数据的类型为第三方指标数据接口类型时，；指标数据的类型为复合指标类型时，；如果省市县三级指标联动，指标数据的类型为指标成果文件类型且文件格式是excel时，；指标数据的类型为指标成果文件类型且文件格式是zip时，；指标数据的类型为第三方指标数据接口类型时，；指标数据的类型为复合指标类型时，；均满足；指标成果文件类型、第三方指标数据接口类型和复合指标类型的基础参数分别为A、B、C，其中n表示执行次数，Cxzqh表示当前指标解析的行政区划个数，T表示excel文件解析执行的时间，单位为秒，L表示zip包的大小，单位为兆，N表示不同的数据接口类型，当为第三方接口时N=B，当为省市县三级汇交接口时，N=2B，当为空间模型分析接口时, N=3B，Count(zb)表示复合指标中含有指标的个数，t表示相邻两次调度系数计算的间隔时间，单位为秒， M为常量，表示是否需要创建指标项，M=0表示不需要创建，M=1表示需要创建。
4.如权利要求3所述多源指标数据智能存储的管理方法，其特征在于，根据调度系数自适应创建相应数量的解析服务节点的具体方式如下：解析服务节点数量【K
n
】=ceil(K
n
/10), ceil为取整函数，当【K
n
】≤1时，解析服务节点数量为1；当1<【K
n
】≤10时, 解析服务节点数量为2；当10<【K
n
】≤100时, 解析服务节点数量为3；当【K
n
】>100时, 解析服务节点数量为4。5.如权利要求4所述多源指标数据智能存储的管理方法，其特征在于，指标数据入库的具体过程如下：获取待入库指标数据的指标元信息；根据指标元信息确定当前指标数据的入库更新频率；如果是高频率，对于首次入库的指标数据，直接连接非关系型数据库并入库操作，对于非首次入库的指标数据，检测服务器节点的剩余容量，如果剩余容量未达到80%，则直接连接非关系型数据库并入库操作，如果剩余容量达到80%，则连接备用的服务器节点创建非关系型数据库并入库操作；如果是低频率，对于首次入库的指标数据，直接连接关系型数据库创建表结构并入库操作，对于非首次入库的指标数据，检测服务器节点的剩余容量，如果剩余未达到80%，进一步判断数据表是否达到百万条数据...

【专利技术属性】
技术研发人员：李江，刘厚洋，张琪，冉溢，王清，王平，
申请(专利权)人：吉奥时空信息技术股份有限公司，
类型：发明
国别省市：