当前位置: 首页 > 专利查询>董福田专利>正文

一种数据的处理方法及装置制造方法及图纸

技术编号:21832493 阅读:41 留言:0更新日期:2019-08-10 17:56
本发明专利技术公开了数据的处理方法及装置,该方法包括:设定数据的尺度;根据所述的数据的尺度分析计算数据之间的相互关系;按照设定的处理类型对应的处理方法,根据所述的相互关系处理所述数据。根据不同的处理类型,公开了数据管理和存储的方法;建立索引和分析管理数据方法;依据索引的数据管理和存储的方法;数据显示的方法;数据分析计算的方法;数据渐进传输的方法。本发明专利技术实施例公开的数据的处理方法,有效地解决了海量数据的处理过程中服务器端、传输网络及客户端的数据的检索、读取、传输、显示和空间关系计算、空间分析等的性能瓶颈问题。通过索引解决了数据的有限与无限、宏观与微观、复杂与简单之间的统一,通过索引解决了数据的检索、存储、读取、传输、显示、分析计算、分布式管理与运算的功能和性能的问题。

A Data Processing Method and Device

【技术实现步骤摘要】
一种数据的处理方法及装置
本专利技术涉及空间信息技术、计算机图形学、虚拟现实技术和计算机操作系统等领域,尤其涉及数据的处理方法及装置。
技术介绍
宏观与微观是互为对应的概念,通常用尺度来表示。数据的尺度分为客观存在的本征尺度与主观设定的非本征尺度。例如,地理研究对象的微观与宏观,以地理本征时空尺度为基础;地理研究视野的微观与宏观,以地理非本征时空尺度为基础。在GIS里体现为空间数据所反映的是客观存在的本征的宏观与微观,电子地图的显示、空间分析计算所反映的是主观设定的非本征的宏观与微观。现有的方法在数据的组织、存储、索引、空间关系的分析计算等方面,一直不能解决客观存在的本征尺度与主观设定的非本征尺度之间的统一的问题,比如地图和数据之间、地图和数据的坐标点之间、甚至是和坐标点的数据位之间的对立统一,地图在不同的比例尺下,需要的数据不同,需要的数据的坐标点,以及坐标点的数据位都是不一样的,现有的方法一直解决不了这些问题。为了解决海量空间数据对服务器、传输、显示造成的压力,最终不得不采用服务器对空间数据进行预处理,先按照特定的专题样式渲染成一张地图图片,再按照金字塔结构的格网将地图切割成不同层级的栅格图片,对每个层级的切片进行编码,确定切片所具有的唯一索引值。当客户端通过放大、缩小来浏览空间数据时,客户端可以根据当前显示范围的坐标,按照相应的切片索引标准,直接计算出相应的切片索引并发送给服务器,服务器将相应的切片数据传输到客户端进行显示。虽然解决了地图显示时客观存在的本征尺度与主观设定的非本征尺度之间的部分统一,解决了地图显示的性能瓶颈,但是让系统的其他功能都不能实现了,反而制造了更多的、新的瓶颈问题。分辨率,泛指量测或显示系统对细节的分辨能力。全国科学技术名词审定委员会审定公布的分辨率的定义是:分辨物理量细节的能力。随着科学技术的不断进步,空间技术的快速发展和广泛应用,计算机图形学、虚拟现实、城市规划、文物修复、动画游戏、计算机辅助设计、地理信息系统、医学图形等以空间实体为基础的应用领域得到快速发展,数据呈爆炸式增长,海量数据的压缩、传输、显示、分析已经成了制约这些行业发展的主要的技术瓶颈。从屏幕的数据显示的角度来看,屏幕的尺度、像素的尺度都是有限的,数据显示在电子屏幕的像素上,能看到的像素的个数是有限的,而每个像素在某一时刻只能显示一个数据,也就是说某个屏幕上能显示出来的数据的最大值是不变的,和有多么无限的数据无关,只和屏幕的分辨率有关。(1)绘制,只将能最终被看到的数据进行绘制,则解决了显示效率同数据量之间的矛盾。(2)传输,只将这些数据通过网络传输到前端,则解决了网络带宽同数据量之间的矛盾。(3)读取,只读这些数据,并且这些数据集中在一个文件中存储,则解决了磁盘读取的压力。(4)查询,只读这些数据的关键是索引只查出了这些数据,而且是请求数据的客户端自己根据索引进行查询检索,数据在服务器端根据索引的索引项进行分布式存储,客户端通过索引就已经检索出所要读取的数据文件中的数据块,对服务器没有数据查询的压力。而且索引的数据量要足够小,并且不能随着数据量的增长而成比例的增长,否则到了一定的数据量,索引的网络传输就是瓶颈。所有的问题统一为索引的问题,只要把索引的问题解决了其他的瓶颈问题就可以迎刃而解,而上述索引所要解决的问题是要有切片索引的所有优点,但是能将数据根据空间关系分开进行分布式存储,而不是将数据切开后分布式存储,通过索引实现简单和复杂的统一,即以简单的索引关系来实现任意复杂的空间数据的组织、管理、存储、查询、传输、显示和分析。索引通过非本征尺度和本征尺度的统一,解决数据读取、传输、显示、分析计算等用户在不同尺度下(非本征尺度)查看部分与整体、宏观与微观的数据,在不同尺度下对数据进行分析计算的性能问题,解决有限与无限之间的对立,即数据的本征尺度和主观设定的非本征尺度融合,从宏观的数据集的数据,到组成数据最小的数据位的数据都能反映主观设定的非本征尺和数据本征尺度的统一。索引通过尺度实现数据之间空间关系的简单与复杂的统一,解决数据的存储、读取、分析计算的功能(功能能否实现的问题,如实现将数据分开而不是先有技术的切开存储)和性能的问题。不同的尺度下数据之间的空间关系呈现出简单与复杂,比如在大尺度下数据之间的空间关系简单到只需要考虑重合与不重合,然后确定哪些数据放在索引的索引项中建立子索引进行管理,小尺度下数据之间的空间关系表现为包含、相交、相切等复杂的空间关系,则将这些数据可以放在索引的数据项中直接管理,不再建立子索引管理,索引中不同的数据项作为数据管理的数据块、数据库管理的数据记录、文件等存储于内存、硬盘等各种存储设备之中。索引通过尺度将数据中对应于不同尺度的数据进行统一进行查询、管理、存储、分析计算,比如对宏观的数据集合、描述一个对象的数据(如面数据)、坐标数据(如组成面数据的坐标点)、微观的数据位(如组成坐标数据的各个数据位的数据)等所有形式的数据都通过索引中不同的尺度进行统一管理、分析、运算等等。
技术实现思路
有鉴于此,本专利技术提供一种数据的处理方法及装置。其具体方案如下:一种数据的处理方法,包括:设定数据的尺度;根据所述的数据的尺度分析计算数据之间的相互关系;按照设定的处理类型对应的处理方法,根据所述的相互关系处理所述数据。优选的,所述设定数据的尺度的过程包括:所述的数据包括但不限于宏观的数据集合、描述一个对象的数据(如面数据)、坐标数据(如组成面数据的坐标点)、微观的数据位(如组成坐标数据的各个数据位的数据)等所有形式的数据;所述数据的尺度是表示数据的宏观与微观的变量,对于数据,尺度越大相对于尺度小而言就越宏观,尺度越小相对于尺度大而言就越微观。优选的,所述设定数据的尺度的过程包括:所述数据的尺度包括但不限于数据本身的空间尺度、时间尺度。优选的,所述设定数据的尺度的过程包括:所述数据的尺度包括但不限于观察数据的尺度,如空间数据进行计算机显示时的放大比例;空间数据的尺度包括但不限于空间数据的分辨率。优选的,所述设定数据的尺度的过程包括:所述的设定数据的尺度包括但不限于:预先设定的尺度、临时设定的尺度、数据处理过程中计算出来的尺度等任何情况下的尺度。优选的,所述根据所述的数据的尺度分析计算数据之间的相互关系的过程包括:所述的数据之间的相互关系包括但不限于空间关系、时间关系、尺度关系。优选的,所述按照设定的处理类型对应的处理方法,根据所述的相互关系处理所述数据的过程包括:所述根据所述的相互关系处理所述数据包括但不限于:依据不同尺度下数据之间的相互关系来处理数据的索引建立、存储、读取、传输、显示、数据的分析等;依据不同尺度和数据之间的相互关系来处理所述数据的索引的存储、读取、传输、显示、数据的分析等。一种建立索引和分析管理数据的方法,其特征在于,包括:设定数据的尺度;根据所述的数据的尺度分析计算数据之间的相互关系;根据分析计算获得的数据之间的相互关系建立索引和分析管理数据。优选的,所述设定数据的尺度的过程包括:所述设定数据的尺度,包括预先设定的尺度、临时设定的尺度、数据处理过程中计算出来的尺度等任何情况下的尺度;根据所述的设定数据的尺度确定索引的层次;根据所述确定的索引的层次管理和检索数据。优选的,所本文档来自技高网
...

【技术保护点】
1.一种数据的处理方法,其特征在于,包括:设定数据的尺度;根据所述的数据的尺度分析计算数据之间的相互关系;按照设定的处理类型对应的处理方法,根据所述的相互关系处理所述数据。

【技术特征摘要】
1.一种数据的处理方法,其特征在于,包括:设定数据的尺度;根据所述的数据的尺度分析计算数据之间的相互关系;按照设定的处理类型对应的处理方法,根据所述的相互关系处理所述数据。2.根据权利要求1所述的方法,其特征在于,所述设定数据的尺度的过程包括:所述的数据包括但不限于宏观的数据集合、描述一个对象的数据(如面数据)、坐标数据(如组成面数据的坐标点)、微观的数据位(如组成坐标数据的各个数据位的数据)等所有形式的数据;所述数据的尺度是表示数据的宏观与微观的变量,对于数据,尺度越大相对于尺度小而言就越宏观,尺度越小相对于尺度大而言就越微观。3.根据权利要求1所述的方法,其特征在于,所述设定数据的尺度的过程包括:所述数据的尺度包括但不限于数据本身的空间尺度、时间尺度。4.根据权利要求1所述的方法,其特征在于,所述设定数据的尺度的过程包括:所述数据的尺度包括但不限于观察数据的尺度,如空间数据进行计算机显示时的放大比例;空间数据的尺度包括但不限于空间数据的分辨率。5.根据权利要求1所述的方法,其特征在于,所述设定数据的尺度的过程包括:所述的设定数据的尺度包括但不限于:预先设定的尺度、临时设定的尺度、数据处理过程中计算出来的尺度等任何情况下的尺度。6.根据权利要求1所述的方法,其特征在于,所述根据所述的数据的尺度分析计算数据之间的相互关系的过程包括:所述的数据之间的相互关系包括但不限于空间关系、时间关系、尺度关系。7.根据权利要求1所述的方法,其特征在于,所述按照设定的处理类型对应的处理方法,根据所述的相互关系处理所述数据的过程包括:所述根据所述的相互关系处理所述数据包括但不限于:依据不同尺度下数据之间的相互关系来处理数据的索引建立、存储、读取、传输、显示、数据的分析等;依据不同尺度和数据之间的相互关系来处理所述数据的索引的存储、读取、传输、显示、数据的分析等。8.根据权利要求1所述的方法,一种建立索引和分析管理数据的方法,其特征在于,包括:设定数据的尺度;根据所述的数据的尺度分析计算数据之间的相互关系;根据分析计算获得的数据之间的相互关系建立索引和分析管理数据。9.根据权利要求8所述的方法,其特征在于,所述设定数据的尺度的过程包括:所述设定数据的尺度,包括预先设定的尺度、临时设定的尺度、数据处理过程中计算出来的尺度等任何情况下的尺度;根据所述的设定数据的尺度确定索引的层次;根据所述确定的索引的层次管理和检索数据。10.根据权利要求8所述的方法,其特征在于,所述根据分析计算获得的数据之间的相互关系建立索引和分析管理数据的过程包括:根据具体情况确定设定建立索引的条件;根据预先设定的建立索引的条件,将符合建立索引条件和符合建立索引的数据之间的相互关系的数据继续建立下一级索引;将不符合建立索引条件和不符合建立索引的数据之间的相互关系的数据不再建立下一级索引。11.根据权利要求10所述的方法,其特征在于,所述根据具体情况确定设定建立索引的条件的过程包括:所述根据具体情况确定设定建立索引的条件包括有条件和无条件,如给组成坐标数据的各个数据位的数据建立索引可以不设定建立索引的条件。12.根据权利要求10所述的方法,其特征在于,所述根据具体情况确定设定建立索引的条件的过程包括:所述根据具体情况确定设定建立索引的条件包括但不限于一定的数据范围、数据量、数据个数中的一个或者多个指标的组合作为建立索引的条件。13.根据权利要求12所述的方法,其特征在于,所述数据范围包括:所述的数据范围包括但不限于数据本身的范围,根据所述设定的数据的尺度计算出来的范围。14.根据权利要求10所述的方法,其特征在于,所述根据分析计算获得的数据之间的相互关系建立索引和分析管理数据的过程包括:所述将符合建立索引条件和符合建立索引的数据之间的相互关系的数据继续建立下一级索引,将所述的下一级索引用索引的管理索引的索引项进行管理,通过所述管理索引的索引项,可以检索到所管理的索引;所述将不符合建立索引条件和不符合建立索引的数据之间的相互关系的数据用索引的管理数据的索引项进行管理,通过所述管理数据的索引项,可以检索到数据。15.根据权利要求10所述的方法,其特征在于,所述根据分析计算获得的数据之间的相互关系建立索引和分析管理数据的过程包括:将符合建立索引条件和根据所述设定的数据尺度分析计算数据之间的关系为重合的数据继续建立下一级索引;所述下一级索引对应于下一级的数据的尺度;所述下一级的数据的尺度的设定包括但不限于由本级尺度计算获得、外部赋值等直接或者间接的方法设定。16.根据权利要求15所述的方法,其特征在于,所述根据分析计算获得的数据之间的相互关系建立索引和分析管理数据的过程包括:将符合建立索引条件和根据所述设定的数据尺度分析计算组成空间数据的坐标点重合为一个点的数据继续建立下一级索引。17.根据权利要求8所述的方法,其特征在于,所述建立索引和分析管理数据的方法的过程包括:根据所述设定数据的尺度,对包括但不限于宏观的数据集合的数据、描述或表达对象的数据、直到微观的数据位的数据等建立统一的索引。18.根据权利要求8所述的方法,一种数据管理和存储的方法,其特征在于,包括:根据所述建立的索引管理和存储数据。19.根据权利要求18所述的方法,其特征在于,所述根据所述建立的索引管理和存储数据的过程包括:根据所述索引的管理数据的索引项作为管理和存储数据的单元,所述管理和存储数据的单元包括但不限于作为存储数据块、存储记录、存储文件等各种形式的数据管理和存储。20.根据权利要求1所述的方法,一种数据管理和存储的方法,其特征在于,包括:设定数据的尺度;根据所述的数据的尺度分析计算数据之间的相互关系;根据分析计算获得的数据之间的相互关系来进行数据的管理和存储。21.根据权利要求20所述的方法,其特征在于,所述设定数据的尺度的过程包括:根据不同尺度下数据之间关系的简单程度来设定数据管理的初始尺度。22.根据权利要求21所述的方法,其特征在于,所述设定数据的尺度的过程包括:将使数据重合的尺度设定为数据管理的初始尺度;所述数据重合包括但不限于所有数据形成一个重合、数据形成多个重合、一个数据的多个坐标点形成重合等各种重合形式。23.根据权利要求22所述的方法,其特征在于,所述根据分析计算获得的数据之间的相互关系来进行数据的管理和存储的过程包括:将所述数据之间相互关系为重合的数据作为一个数据管理单元;根据所述数据管理的初始尺度设定新的数据尺度;根据所述新的数据尺度分析计算数据之间的相互关系,如果数据之间关系不只是重合关系,还包括但不限于相交、相切等复杂的相互关系的数据作为这个尺度下的数据存储单元;对于符合数据管理条件并且数据之间仍然重合的数据作为这个尺度下的数据管理单元,设定新的数据尺度重复上述过程;所述符合数据管理条件包括但不限于数据个数、数据量、数据范围等其中的一个或者多个的组合;所述数据范围包括但不限于数据在所述新的数据尺度下的数据显示范围。24.根据权利要求8所述的方法,一种数据显示的方法,其特征在于,包括:根据显示数据的尺度确定对应于数据的尺度;根据所述数据的尺度通过数据的索引检索需要显示的数据;读取所述需要显示的数据用于数据显示。25.根据权利要求24所述的方法,其特征在于,所述根据显示数据的尺度确定对应于数据的尺度的过程包括:所述数据的索引是根据不同的尺度建立的,所述的不同的尺度反映了数据本身的宏观与微观的情况;所述数据显示的尺度反映的也是数据的宏观与微观的情况;根据所述数据显示的尺度可以直接对应或者通过计算对应到具体的数据的尺度。26.根据权利要求24所述的方法,其特征在于,所述根据所述数据的尺度通过数据的索引检索需要显示的数据的过程包括...

【专利技术属性】
技术研发人员:董福田
申请(专利权)人:董福田
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1