一种对海量散点数据的处理和显示的方法和系统技术方案

本发明专利技术公开了一种对海量散点数据的处理和显示的方法和系统。包括以下步骤：将外部的原数据转换为设计好的中间缓存格式，且需要使用到工作线程；用户发起请求后，对所述中间缓存格式的数据进行配置、请求和计算；完成配置、请求和计算后，将处理结果分段反馈给用户。本发明专利技术不依赖显卡，尤其是特定品牌的显卡；不需要额外引入门槛较高的并行计算API(CUDA和OpenCL)，降低了学习和维护的成本；相比常规的单工作线程或单线程线性处理方式，该方案能在短时间内完成对大量数据的处理和展示，提升用户的流畅度体验。

【技术实现步骤摘要】
一种对海量散点数据的处理和显示的方法和系统
本专利技术涉及计算机
，尤其涉及一种对海量散点数据的处理和显示的方法和系统。
技术介绍
目前针对离散型数据的处理思路就是“多线开工”——利用其“上下文无关”的特性在多个流水线上同时处理。较为成熟的方案为使用CUDA，但其本身依赖于英伟达的显卡，这意味着会使程序本身对硬件的依赖增大，且同时考验着显卡的性能；另外也有OpenCL同样可胜任，但相比CUDA，虽然脱离了特定品牌显卡的约束，但使用难度却进一步提升。其中：上下文无关：指数据个体之间没有关联约束，各自的处理过程和结果均不会影响到其他数据。CUDA：CUDA(ComputeUnifiedDeviceArchitecture)，是显卡厂商NVIDIA推出的运算平台。CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。开发人员可以使用C语言来为CUDA架构编写程序，C语言是应用最广泛的一种高级编程语言。所编写出的程序可以在支持CU本文档来自技高网...

【技术保护点】
1.一种对海量散点数据的处理和显示的方法，其特征在于，包括以下步骤：/n将外部的原数据转换为设计好的中间缓存格式，且需要使用到工作线程；用户发起请求后，对所述中间缓存格式的数据进行配置、请求和计算；/n完成配置、请求和计算后，将处理结果分段反馈给用户；/n所述配置、请求和计算具体为：/n配置：按照设计好的格式，组织用于请求计算的配置项，配置项内容包含采样的位置和大小、横纵方向的缩放比例；/n请求：将配置项传递给处理单元，并使其运行处理；/n计算：按照配置项对缓存数据进行分割、创建线程池、分发切割块，由多个工作线程异步完成各个块的处理工作。/n

【技术特征摘要】
1.一种对海量散点数据的处理和显示的方法，其特征在于，包括以下步骤：
将外部的原数据转换为设计好的中间缓存格式，且需要使用到工作线程；用户发起请求后，对所述中间缓存格式的数据进行配置、请求和计算；
完成配置、请求和计算后，将处理结果分段反馈给用户；
所述配置、请求和计算具体为：
配置：按照设计好的格式，组织用于请求计算的配置项，配置项内容包含采样的位置和大小、横纵方向的缩放比例；
请求：将配置项传递给处理单元，并使其运行处理；
计算：按照配置项对缓存数据进行分割、创建线程池、分发切割块，由多个工作线程异步完成各个块的处理工作。


2.如权利要求1所述的一种对海量散点数据的处理和显示的方法，其特征在于：所述缓存为使用多级散列表或散列表搭配顺序容器的方式设计缓存。


3.如权利要求1所述的一种对海量散点数据的处理和显示的方法，其特征在于：所述工作线程是一个工作线程，或者是一个线程池。


4.如权利要求1所述的一种对海量散点数据的处理和显示的方法，其特征在于，所述配置过程还包括对于某个采样区域的任意缩放倍率展示需求，其散点数据的处理有如下公式：
Xdisplay＝Scalex*(Xsplash-Xtopleft)
Ydisplay＝Scaley*(Ysplash-Ytopleft)
其中display指展示，scale为缩放倍率，splash为散点；topleft为采样区域的左上角坐标。


5.如权利要求1所述的一种对海量散点数据的处理和显示的方法，其特征在于：用户取得处理结果后，将结果显示到GUI界面上：如果选择输出为块数据集，即包含左上角坐标和散点集，则使用绘制点的功能；如果得到的是8-bit图片，则使用绘制图片的功能。


6.一种对海量散点数据的处理和显示的系统，其特征在于，包括：
数据转换模块，用于将外部的原数据转换为设计好的...

【专利技术属性】
技术研发人员：李根俊超，
申请(专利权)人：南京恒歌零一信息科技有限公司，
类型：发明
国别省市：江苏;32