水利数据分片存储方法、点播方法、处理系统技术方案

本发明专利技术涉及一种水利数据分片存储方法、点播方法、处理系统，其中，所述水利数据分片存储方法，包括：S1、针对第一客户端接收的水动力模型的结果文件，以帧为单位进行提取处理获取水动力模型结果文件的每一帧所对应的第一结构化数据；水动力模型结果文件的每一帧均具有帧号；所述多个节点数据按照节点编号顺序依次纵向排列；S2、针对所述第一结构化数据进行重组处理，获取第二结构化数据；S3、针对所述第二结构化数据进行压缩处理，获取bson结构数据；所述bson结构数据包括标识所述bson结构数据所对应的二维水动力模型结果文件的帧号的标签；S4、将所述bson结构数据存入与所述第一客户端通信连接的文档数据库。通信连接的文档数据库。通信连接的文档数据库。

【技术实现步骤摘要】
水利数据分片存储方法、点播方法、处理系统


[0001]本专利技术涉及数据存储
，尤其涉及一种水利数据分片存储方法、点播方法、处理系统。

技术介绍

[0002]现有水利数据的存储和调取，水利数据中各水利模型多且对应结果文件非常大，占用较大的空间。例如二维水动力模型的结果文件较大，大的场景，数据存储量都会达到百G级别。
[0003]当前水利数据需要汇总在一起，各个水利部门能够实时或周期调取各区域的水利数据进行研究并确定合理的调度方案。基于此，现有技术中将各个水利模型及其对应的结果文件均上传到云端，使得连接云端的各服务器根据需求下载。由于水利模型和结果文件都非常大，按照当前普通的宽带(100M带宽)进行计算，至少需要3个多小时才能完成全部文件的传输。相应地，在下载过程中也是非常缓慢，占用较多带宽和较长时间。为此，在云化过程中，如何保持客户端和云端的快速、有效传输是亟待解决的问题。

技术实现思路

[0004]（一）要解决的技术问题鉴于现有技术的上述缺点、不足，本专利技术提供一种水利数据分片存储方法、点播方法、处理系统。...

【技术保护点】

【技术特征摘要】
1.一种水利数据分片存储方法，所述水利数据包括：水动力模型的结果文件，其特征在于，用于分片存储的结果文件均为具有时序性的文件，所述方法包括：S1、针对第一客户端接收的水动力模型的结果文件，以帧为单位进行提取处理获取所述水动力模型的结果文件的每一帧所对应的第一结构化数据；所述水动力模型的结果文件的每一帧均具有帧号；所述第一结构化数据包括：多个具有节点编号的节点数据和标识所述第一结构化数据所对应的水动力模型的结果文件的帧号的标签；所述多个节点数据按照节点编号顺序依次纵向排列；每一节点数据包括依次横向排列的节点编号、预先设定的节点地理坐标的x值、预先设定的节点地理坐标的y值、渲染水深数据值、流速横向坐标分量值、流速纵坐标分量值、水深值、流速值、流速方向和水位值；S2、针对所述第一结构化数据进行重组处理，获取第二结构化数据；S3、针对所述第二结构化数据进行压缩处理，获取bson结构数据；所述bson结构数据包括标识所述bson结构数据所对应的水动力模型的结果文件的帧号的标签；S4、将所述bson结构数据存入与所述第一客户端通信连接的文档数据库。2.根据权利要求1所述的方法，其特征在于，所述第二结构化数据包括：依次纵向排列的渲染水深数据数组、流速横向坐标分量数组、流速纵坐标分量数组、水深数组、流速大小数组、流速方向数组和水位数组；所述渲染水深数据数组包括：按照节点编号顺序依次横向排列的节点的渲染水深数据值；所述流速横向坐标分量数组包括：按照节点编号顺序依次横向排列的节点的流速横向坐标分量值；所述流速纵坐标分量数组包括：按照节点编号顺序依次横向排列的节点的流速纵坐标分量值；所述渲染水深数据包括：按照节点编号顺序依次横向排列的节点的水深值；所述流速大小数组包括：按照节点编号顺序依次横向排列的节点的流速值；所述流速方向数组包括：按照节点编号顺序依次横向排列的节点的流速方向；所述水位数组包括：按照节点编号顺序依次横向排列的节点的水位值。3.根据权利要求2所述的方法，其特征在于，所述S3包括：S31、对所述第二结构化数据进行去零缩短处理，获取去零缩短处理后的数据结构；所述去零缩短处理为：分别将第二结构化数据中所述渲染水深数据值、流速横向坐标分量值、流速纵坐标分量值、水深值、流速值、流速方向、水位值中重复多次的无效字符缩短并记录；S32、针对所述去零缩短处理后的数据结构，将去零缩短处理后的数据结构中渲染水深数据数组、流速横向坐标分量数组、流速纵坐标分量数组、水深数组、流速大小数组、流速方向数组、水位数组拼接成一个字符串，并进行gzip压缩，组装成bson结构。4.根据权利要求3所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：桂发二，熊伟，刘玉龙，罗源，卜辉发，
申请(专利权)人：浙江贵仁信息科技股份有限公司，
类型：发明
国别省市：