一种水利测绘信息大数据处理系统技术方案

本发明专利技术公开了一种水利测绘信息大数据处理系统，包括：数据采集及存储模块，接收各传感器采集数据，并对数据基于链区进行区分存储；数据整合模块，对存储于所述链区内的数据按预定规格制表进行反馈；数据处理模块，根据反馈的所述制表数据基于半参数模型进行分析并将结果以弹窗形式进行反馈。本发明专利技术提供的水利测绘信息大数据处理系统，正则化参数具有控制信号估值质量的作用，通过对获取的正则化参数处理至适当的值域范围，从而保证噪音对采集数据的干扰，以保证采集数据被系统处理之后给定的结果更加真实、可靠。可靠。可靠。

【技术实现步骤摘要】
一种水利测绘信息大数据处理系统


[0001]本专利技术涉及数据处理
，具体涉及一种水利测绘信息大数据处理系统。

技术介绍

[0002]水利测绘在采集数据的时候，观察量被收到外界信号、频波等燥声的干扰从而使得观察量受到波动或者是被掩埋。目前采用的方式是提高测量数据的观测精度，使具有偶然性质的观测误差远远小于具有系统性质的变形量；或者是分析研究各种误差的性质特点，运用现代数理统计理论得出更加适合测量实际情况的数据处理理论和方法，对上述两种不同性质的测量误差进行分离，以满足观察数据更加真实。
[0003]公开(公告)号：CN113418511A，公开(公告)日：2021
‑
09
‑
21，公开的一种水利水电工程地质的数字化测绘系统及测绘方法，属于数字化测绘
，该测绘系统包括：航拍设备，用于采用倾斜摄影技术生成三维底图并传输给处理终端设备；所述处理终端设备，用于根据三维底图生成融合底图、建立地质三维模型、对地质数据进行关联耦合及分析；外接定位设备，用于获取地质对象的位置信息；手持终端设备，用于接收所述融合底图，并根据实际地质状况进行地质信息编录，以及将编录的地质信息传输给所述处理终端设备，以便所述处理终端设备建立地质三维模型、对地质数据进行关联耦合及分析。
[0004]公开(公告)号：CN112765720A，公开(公告)日：2021
‑
05
‑
07，公开的一种基于BIM+GIS的水利水电工程多源数据融合方法，S1，在原生BIM平台中导出融合的模型进行轻量化处理；S2，采用两类多源模型数据融合；S3，在GIS软件中对倾斜摄影数据的采集、处理和融合。本专利技术提出了基于原生BIM平台模型处理、导入且保持模型轻量化、高质量化、系统可用性高的技术方案，解决了BIM可视化平台模型体量大、平台加载慢的问题；并验证了倾斜摄影数据从外业测绘
→
数据处理
→
数据融合的数据采集、融合、应用技术方案。
[0005]在包括上述专利的现有技术中，产生数据误差的根本原因就是观测数据中不仅含有偶然误差，也含有系统误差，现有处理方式均针对于采集设备的精准性，但是无法杜绝噪音对采集数据干扰，如何进一步优化系统，使得系统足以降低噪音对数据的干扰，以使得采集的数据提供处理获得更加准确的结果，期待被很好的解决。

技术实现思路

[0006]本专利技术的目的是提供一种水利测绘信息大数据处理系统，用于解决上述问题。
[0007]为了实现上述目的，本专利技术提供如下技术方案：一种水利测绘信息大数据处理系统，包括：
[0008]数据采集及存储模块，接收各传感器采集数据，并对数据基于链区进行区分存储；
[0009]数据整合模块，对存储于所述链区内的数据按预定规格制表进行反馈；
[0010]数据处理模块，根据反馈的所述制表数据基于半参数模型进行分析并将结果以弹窗形式进行反馈。
[0011]作为优选的，所述数据采集及存储模块还包括计时单元，其用于按预定周期从各
传感器上主动获取数据，并将采集的数据包通过时间编码器进行编码后上传。
[0012]作为优选的，所述链区被部署后，其节点连接连接于所述数据处理模块上，且各所述链区数据上传至所述数据处理模块的传输效率、周期按协定执行。
[0013]作为优选的，所述数据整合模块通过映射生成DSM矩阵、统计DSM项以及逐项进行结构化定量分析，得到一个完善的参数关联信息表；
[0014]再通过itext/poi插件生成参数关联信息表在分页上的短板；
[0015]最后从Excel到SQL数据库之间的映射，利用电子表格中间件的已有功能，输入项目并将数据导入/导出。
[0016]作为优选的，所述数据处理模块包括半参数回归分析模型，其基于公式：
[0017]v＝Bx+s
‑
l；
[0018]其中：B为待估参数的系数阵，l为观测值向量，x为参数向量，s是存在于观测值中系统误差向量或一个非随机的信号向量，v为观测值改正数向量；
[0019]f(t)＝b
T
(t)x+s(t)；
[0020]l
i
＝b
T
(t
i
)x+s
i
+Δ
i i＝1，2，...，n；
[0021]其中，Δ
i
表示噪声，S
i
＝S(t
i
)表示观测信号在t
i
处的观测值。
[0022]作为优选的，所述数据处理模块包括模型分析单元，其详细处理步骤如下：
[0023]S01、确定参数x和信号S，并代入噪声的正定加权矩阵：
[0024][0025]S02、B
T
P
n
B是正则，应用最小二乘
[0026][0027]具有正定矩阵的法方程：
[0028][0029][0030]D
‑1＝P
n
(I
‑
(P
n
+αR)
‑1P
n
)；
[0031]其中，R为N阶对称正定矩阵的正则因子，α为正则化参数或平滑参数。
[0032]作为优选的，所述步骤02中利用二次Schar
‑
Morrison
‑
Woodbury公式：
[0033][0034]N＝B
T
D
‑1B
[0035][0036][0037][0038]式中，和分别代表参数、信号和噪音在t处的估值。
[0039]作为优选的，所述传感器至少包括温度传感器、水质检测器、空气湿度传感器以及风速传感器。
[0040]在上述技术方案中，本专利技术提供的一种水利测绘信息大数据处理系统，具备以下有益效果：正则化参数具有控制信号估值质量的作用，通过对获取的正则化参数处理至适当的值域范围，从而保证噪音对采集数据的干扰，以保证采集数据被系统处理之后给定的结果更加真实、可靠。
附图说明
[0041]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0042]图1为本专利技术实施例提供的模块的结构示意图；
[0043]图2为本专利技术实施例提供的流程结构示意图。
具体实施方式
[0044]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0045]如图1...

【技术保护点】

【技术特征摘要】
1.一种水利测绘信息大数据处理系统，其特征在于，包括：数据采集及存储模块，接收各传感器采集数据，并对数据基于链区进行区分存储；数据整合模块，对存储于所述链区内的数据按预定规格制表进行反馈；数据处理模块，根据反馈的所述制表数据基于半参数模型进行分析并将结果以弹窗形式进行反馈。2.根据权利要求1所述的一种水利测绘信息大数据处理系统，其特征在于，所述数据采集及存储模块还包括计时单元，其用于按预定周期从各传感器上主动获取数据，并将采集的数据包通过时间编码器进行编码后上传。3.根据权利要求1所述的一种水利测绘信息大数据处理系统，其特征在于，所述链区被部署后，其节点连接连接于所述数据处理模块上，且各所述链区数据上传至所述数据处理模块的传输效率、周期按协定执行。4.根据权利要求1所述的一种水利测绘信息大数据处理系统，其特征在于，所述数据整合模块通过映射生成DSM矩阵、统计DSM项以及逐项进行结构化定量分析，得到一个完善的参数关联信息表；再通过itext/poi插件生成参数关联信息表在分页上的短板；最后从Excel到SQL数据库之间的映射，利用电子表格中间件的已有功能，输入项目并将数据导入/导出。5.根据权利要求1所述的一种水利测绘信息大数据处理系统，其特征在于，所述数据处理模块包括半参数回归分析模型，其基于公式：v＝Bx+s
‑
l；其中：B为待估参数的系数阵，l为观测值向量，x为参数向量，s是存在于观测值中系统误差向量或一个非随机的信号向量，v为观测值改正数向量；f(t)＝b
T
(t)x+s(t)；l
i
＝b
T
(t
i
)x+s
i
+Δ
i i＝1，2，...，n；其中，Δ...

【专利技术属性】
技术研发人员：胡浩，吉顺文，王璟，虞国华，周兴华，祁敏敏，陈捷，余军军，李亚飞，席靖智，唐远彬，刘西金，蒋佳奇，
申请(专利权)人：浙江省水利河口研究院浙江省海洋规划设计研究院，
类型：发明
国别省市：