一种基于Flink的实时雷达数据的三维点云呈现方法及系统技术方案

本发明专利技术提供一种基于Flink的实时雷达数据的三维点云呈现方法及系统，该方法包括：获取监测数据传输给分布式消息队列kafka，并获取其中的雷达数据转换为Potree需要的格式传递给前端；基于Flink对分布式消息队列kafka中的数据进行处理与维表关联，存入数据库，同时根据业务需要获取感兴趣区域的当前监测数据传输给PyTorch预测模型；通过该预测模型根据预先设定的规则或预先训练的模型对当前监测数据进行处理，输出预警信息给前端；根据业务需求从数据库中查询历史数据进行实时分析，生成数据报表发送给前端；前端通过Potree工具对雷达数据进行三维呈现，并将预测结论以及数据报表进行展示。本发明专利技术支持实时点云数据的高吞吐、低延迟、高性能传输，提高数据访问效率和速度。度。度。

【技术实现步骤摘要】
一种基于Flink的实时雷达数据的三维点云呈现方法及系统


[0001]本专利技术涉及雷达数据处理
，尤其涉及一种基于Flink的实时雷达数据的三维点云呈现方法及系统。

技术介绍

[0002]点云数据(pointclouddata)是指在一个三维坐标系统中的一组向量的集合，点云数据除了具有几何位置以外，有的还有颜色信息。通过激光雷达可实现对地球表面进行密集采样，产生高精度的三维x,y,z测量值，能生成可通过GIS进行管理、显示、分析以及共享的离散多点云数据集。
[0003]在地质灾害中，基于雷达技术的应用越来越多，同时对于雷达点云数据的实时渲染提出了更高的要求。希望其能够在web端快速查看雷达设备所采集的点云数据，这对于地质灾害的防治尤为重要。
[0004]目前常使用的web点云加载方式有cesium，但是cesium在大数据量时性能不佳，为此，还有一些采用Potree实现数据查看，Potree是一个基于webGL的非常大数据集的点云查看器。Potree软件可以在web上渲染大型激光雷达点云，但是对于点云数据的高吞吐、高性能传输问题上并未得到解决，无法达到客户需要的在线实时的渲染效果。

技术实现思路

[0005]本专利技术要解决的技术问题，在于提供一种基于Flink的实时雷达数据的三维点云呈现方法及系统，提高数据访问效率和速度，实现三维点云高效呈现，提升用户体验。
[0006]第一方面，本专利技术提供了一种基于Flink的实时雷达数据的三维点云呈现方法，包括如下步骤：/>[0007]步骤S1、获取监测数据，将所有监测数据传输给分布式消息队列kafka，并获取其中的雷达数据转换为Potree需要的格式传递给前端；
[0008]步骤S2、基于Flink对分布式消息队列kafka中的数据进行流批一体实时计算处理与维表关联，将处理后的数据存入数据库中，同时根据业务需要获取感兴趣区域的当前监测数据传输给PyTorch预测模型；
[0009]步骤S3、通过PyTorch预测模型根据预先设定的规则或预先训练的模型对当前监测数据进行处理，输出预测结论给前端；
[0010]步骤S4、根据业务需求从数据库中查询历史数据进行实时分析，生成数据报表发送给前端；
[0011]步骤S5、前端通过Potree工具对雷达数据进行三维呈现，并将感兴趣区域的预测结论以及数据报表进行展示。
[0012]进一步的，所述步骤S1中“获取其中的雷达数据转换为Potree需要的格式传递给前端”具体包括：将雷达数据转换为Potree需要的格式后先存储到预先搭建的minio分布式服务器中，并在前端需要进行呈现实时三维点云时调用minio分布式服务器中的相应数据。
[0013]进一步的，所述步骤S2具体如下：
[0014]通过Flink集群从分布式消息队列kafka中读取雷达数据，通过Flink集群的算子将数据分解，存入Elasticsearch数据库，并将其中的属性数据存入PostgreSQL数据库中；
[0015]将来自于不同设备获取到的监测数据进行关联并存入Elasticsearch数据库和PostgreSQL数据库；
[0016]根据业务需要获取感兴趣区域的当前监测数据传输给PyTorch预测模型。
[0017]进一步的，所述步骤3具体为：
[0018]若监测数据中只包括雷达数据，则所述PyTorch预测模型根据业务需要获取感兴趣区域的当前数据，将根据当前数据与历史数据的数据变形量和预设的阈值进行比较，输出当前区域的预警等级给前端；
[0019]若所述监测数据包括除雷达数据外的其他关联监测数据，则所述PyTorch预测模型预先根据各监测数据训练成业务需要的山体崩塌预测模型、滑坡预测模型、泥石流预测模型、地面塌陷预测模型、地裂缝预测模型或地面沉降预测模型进行存储，并在用户点选感兴趣区域时通过调用训练好的对应预测模型输出对应的预警等级给前端；
[0020]所述监测数据除雷达监测到的雷达数据外，还包括根据用户自定义配置的雨量计、裂缝仪、地音仪、地电仪和测振仪中的一个或多个设备所采集到的数据。
[0021]进一步的，所述步骤S4中的数据报表为除雷达数据外的其他设备获取到的监测数据的实时变化图，包括曲线图、柱状图或饼图。
[0022]第二方面，本专利技术提供了一种基于Flink的实时雷达数据的三维点云呈现系统，所述系统包括数据获取模块、批处理模块、预测模块、分析模块和三维点云呈现模块：
[0023]所述数据获取模块，用于获取监测数据，将所有监测数据传输给分布式消息队列kafka，并获取其中的雷达数据转换为Potree需要的格式传递给前端；
[0024]所述批处理模块，用于基于Flink对分布式消息队列kafka中的数据进行流批一体实时计算处理与维表关联，将处理后的数据存入数据库中，同时根据业务需要获取感兴趣区域的当前监测数据传输给PyTorch预测模型；
[0025]所述预测模块，用于通过PyTorch预测模型根据预先设定的规则或预先训练的模型对当前监测数据进行处理，输出预测结论给前端；
[0026]所述分析模块，用于根据业务需求从数据库中查询历史数据进行实时分析，生成数据报表发送给前端；
[0027]所述三维点云呈现模块，用于前端通过Potree工具对雷达数据进行三维呈现，并将感兴趣区域的预测结论以及数据报表进行展示。
[0028]进一步的，所述数据获取模块中“获取其中的雷达数据转换为Potree需要的格式传递给前端”具体包括：将雷达数据转换为Potree需要的格式后先存储到预先搭建的minio分布式服务器中，并在前端需要进行呈现实时三维点云时调用minio分布式服务器中的相应数据。
[0029]进一步的，所述批处理模块具体包括：
[0030]通过Flink集群从分布式消息队列kafka中读取雷达数据，通过Flink集群的算子将数据分解，存入Elasticsearch数据库，并将其中的属性数据存入PostgreSQL数据库中；
[0031]将来自于不同设备获取到的监测数据进行关联并存入Elasticsearch数据库和
PostgreSQL数据库；
[0032]根据业务需要获取感兴趣区域的当前监测数据传输给PyTorch预测模型。
[0033]进一步的，所述预测模块具体包括：
[0034]若监测数据中只包括雷达数据，则所述PyTorch预测模型根据业务需要获取感兴趣区域的当前数据，将根据当前数据与历史数据的数据变形量和预设的阈值进行比较，输出当前区域的预警等级给前端；
[0035]若所述监测数据包括除雷达数据外的其他关联监测数据，则所述PyTorch预测模型预先根据各监测数据训练成业务需要的山体崩塌预测模型、滑坡预测模型、泥石流预测模型、地面塌陷预测模型、地裂缝预测模型或地面沉降预测模型进行存储，并在用户点选感兴趣区域时通过调用训练好的对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Flink的实时雷达数据的三维点云呈现方法，其特征在于：包括如下步骤：步骤S1、获取监测数据，将所有监测数据传输给分布式消息队列kafka，并获取其中的雷达数据转换为Potree需要的格式传递给前端；步骤S2、基于Flink对分布式消息队列kafka中的数据进行流批一体实时计算处理与维表关联，将处理后的数据存入数据库中，同时根据业务需要获取感兴趣区域的当前监测数据传输给PyTorch预测模型；步骤S3、通过PyTorch预测模型根据预先设定的规则或预先训练的模型对当前监测数据进行处理，输出预测结论给前端；步骤S4、根据业务需求从数据库中查询历史数据进行实时分析，生成数据报表发送给前端；步骤S5、前端通过Potree工具对雷达数据进行三维呈现，并将感兴趣区域的预测结论以及数据报表进行展示。2.根据权利要求1所述的方法，其特征在于：所述步骤S1中“获取其中的雷达数据转换为Potree需要的格式传递给前端”具体包括：将雷达数据转换为Potree需要的格式后先存储到预先搭建的minio分布式服务器中，并在前端需要进行呈现实时三维点云时调用minio分布式服务器中的相应数据。3.根据权利要求1所述的方法，其特征在于：所述步骤S2具体如下：通过Flink集群从分布式消息队列kafka中读取雷达数据，通过Flink集群的算子将数据分解，存入Elasticsearch数据库，并将其中的属性数据存入PostgreSQL数据库中；将来自于不同设备获取到的监测数据进行关联并存入Elasticsearch数据库和PostgreSQL数据库；根据业务需要获取感兴趣区域的当前监测数据传输给PyTorch预测模型。4.根据权利要求1所述的方法，其特征在于：所述步骤3具体为：若监测数据中只包括雷达数据，则所述PyTorch预测模型根据业务需要获取感兴趣区域的当前数据，将根据当前数据与历史数据的数据变形量和预设的阈值进行比较，输出当前区域的预警等级给前端；若所述监测数据包括除雷达数据外的其他关联监测数据，则所述PyTorch预测模型预先根据各监测数据训练成业务需要的山体崩塌预测模型、滑坡预测模型、泥石流预测模型、地面塌陷预测模型、地裂缝预测模型或地面沉降预测模型进行存储，并在用户点选感兴趣区域时通过调用训练好的对应预测模型输出对应的预警等级给前端；所述监测数据除雷达监测到的雷达数据外，还包括根据用户自定义配置的雨量计、裂缝仪、地音仪、地电仪和测振仪中的一个或多个设备所采集到的数据。5.根据权利要求1所述的方法，其特征在于：所述步骤S4中的数据报表为除雷达数据外的其他设备获取到的监测数据的实时变化图，包括曲线图、柱状图或饼图。6.一种基于Flink的实时雷达数据的三维点云呈现系统，其特征在于：所述系统包...

【专利技术属性】
技术研发人员：陈立，陈曙光，翁毅，
申请(专利权)人：特力惠信息科技股份有限公司，
类型：发明
国别省市：