一种基于分布式架构的探地雷达数据推理方法及其系统技术方案

本发明专利技术提供一种基于分布式架构的探地雷达数据推理方法及其系统，包括：步骤S1，文件服务器在接收到探地雷达的原始数据后，按照预设道数对原始数据进行划分，并对数据帧进行编号；步骤S2，将雷达数据的数据帧按照预设的格式组成字符串，并发送至消息队列RabbitMQ；步骤S3，通过Flink集群从消息队列RabbitMQ中读取字符串数据，通过Flink集群的map算子将数据分解；步骤S4，根据所述步骤S3获取的数据，从所述文件服务器下载雷达数据并进行解译；步骤S5，将解译结果保存到数据库。本发明专利技术能够同时处理多条测线数据，支持实时流式处理和不同的推理任务，有效地提高了其处理效率和推理任务的可扩展性。的可扩展性。的可扩展性。

【技术实现步骤摘要】
一种基于分布式架构的探地雷达数据推理方法及其系统


[0001]本专利技术涉及一种探地雷达数据处理方法，尤其涉及一种基于分布式架构的探地雷达数据推理方法，并进一步涉及采用了该基于分布式架构的探地雷达数据推理方法的探地雷达数据推理系统。

技术介绍

[0002]探地雷达是近几十年发展起来的一种探测地下目标的有效手段，是一种无损探测技术，与其他常规的地下探测方法相比，具有探测速度快、探测过程连续、分辨率高、操作方便灵活、探测费用低等优点，在工程勘察领域的应用日益广泛。
[0003]探地雷达是利用天线发射和接收高频电磁波来探测介质内部物质特性和分布规律的一种地球物理方法。现有技术中，雷达采集的数据上传到平台云盘之后，AI服务器从平台存储中按需随机读取、实时解压分片数据进行推理。但是现有技术中的探地雷达数据推理方法中，普遍采用的是单任务处理模式，存在以下问题：1、新的测线数据，必须等待上一条测线数据处理完毕之后，才能开始处理，即不能同时处理多条测线，增加了处理延迟；2、不能灵活调度单AI服务器上的多GPU资源，要实现多任务并行处理，只能采用增加AI服务器的方式，难以进行管理；3、难以支持实时流式处理，难以实现边采集上传边处理；4、难以支持多种不同的推理任务，不同的推理任务需分开服务器进行部署，进而导致成本的增加和操作的复杂程度。

技术实现思路

[0004]本专利技术所要解决的技术问题是需要提供一种能够同时处理多条测线数据，能够支持实时流式处理和不同推理任务的基于分布式架构的探地雷达数据推理方法，旨在提高探地雷达数据推理的处理效率和推理任务的可扩展性。在此基础上，还进一步提供对应的基于分布式架构的探地雷达数据推理系统。
[0005]对此，本专利技术提供一种基于分布式架构的探地雷达数据推理方法，包括以下步骤：步骤S1，文件服务器在接收到探地雷达的原始数据后，按照预设道数对原始数据进行划分，并对数据帧进行编号；步骤S2，将雷达数据的数据帧按照预设的格式组成字符串，并将所述字符串发送至消息队列RabbitMQ；步骤S3，通过Flink集群从消息队列RabbitMQ中读取字符串数据，通过Flink集群的map算子将数据分解；步骤S4，AI服务器根据所述步骤S3获取的数据，从所述文件服务器下载雷达数据并进行解译；步骤S5，将雷达数据的解译结果保存到数据库。
[0006]本专利技术的进一步改进在于，所述步骤S1中，对原始数据进行划分，划分的数据帧大小为T
×
S，T表示预设道数，S表示采样数；然后对数据帧进行顺序编号。
[0007]本专利技术的进一步改进在于，所述步骤S2中，通过文件路径、文件名以及数据帧号以字符串方式进行拼接，文件路径和文件名之间通过斜线分割，文件名和数据帧号之间通过竖线分隔，以此组成所述字符串。
[0008]本专利技术的进一步改进在于，所述步骤S3包括以下子步骤：步骤S301，搭建Flink集群；步骤S302，客户端将任务提交到Flink集群，与JobManager作业管理器通过网络编程库Akka构建连接，然后将任务提交到JobManager作业管理器，与JobManager作业管理器之间进行交互获取任务执行状态；步骤S303，通过JobManager作业管理器对所述Flink集群的任务进行调度和资源的管理；步骤S304，通过TaskManager任务管理器执行具体的任务，并进行对应任务在每个节点上的资源申请与管理；步骤S305，TaskManager任务管理器在运行的任务中从消息队列读取到数据后，调用Flink集群的map算子进行数据处理，先遍历获取到的数据，数据中的每一项调用分割函数按分隔符竖线分割为一个字符串数组，数组的长度为2，该数组下标为0位置存放的是文件名，该数组下标为1位置存放的是数据帧号。
[0009]本专利技术的进一步改进在于，所述步骤S301包括以下子步骤：步骤S3011，对多台主机进行命名，并根据所述主机版本下载Flink引擎框架，上传至第一台主机实现解压，解压后进入conf配置文件目录；步骤S3012，修改安装目录下conf配置文件夹内的masters配置文件，指定JobManager作业管理器，写入内容；步骤S3012，修改安装目录下conf配置文件夹内的slaves配置文件，指定TaskManager任务管理器，写入内容；步骤S3013，修改安装目录下 conf配置文件夹内的 flink
‑
conf.yaml 配置文件；步骤S3014，将安装目录整个Flink文件夹拷贝到剩余的主机；步骤S3015，配置Flink环境变量，对所有主机修改/etc/profile文件，并在修改之后重新加载环境变量；步骤S3016，启动Flink集群。
[0010]本专利技术的进一步改进在于，所述步骤S3013中，修改flink
‑
conf.yaml 配置文件的过程包括：先配置主节点的机器名或IP地址，然后配置每个 TaskManager 任务管理器生成的临时文件夹。
[0011]本专利技术的进一步改进在于，所述步骤S303中，JobManager作业管理器根据Flink集群中TaskManager任务管理器上TaskSlot任务槽的使用情况，为提交的应用分配相应的任务槽资源并命令TaskManager任务管理器启动从客户端中获取的应用；在任务执行过程中，触发checkpoints一致性检查点操作，每个TaskManager任务管理器的节点收到checkpoint一致性检查点的触发指令后，完成checkpoint一致性检查点操作；在任务完成后，Flink集群会将任务执行的信息反馈给客户端，并且释放掉TaskManager任务管理器中的资源。
[0012]本专利技术的进一步改进在于，所述步骤S304中，TaskManager任务管理器从JobManager作业管理器接收需要部署的任务，然后使用TaskSlot任务槽的资源启动任务，
建立数据接入的网络连接，接收数据并开始数据处理；不同的TaskManager任务管理器之间通过数据流的方式进行数据交互；Flink集群中的任务运行采用多线程的方式，在多个任务之间通过TaskSlot任务槽的方式共享系统资源，每个TaskManager任务管理器中通过管理多个TaskSlot任务槽资源池进行对资源进行管理。
[0013]本专利技术的进一步改进在于，所述步骤S4中，将所述步骤S3得到的文件名和数据帧号作为参数，调用python脚本，通过python脚本根据所述文件名和数据帧号从文件服务器上获取到雷达数据进行解译。
[0014]本专利技术还提供一种基于分布式架构的探地雷达数据推理系统，采用了如上所述的基于分布式架构的探地雷达数据推理方法，并包括：数据帧编号模块，文件服务器在接收到探地雷达的原始数据后，按照预设道数对原始数据进行划分，并对数据帧进行编号；数据发送模块，将雷达数据的数据帧按照预设的格式组成字符串，并将所述字符串发送至消息队列RabbitMQ；数据分解模块，通过Flink集群从消息队列Ra本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式架构的探地雷达数据推理方法，其特征在于，包括以下步骤：步骤S1，文件服务器在接收到探地雷达的原始数据后，按照预设道数对原始数据进行划分，并对数据帧进行编号；步骤S2，将雷达数据的数据帧按照预设的格式组成字符串，并将所述字符串发送至消息队列RabbitMQ；步骤S3，通过Flink集群从消息队列RabbitMQ中读取字符串数据，通过Flink集群的map算子将数据分解；步骤S4，AI服务器根据所述步骤S3获取的数据，从所述文件服务器下载雷达数据并进行解译；步骤S5，将雷达数据的解译结果保存到数据库。2.根据权利要求1所述的基于分布式架构的探地雷达数据推理方法，其特征在于，所述步骤S1中，对原始数据进行划分，划分的数据帧大小为T
×
S，T表示预设道数，S表示采样数；然后对数据帧进行顺序编号。3.根据权利要求1所述的基于分布式架构的探地雷达数据推理方法，其特征在于，所述步骤S2中，通过文件路径、文件名以及数据帧号以字符串方式进行拼接，文件路径和文件名之间通过斜线分割，文件名和数据帧号之间通过竖线分隔，以此组成所述字符串。4.根据权利要求1至3任意一项所述的基于分布式架构的探地雷达数据推理方法，其特征在于，所述步骤S3包括以下子步骤：步骤S301，搭建Flink集群；步骤S302，客户端将任务提交到Flink集群，与JobManager作业管理器通过网络编程库Akka构建连接，然后将任务提交到JobManager作业管理器，与JobManager作业管理器之间进行交互获取任务执行状态；步骤S303，通过JobManager作业管理器对所述Flink集群的任务进行调度和资源的管理；步骤S304，通过TaskManager任务管理器执行具体的任务，并进行对应任务在每个节点上的资源申请与管理；步骤S305，TaskManager任务管理器在运行的任务中从消息队列读取到数据后，调用Flink集群的map算子进行数据处理，先遍历获取到的数据，数据中的每一项调用分割函数按分隔符竖线分割为一个字符串数组，数组的长度为2，该数组下标为0位置存放的是文件名，该数组下标为1位置存放的是数据帧号。5.根据权利要求4所述的基于分布式架构的探地雷达数据推理方法，其特征在于，所述步骤S301包括以下子步骤：步骤S3011，对多台主机进行命名，并根据所述主机版本下载Flink引擎框架，上传至第一台主机实现解压，解压后进入conf配置文件目录；步骤S3012，修改安装目录下conf配置文件夹内的masters配置文件，指定JobManager作业管理器，写入内容；步骤S3012，修改安装目录下conf配置文件夹内的slaves配置文件，指定TaskManager任务管理器，写入内容；步骤S3013，修改安装目录下 conf配置文件夹内的 flink
‑
conf.yaml 配置文件；
步骤S3014，将安装目录整个Fl...

【专利技术属性】
技术研发人员：吴俊峰，
申请(专利权)人：深圳安德空间技术有限公司，
类型：发明
国别省市：