数据处理方法、装置及计算机可读存储介质制造方法及图纸

本申请提供了一种数据处理方法、装置及计算机可读存储介质，可以支持流数据的计算，同时提升了数据处理效率和数据处理的实时性。该方法包括：根据运营商的业务需求，确定至少一个网络设备；根据至少一个网络设备的坐标和泰森多边形算法，构建泰森多边形，得到目标区域；基于Flink流处理架构，获取该目标区域内至少一个网络设备在通信过程中产生的信令数据；基于Flink的功能接口，对上述信令数据进行处理，得到至少一个处理结果，该处理包括过滤、聚合、状态更新、映射、连接或分组中的至少一个；向至少一个处理结果中满足预设条件的处理结果对应的目标网络设备发送指示信息，该指示信息用于指示目标网络设备触发预警。于指示目标网络设备触发预警。于指示目标网络设备触发预警。

【技术实现步骤摘要】
数据处理方法、装置及计算机可读存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、装置及计算机可读存储介质。

技术介绍

[0002]运营商能够获得大量的数据，其获得的数据主要是实时信令和流式数据。运营商在大数据产业链中处于数据传递和交换中心的位置，且在很多场下，运营商对实时信令数据处理和分析的实时性有较高需求。示例性地，在台风场景下的电子围栏预警的技术中，需要实时获取围栏内的大量数据，并对数据进行处理，从而及时给围栏内的用户发送台风预警信息，以提醒用户尽快撤离。
[0003]但目前，广泛应用的MapReduce大数据处理编程模型是一种离线的批处理方式，要求所有Map任务都处理完成后才能开始Reduce任务阶段，Reduce任务结点一直处于空闲状态将导致资源浪费，并且无法应对实时数据分析需求和事件实时响应。因此，目前的数据处理方式数据处理效率较低，实时性较差。

技术实现思路

[0004]本申请提供一种数据处理方法、装置及计算机可读存储介质，可以支持流数据的计算，同时提升了数据处理效率和数据处理的实时性。
[0005]第一方面，提供了一种数据处理方法，该方法包括：根据运营商的业务需求，确定至少一个网络设备；根据所述至少一个网络设备的坐标和泰森多边形算法，构建泰森多边形，得到目标区域；基于Flink流处理架构，获取所述目标区域内所述至少一个网络设备在通信过程中产生的信令数据；基于Flink的功能接口，对所述信令数据进行处理，得到至少一个处理结果，所述处理包括过滤、聚合、状态更新、映射、连接或分组中的至少一个；向所述至少一个处理结果中满足预设条件的处理结果对应的目标网络设备发送指示信息，所述指示信息用于指示所述目标网络设备触发预警。
[0006]本申请提供的数据处理方法，基于Flink流处理框架实时获取目标区域内网络设备产生的信令数据，并对实时获取的信令数据进行过滤、聚合、状态更新等处理，并根据处理结果，向处理结果中满足预设条件的处理结果对应的目标网络设备发送指示信息，指示目标网络设备触发预警。该方法能够解决传统大数据处理中数据采集效率低，数据离线计算、实时性差的问题，同时该方法可以支持流数据的计算，提升了数据处理效率和数据处理的实时性。
[0007]结合第一方面，在第一方面的某些实现方式中，所述预设条件包括下列至少一个：所述目标区域内的用户总数量大于或等于第一预设阈值，所述用户总数量为与所述至少一个网络设备中每个网络设备对应的终端设备的数量之和；存在用户在所述目标区域内的滞留时间大于或等于第二预设阈值；或者，存在用户首次进入所述目标区域。
[0008]结合第一方面，在第一方面的某些实现方式中，所述基于Flink的功能接口，对所
述信令数据进行处理，得到至少一个处理结果，包括：根据预设条件对所述信令数据进行过滤，得到目标信令数据；根据预设方式对所述目标信令数据进行合并，得到所述至少一个处理结果，所述至少一个处理结果对应至少一个固定时间段。
[0009]结合第一方面，在第一方面的某些实现方式中，所述根据所述至少一个网络设备的坐标和泰森多边形算法，构建所述待监控区域的泰森多边形，得到目标区域，包括：根据所述至少一个网络设备的坐标，构建三角网，所述三角网中包括多个三角形；分别获取与所述至少一个网络设备中每个网络设备相邻的三角形；对与所述每个网络设备相邻的所述三角形进行排序；确定所述多个三角形的外接圆圆心；按照所述至少一个网络设备中每个网络设备相邻的所述三角形的排序，依次连接所述每个网络设备相邻的所述三角形的外接圆圆心，得到所述泰森多边形。
[0010]结合第一方面，在第一方面的某些实现方式中，所述Flink的功能接口包括：程序功能接口，用于对一个或者多个数据流进行时间和状态的细粒度控制；数据流或数据集功能接口，用于实现数据流的转换；结构化查询语言SQL功能接口，用于通过SQL进行数据的解析、验证和查询优化。
[0011]第二方面，提供了一种数据处理装置，用于执行上述第一方面中任一种可能的实现方式中的方法。具体地，该装置包括用于执行上述第一方面中任一种可能的实现方式中的方法的模块。
[0012]第三方面，提供了另一种数据处理装置，包括处理器，该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第一方面中任一种可能实现方式中的方法。可选地，该装置还包括存储器。可选地，该装置还包括通信接口，处理器与通信接口耦合。
[0013]在一种实现方式中，该数据处理装置为数据处理设备。当该数据处理装置为数据处理设备时，通信接口可以是收发器，或，输入/输出接口。
[0014]在另一种实现方式中，该数据处理装置为配置于服务器中的芯片。当该数据处理装置为配置于服务器中的芯片时，通信接口可以是输入/输出接口。
[0015]第四方面，提供了一种处理器，包括：输入电路、输出电路和处理电路。处理电路用于通过输入电路接收信号，并通过输出电路发射信号，使得处理器执行上述第一方面中任一种可能实现方式中的方法。
[0016]在具体实现过程中，上述处理器可以为芯片，输入电路可以为输入管脚，输出电路可以为输出管脚，处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的，输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的，且输入电路和输出电路可以是同一电路，该电路在不同的时刻分别用作输入电路和输出电路。本申请对处理器及各种电路的具体实现方式不做限定。
[0017]第五方面，提供了一种处理装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以执行上述第一方面中任一种可能实现方式中的方法。
[0018]可选地，处理器为一个或多个，存储器为一个或多个。
[0019]可选地，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。
[0020]在具体实现过程中，存储器可以为非瞬时性(non
‑
transitory)存储器，例如只读
存储器(read only memory，ROM)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请对存储器的类型以及存储器与处理器的设置方式不做限定。
[0021]应理解，相关的数据交互过程例如发送指示信息可以为从处理器输出指示信息的过程，接收能力信息可以为处理器接收输入能力信息的过程。具体地，处理输出的数据可以输出给发射器，处理器接收的输入数据可以来自接收器。其中，发射器和接收器可以统称为收发器。
[0022]上述第五方面中的处理装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据运营商的业务需求，确定至少一个网络设备；根据所述至少一个网络设备的坐标和泰森多边形算法，构建泰森多边形，得到目标区域；基于Flink流处理架构，获取所述目标区域内所述至少一个网络设备在通信过程中产生的信令数据；基于Flink的功能接口，对所述信令数据进行处理，得到至少一个处理结果，所述处理包括过滤、聚合、状态更新、映射、连接或分组中的至少一个；向所述至少一个处理结果中满足预设条件的处理结果对应的目标网络设备发送指示信息，所述指示信息用于指示所述目标网络设备触发预警。2.根据权利要求1所述的方法，其特征在于，所述预设条件包括下列至少一个：所述目标区域内的用户总数量大于或等于第一预设阈值，所述用户总数量为与所述至少一个网络设备中每个网络设备对应的终端设备的数量之和；存在用户在所述目标区域内的滞留时间大于或等于第二预设阈值；或者，存在用户首次进入所述目标区域。3.根据权利要求1所述的方法，其特征在于，所述基于Flink的功能接口，对所述信令数据进行处理，得到至少一个处理结果，包括：根据预设条件对所述信令数据进行过滤，得到目标信令数据；根据预设方式对所述目标信令数据进行合并，得到所述至少一个处理结果，所述至少一个处理结果对应至少一个固定时间段。4.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个网络设备的坐标和泰森多边形算法，构建所述待监控区域的泰森多边形，得到目标区域，包括：根据所述至少一个网络设备的坐标，构建三角网，所述三角网中包括多个三角形；分别获取与所述至少一个网络设备中每个网络设备相邻的三角形；对与所述每个网络设备相邻的所述三角形进行排序；确定所述多个三角形的外接圆圆心；按照所述至少一个网络设备中每个网络设备相邻的所述三角形的排序，依次连接所述每个网络设备相邻的所述三角形的外接圆圆心，得到所述泰森多边形。5.根据权利要求1所述的方法，其特征在于，所述信令数据包括实时的信令数据和非实时的信令数据；所述基于Flink的功能接口，对所述信令数据进行处理，得到至少一个处理结果，包括：对所述实时的信令数据执行过滤、状态更新或聚合中的至少一个操作；对所述非实时的信令数据执行映射、连接或分组中的至少一个操作。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述Flink的功能接口包括：程序功能接口，用于对一个或者多个数据流进行时间和状态的细粒度控制；数据流或数据集功能接口，用于实现数据流的转换；结构化查询语言SQL功能接口，用于通过SQL进行数据的解析、验证和查询优化。7.一种数据处理装置，其特征在于，包括：处理模块，用于根据运营商的业务需求，确定至少一个网络设备；以及，根据所述至...

【专利技术属性】
技术研发人员：程命沆，周远阳，陈宇光，张灿茂，陈淇，徐吉园，王佳成，蔡方义，白一珂，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：