一种基于5G边缘计算的视频信息快速处理方法技术

本发明专利技术属于通信技术技术领域，尤其涉及一种基于5G边缘计算的视频信息快速处理方法。包括以下步骤：步骤1.数据分析方法；步骤2.数据预测；步骤3.对接入的数据进行清洗；步骤4.将清洗后的数据进行存储。本发明专利技术基于5G mMTC、uRLLC网络，提出电力物联网中分布式视频流数据处理框架Storm拓扑结构，能够满足大量流数据处理的需求。采用流水线式的处理方式缩短处理时间，在数据接入后采用循环队列和流转算子方法。通过边缘计算处理海量的数据，实现高效的协同工作。采用SVM预测算法对数据的发展趋势进行预测，采用清洗技术处理脏数据，解决了数据传输过程中的污染状况，大大缩短数据处理时间，满足大量流数据处理的需求。满足大量流数据处理的需求。满足大量流数据处理的需求。

【技术实现步骤摘要】
一种基于5G边缘计算的视频信息快速处理方法


[0001]本专利技术属于通信技术
，尤其涉及一种基于5G边缘计算的视频信息快速处理方法。

技术介绍

[0002]随着电力系统信息化和智能化的不断发展，与电力系统相关的物联网数据规模也在不断增长，同时各类电力业务数据的处理需求日趋多样化，这给数据价值的挖掘带来了极大挑战。视频流数据作为电力物联网中典型的一类业务数据，对处理时延的要求更加严格。目前我国电网公司正在加强物联网在电力系统中的应用建设，电力物联网的发展如火如荼，因此，研究电力物联网中视频流数据的处理方法是十分必要的。
[0003]虽然传统数据处理方法是多样的，已有研究通过人工智能方法进行数据处理，但是这些数据处理方式很难满足对数据的实时处理要求。由于当前对数据处理时延提出了更高要求，所以视频流数据处理方法研究受到越来越多关注。流数据处理已逐渐应用于更多的领域中，已有研究传感器网络中实时数据处理方法。
[0004]目前，针对电力系统数据处理已经做了不少研究，深入研究了基于数据挖掘的电力物联网多源业务体系，分别给出了对内、对外的数据业务体系架构。从数据去噪、特征提取、模式识别、知识挖掘、数据存储、数据可视化等方面对电力数据进行了深入分析。然而，这些研究仍然存在处理方法形式单一，不能很好满足低时延处理要求等不足之处，因此需要研究新的流数据处理方法解决电力物联网中大量数据快速处理需求。

技术实现思路

[0005]针对上述现有技术中存在的不足之处，本专利技术提供了一种基于5G边缘计算的视频信息快速处理方法。其目的是为了实现能够大大缩短数据处理时间，满足大量流数据快速处理需求的专利技术目的。
[0006]本专利技术为实现上述目的所采用的技术方案是：
[0007]一种基于5G边缘计算的视频信息快速处理方法，包括以下步骤：
[0008]步骤1.数据分析方法；
[0009]步骤2.数据预测；
[0010]步骤3.对接入的数据进行清洗；
[0011]步骤4.将清洗后的数据进行存储。
[0012]更进一步的，步骤1所述数据分析方法，包括：
[0013]步骤(1)数据接入；
[0014]步骤(2)对接入的数据进行预处理；
[0015]步骤(3)流数据处理结构。
[0016]更进一步的，所述步骤(1)数据接入，是在数据循环上采用循环队列，和流转算子相结合，且不只是数据也可以把算法逻辑循环起来；在循环队列中通过全局变量定义一个
大的数组，在数组中标志读、写两个位置，实现一个循环队列的基本模型；将从socket缓冲区接收到的数据，缓存到队列中，将写指针向后移动；另外一个线程，操作读指针，不断跟随写指针，将数据取出，处理；
[0017]在算法逻辑的循环上采用流转算子，通过算子流转把某个数据需要处理的逻辑留在一个节点上，减少数据流转所用的时间；采用Storm的分布式集群思想，它的每个节点均作为处理的中心或者节点，同时结合Spark的流转算子思路，进行逻辑流转；
[0018]Apache Storm是分布式的流数据处理框架，通过Spout获取数据后发送数据，系统中各个Bolt节点进行发送后的数据处理；Storm作为流处理技术提交运行的程序称为拓扑，拓扑结构由Spout和Bolt构成，用来对电力系统的正常工作状态进行监控预测；
[0019]所述Spout接收状态监测数据并形成元组，所述Bolt1接收数据并存储到分布式存储系统中，Bolt2对需要的监测数据进行筛选抽取，Bolt3根据电力系统中收集到的数据特征将数据进行分类，将不同类别的数据分别存入不同的单位元组，分为正常、异常和故障三类，并将结果存入分布式文件系统中；此拓扑结构提取监测流数据中的特征，根据其偏离参考数据特征的程度，对电力系统状态进行评估；
[0020]步骤(2)对接入的数据进行预处理，是在电力物联网中，数据传送到数据处理框架之前，对接入的数据进行预处理，包括以下步骤：
[0021]步骤a.对于数据缺失属性比例大于25％时，删除收到消息的记录；对于缺失率低，缺失率低于10％的情况，对总体数据无影响的数据，通过对于拉格朗日插值法补全缺失数据；
[0022]步骤b.搜索样本中重复的数据，对重复的数据进行去除；
[0023]步骤c.利用收集到数据的属性以及数据之间的相关性，删减与下一步分析无关的冗余样本属性，减少无效数据；
[0024]步骤(3)流数据处理结构，Spark Streaming是通过DStream对连续的数据流在固定的时间上进行分割，以此得到分割的数据，这些数据转化为不变数据，系统通过各种算子对数据进行处理，并输出处理结果，实现对流数据的处理；
[0025]数据处理系统包括：计算框架、缓存框架和处理接口框架。
[0026]更进一步的，所述计算框架，提供底层分布式，由多个节点组成集群，负责处理可靠性、单机可靠性和多机可靠性的操作能力；在处理接口处进行了创新，处理接口框架服务提供使用该边缘处理系统的各种接口；
[0027]所述缓存框架，提供数据快速存储空间；
[0028]所述处理接口框架，完成数据的接入检测以及数据的处理过程。
[0029]更进一步的，所述计算框架，包括：处理算子、接入终端和数据处理拓扑；
[0030]所述处理接口框架，包括：循环队列和流转算子，实现数据及其逻辑流转；
[0031]①
循环队列模型，将从缓冲区接收到的数据，缓存到队列中，将写指针向后移动，在另一个相邻的位置，操作读指针，不断跟随写指针，将数据取出、处理；在队列中的每一个节点上都带有流转算子；
[0032]②
流转算子通过对原始数据中产生的RDD(弹性分布式数据集)进行操作，将一个或多个RDD(弹性分布式数据集)生成新的RDD(弹性分布式数据集)。
[0033]更进一步的，步骤2所述数据预测，包括：
[0034]步骤(1)支持向量机模型的构建；
[0035]步骤(2)支持向量机模型的优化；
[0036]步骤(3)支持向量机模型的求解。
[0037]更进一步的，所述步骤(1)支持向量机模型的构建，基于线性回归的SVM，包括；
[0038]首先，在映射到高维的特征空间中，找到一个包围着目标样本点的超球体，通过最小化由该超球体包围的体积，使目标样本点尽可能地包围着超球体，将两种数据进行区分，以此达到区分两种类型的目的；先确定一个中心为o，半径为R的最小球面；中心o表示的是球体的中心，即范围的参照点；
[0039][0040]上式中，F为球的方程的目标函数，o为中心，R为半径，ξ
i
为松弛因子，D为影响因子，起控制对错分样本惩罚的程度的作用；
[0041]并且使球面满足：
[0042](x
i
‑
o)
T
(x
i
‑
o)≤R2+ξ<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于5G边缘计算的视频信息快速处理方法，其特征是：包括以下步骤：步骤1.数据分析方法；步骤2.数据预测；步骤3.对接入的数据进行清洗；步骤4.将清洗后的数据进行存储。2.根据权利要求1所述的一种基于5G边缘计算的视频信息快速处理方法，其特征是：步骤1所述数据分析方法，包括：步骤(1)数据接入；步骤(2)对接入的数据进行预处理；步骤(3)流数据处理结构。3.根据权利要求1所述的一种基于5G边缘计算的视频信息快速处理方法，其特征是：所述步骤(1)数据接入，是在数据循环上采用循环队列，和流转算子相结合，且不只是数据也可以把算法逻辑循环起来；在循环队列中通过全局变量定义一个大的数组，在数组中标志读、写两个位置，实现一个循环队列的基本模型；将从socket缓冲区接收到的数据，缓存到队列中，将写指针向后移动；另外一个线程，操作读指针，不断跟随写指针，将数据取出，处理；在算法逻辑的循环上采用流转算子，通过算子流转把某个数据需要处理的逻辑留在一个节点上，减少数据流转所用的时间；采用Storm的分布式集群思想，它的每个节点均作为处理的中心或者节点，同时结合Spark的流转算子思路，进行逻辑流转；Apache Storm是分布式的流数据处理框架，通过Spout获取数据后发送数据，系统中各个Bolt节点进行发送后的数据处理；Storm作为流处理技术提交运行的程序称为拓扑，拓扑结构由Spout和Bolt构成，用来对电力系统的正常工作状态进行监控预测；所述Spout接收状态监测数据并形成元组，所述Bolt1接收数据并存储到分布式存储系统中，Bolt2对需要的监测数据进行筛选抽取，Bolt3根据电力系统中收集到的数据特征将数据进行分类，将不同类别的数据分别存入不同的单位元组，分为正常、异常和故障三类，并将结果存入分布式文件系统中；此拓扑结构提取监测流数据中的特征，根据其偏离参考数据特征的程度，对电力系统状态进行评估；步骤(2)对接入的数据进行预处理，是在电力物联网中，数据传送到数据处理框架之前，对接入的数据进行预处理，包括以下步骤：步骤a.对于数据缺失属性比例大于25％时，删除收到消息的记录；对于缺失率低，缺失率低于10％的情况，对总体数据无影响的数据，通过对于拉格朗日插值法补全缺失数据；步骤b.搜索样本中重复的数据，对重复的数据进行去除；步骤c.利用收集到数据的属性以及数据之间的相关性，删减与下一步分析无关的冗余样本属性，减少无效数据；步骤(3)流数据处理结构，Spark Streaming是通过DStream对连续的数据流在固定的时间上进行分割，以此得到分割的数据，这些数据转化为不变数据，系统通过各种算子对数据进行处理，并输出处理结果，实现对流数据的处理；数据处理系统包括：计算框架、缓存框架和处理接口框架。4.根据权利要求3所述的一种基于5G边缘计算的视频信息快速处理方法，其特征是：所
述计算框架，提供底层分布式，由多个节点组成集群，负责处理可靠性、单机可靠性和多机可靠性的操作能力；在处理接口处进行了创新，处理接口框架服务提供使用该边缘处理系统的各种接口；所述缓存框架，提供数据快速存储空间；所述处理接口框架，完成数据的接入检测以及数据的处理过程。5.根据权利要求4所述的一种基于5G边缘计算的视频信息快速处理方法，其特征是：所述计算框架，包括：处理算子、接入终端和数据处理拓扑；所述处理接口框架，包括：循环队列和流转算子，实现数据及其逻辑流转；
①
循环队列模型，将从缓冲区接收到的数据，缓存到队列中，将写指针向后移动，在另一个相邻的位置，操作读指针，不断跟随写指针，将数据取出、处理；在队列中的每一个节点上都带有流转算子；
②
流转算子通过对原始数据中产生的RDD(弹性分布式数据集)进行操作，将一个或多个RDD(弹性分布式数据集)生成新的RDD(弹性分布式数据集)。6.根据权利要求1所述的一种基于5G边缘计算的视频信息快速处理方法，其特征是：步骤2所述数据预测，包括：步骤(1)支持向量机模型的构建；步骤(2)支持向量机模型的优化；步骤(3)支持向量机模型的求解。7.根据权利要求6所述的一种基于5G边缘计算的视频信息快速处理方法，其特征是：所述步骤(1)支持向量机模型的构建，基于线性回归的SVM，包括；首先，在映射到高维的特征空间中，找到一个包围着目标样本点的超球体，通过最小化由该超球体包围的体积，使目标样本点尽可能地包围着超球体，将两种数据进行区分，以此达到区分两种类型的目的；先确定一个中心为o，半径为R的最小球面；中心o表示的是球体的中心，即范围的参照点；上式中，F为球的方程的目标函数，o为中心，R为半径，ξ
i
为松弛因子，D为影响因子，起控制对错分样本惩罚的程度的作用；并且使球面满足：(x
i
‑
o)
T
(x
i
‑
o)≤R2+ξ
i
ꢀꢀꢀꢀ
(3)上式中，x
i

【专利技术属性】
技术研发人员：佟昊松，王刚，宋进良，李欢，李桐，孙茜，肖楠，任帅，孙赫阳，陈剑，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：