基于边缘计算的大数据处理方法及中心云服务器技术

本申请是关于基于边缘计算的大数据处理方法及中心云服务器时。在应用上述方法时，中心云服务器能够与边缘节点之间建立日志抽取通道，从而实现在不打破边缘节点的私有网络环境壁垒的前提下对边缘节点中的日志数据进行抽取，从而便捷、低成本地实现对边缘节点的应用程序的运维调试。

【技术实现步骤摘要】
基于边缘计算的大数据处理方法及中心云服务器
本申请涉及大数据
，尤其涉及基于边缘计算的大数据处理方法及中心云服务器。
技术介绍
边缘计算技术是一种采用网络、计算、存储、应用核心能力为一体的开放平台在靠近物理设备或数据源头的一端就近提供最近端的通信处理和数据处理服务的技术。边缘计算技术相对于集中式的云计算技术能够产生更快的网络服务响应，从而满足实时业务、应用智能、安全与隐私保护等需求。然而，在大多数边缘计算的应用场景下，边缘节点的网络环境为私有网络环境，这会导致用户无法直接通过中心云服务器抽取运行在边缘节点上的日志数据，从而难以对边缘节点的应用容器进行运维调试。
技术实现思路
本申请提供基于边缘计算的大数据处理方法及中心云服务器，以改善现有技术所存在的技术问题。根据本申请实施例的第一方面，提供一种基于边缘计算的大数据处理方法，应用于与边缘节点通信的中心云服务器，所述方法包括：从与预设的通信线程对应的数据库中抽取所述中心云服务器在设定时段内通过启动所述通信线程以进行数据收发行为而产生的线程日志文件，并解析所本文档来自技高网...

【技术保护点】
1.一种基于边缘计算的大数据处理方法，其特征在于，应用于与边缘节点通信的中心云服务器，所述方法包括：/n从与预设的通信线程对应的数据库中抽取所述中心云服务器在设定时段内通过启动所述通信线程以进行数据收发行为而产生的线程日志文件，并解析所述线程日志文件得到所述中心云服务器的当前安全指标信息；将所述当前安全指标信息和基于所述边缘节点的节点标识生成的用于请求所述边缘节点进行日志抽取通道搭建的请求信息进行封装得到目标信息包，将所述目标信息包发送给所述边缘节点；/n接收所述边缘节点在依据所述当前安全指标信息判断出所述中心云服务器满足所述边缘节点的安全等级的情况下基于所述目标信息包中的请求信息所生成的索取...

【技术特征摘要】
1.一种基于边缘计算的大数据处理方法，其特征在于，应用于与边缘节点通信的中心云服务器，所述方法包括：
从与预设的通信线程对应的数据库中抽取所述中心云服务器在设定时段内通过启动所述通信线程以进行数据收发行为而产生的线程日志文件，并解析所述线程日志文件得到所述中心云服务器的当前安全指标信息；将所述当前安全指标信息和基于所述边缘节点的节点标识生成的用于请求所述边缘节点进行日志抽取通道搭建的请求信息进行封装得到目标信息包，将所述目标信息包发送给所述边缘节点；
接收所述边缘节点在依据所述当前安全指标信息判断出所述中心云服务器满足所述边缘节点的安全等级的情况下基于所述目标信息包中的请求信息所生成的索取指令，从所述索取指令中确定出与所述边缘节点对应的协议指令和加密逻辑指令；其中，所述协议指令和所述加密逻辑指令用于搭建所述日志抽取通道；
提取所述协议指令对应的第一指令流以及所述加密逻辑指令对应的第二指令流；
获取所述第一指令流中的任一码流对应的编码串，将所述第二指令流中具有最大指令等级的码流确定为参考码流；将所述编码串映射至所述参考码流中得到映射串并基于映射串和所述编码串之间的相似度确定所述索取指令的兼容性参数；
根据所述兼容性参数生成与所述协议指令对应的第一响应指令以及与所述加密逻辑指令对应的第二响应指令，将所述第一响应指令和第二响应指令进行整合得到第三响应指令并向所述边缘节点发送所述第三响应指令，以使所述边缘节点在接收到所述第三响应指令时与所述中心云服务器建立所述日志抽取通道；其中，所述日志抽取通道仅支持所述中心云服务器发送的设定格式的日志获取命令。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述日志抽取通道向所述边缘节点发送调试请求；其中，所述调试请求中包括目标命令的注册信息；
在接收到所述边缘节点基于所述调试请求中的注册信息判断出所述目标命令通过校验所发送的反馈信息时，在接收到输入的调试指令时，将所述调试指令的命令格式转换为与所述目标命令的命令格式相一致，并通过所述日志抽取通道向所述边缘节点发送完成命令格式转换的调试指令。


3.根据权利要求1或2所述的方法，其特征在于，解析所述线程日志文件得到所述中心云服务器的当前安全指标信息，包括：
读取所述线程日志文件的多条文本信息并基于所述多条文本信息将所述线程日志文件的文件结构信息列出，根据所述文件结构信息和所述多条文本信息建立所述线程日志文件的信息分布图；其中，所述信息分布图为分级子图，每级子图对应一个文本标识，每个文本标识对应至少一条文本信息，所述信息分布图的每级子图具有不同的权重系数，所述权重系数用于表征所述信息分布图中每级子图相对于所述线程日志文件的影响程度；
采集所述中心云服务器的线程参数清单，从所述线程参数清单中提取出所述中心云服务器对应的至少一组用于表征所述中心云服务器在不间断运行所述通信线程是所生成的参数序列的清单轨迹；其中，所述清单轨迹中包括多个在时序上连续的参数集；
根据所述信息分布图中的每级子图对应的文本标识计算所述文本标识对应的至少一条文本信息与所述清单轨迹中的每个参数集的关联系数；统计每级子图对应的最大关联系数的目标参数集并判断每级子图对应的目标参数集是否存在重复；
在每级子图对应的目标参数集不存在重复时，提取每个目标参数集对应的安全性指数，将所述安全性指数映射至所述信息分布图的图数据库中，得到每个安全性系数对应的日志安全系数，按照所述日志安全系数对应的每级子图的权重系数对所述日志安全系数进行加权求和，得到所述中心云服务器的当前安全指标信息；
在每级子图对应的目标参数集存在重复时，针对目标参数集重复的第一子图和第二子图，重新确定所述第二子图对应的目标参数集并返回判断每级子图对应的目标参数集是否存在重复的步骤；其中，所述第一子图的权重系数大于所述第二子图的权重系数。


4.根据权利要求1或2所述的方法，其特征在于，提取所述协议指令对应的第一指令流以及所述加密逻辑指令对应的第二指令流，包括：
确定所述协议指令的第一协议层架构以及所述加密逻辑指令的第二协议层架构；
根据所述第一协议层架构和所述第二协议层架构生成用于并行对所述协议指令和所述加密逻辑指令进行指令流提取的目标脚本文件；
运行所述目标脚本文件，并行提取所述协议指令对应的所述第一指令流以及所述加密逻辑指令对应的所述第二指令流。


5.根据权利要求1或2所述的方法，其特征在于，将所述编码串映射至所述参考码流中得到映射串并基于所述映射串和所述编码串之间的相似度确定所述索取指令的兼容性参数，包括：
确定所述参考码流中码流字段的签名地址，建立所述码流字段的签名地址与所述编码串的指向关系并根据所述指向关系将所述签名地址与所述编码串进行绑定；所述指向关系用于指示将所述编码串拆分为多个与所述码流字段的签名地址相对应的编码值；
生成用于将所述编码值按照其在所述编码串中的相对位置导入所述签名地址对应的字段位置处的迭代指令，根据所述迭代指令周期性地将所述编码值导入所述签名地址对应的字段位置处，得到所述编码值在所述字段位置处的映射值；将所述映射值进行拼接得到所述映射串；
基于根据所述映射串和所述编码串之间的相似度确定出所述所述索取指令存在其对应的第一认证签名集和第二认证签名集，并获取所述索取指令的多个指令协议认证信息；其中，所述第一认证签名集为动态签名集，所述第二认证签名集为静态签名集；
依据所述索取指令在所述第一认证签名集中的指令协议认证信息以及所述指令协议认证信息的认证持续时长，计算所述索取指令在所述第二认证签名集中的各指令协议认证信息与所述索取指令在所述第一认证签名集中的各指令协议认证信息之间的互信度；其中，所述互信度用于表征所述在所述第一认证签名集中和所述第二认证签名集中的不同指令协议认证信息之间的认证持续时长的重叠比例；
将所述索取指令在所述第二认证签名集中的与在所述第一认证签名集中的指令协议认证信息之间的互信度低于设定阈值的指令协议认证信息调整到所述第一认证签名集中；其中，若所述索取指令在所述第二认证签名集中包含有多个指令协议认证信息时，根据所述索取指令在所述第一认证签名集中的指令协议认证信息以及所述指令协议认证信息的认证持续时长确定所述索取指令在所述第二认证签名集中的各指令协议认证信息之间的关联系数，并根据所述各指令协议认证信息之间的关联系数对所述第二认证签名集中的各指令协议认证信息进行过滤，以得到多个目标认证信息，将所述多个目标认证信息调整到所述第一认证签名集中；根据所述第一认证签名集中的指令协议认证信息与所述...

【专利技术属性】
技术研发人员：宋倩云，
申请(专利权)人：宋倩云，
类型：发明
国别省市：江苏;32