一种基于边缘计算的标识解析日志采集方法技术

本发明专利技术公开了一种基于边缘计算的标识解析日志采集方法，具体包括以下步骤：S1、使用数据流镜像技术通过边缘计算对面向边缘计算交互日志数据流进行复制，对边缘计算交互日志数据流的完整复制并确认身份；S2、使用深度包解析和动态流检测相结合对流量数据分析处理；S3、使用基于边缘计算的数据库访问还原技术对日志精确还原，对原始数据流通过统一的格式进行归一化处理生成原始事件，本发明专利技术涉及工业互联网标识解析技术领域。该基于边缘计算的标识解析日志采集方法，解决边缘计算边界标识解析数据流和数据库访问行为日志的处理延迟问题，解决数据流协议解析、行为还原和日志聚合问题，消除边缘计算标识解析节点边界信息态势检测的盲区。测的盲区。测的盲区。

【技术实现步骤摘要】
一种基于边缘计算的标识解析日志采集方法


[0001]本专利技术涉及工业互联网标识解析
，具体为一种基于边缘计算的标识解析日志采集方法。

技术介绍

[0002]工业互联网是新一代信息通信技术与工业经济深度融合的新型基础设施、应用模式和工业生态，工业互联网不是互联网在工业的简单应用，而是具有更为丰富的内涵和外延。它以网络为基础、平台为中枢、数据为要素、安全为保障，既是工业数字化、网络化、智能化转型的基础设施，工业互联网标识解析体系是实现全球供应链系统和企业生产系统精准对接、产品全生命周期管理和智能化服务的前提和基础，部分企业在信息化过程中，使用了自有标识，并开发了部分应用。边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。
[0003]随着工业互联网的快速发展和标识解析节点建设的推动，会产生大量的数据，工业互联网应用会要求极快的响应时间，数据的私密性等，边缘计算其应用程序在邻近侧发起，产生更快的网络服务响应，尤其适合应用在工业领域，满足工业在实时业务、应用智能、安全与隐私保护等方面的业务需求。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种基于边缘计算的标识解析日志采集方法，解决了目前工业互联网标识解析平台中边缘计算边界海量信息交互采集分析能力的不足的问题。
[0005]为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于边缘计算的标识解析日志采集方法，具体包括以下步骤：
[0006]S1、使用数据流镜像技术通过边缘计算对面向边缘计算交互日志数据流进行复制，对边缘计算交互日志数据流的完整复制并确认身份；
[0007]S2、使用深度包解析和动态流检测相结合对流量数据分析处理；
[0008]S3、使用基于边缘计算的数据库访问还原技术对日志精确还原，对原始数据流通过统一的格式进行归一化处理生成原始事件；
[0009]S4、通过对日志特征值提取和相关分析，削减原始事件的特征值维度，优化日志聚合算法，将冗余的原始事件聚合重构为单个聚合事件，对单个网络行为进行完整的描述。
[0010]优选的，所述S1中，数据流镜像包括基于内存镜像的数据流复制和基于数据包转发的数据流复制，基于内存镜像的数据流复制技术直接从内存中取出日志信息，主要包括基于Linux内核驱动和虚拟地址翻译的内存访问技术，内存镜像实现行为事件信息的采集，基于数据包转发的数据流复制技术直接从缓冲区中复制出流量信息，主要包括基于私有协议的数据流分发技术、数据包缓冲区预分配技术和缓冲区数据流高速转发技术，数据包转发镜像实现流量信息的采集，在采集到正常的操作数据之后，要从中最大程度的获取有效
信息。主要包括时间戳、用户名、登录地址、主机地址、协议类型、用户操作和命令属性等，结合上述有效信息构建正常用户的行为模型。
[0011]优选的，所述S2中，通过深度包解析和动态流检测技术提取特征、构建特征模型，通过深度包解析对数据包应用层内容进行分析，包括采用基于特征的识别技术提取控制流数据包中可能存在的特定端口、特定字符串或者特定序列与特征库进行匹配识别，动态流检测技术提取多种流相关特征，包括数据包长度、持续时间、传输速率、平均数据包时间间隔等，结合深度包解析技术所提取特征，构建特征模型，最后利用机器学习算法对未知流量和特征模型进行匹配。
[0012]优选的，所述S3中，从协议分析数据流的特征中抽取出不同数据库访问行为的特征，为不同的数据库访问行为建立相应的匹配模型，然后通过数据库行为特征还原，提取出有价值的数据库访问行为信息，生成标准化的日志事件，最后为不同的数据库建立不同的行为匹配模型，使不同数据库的访问行为的还原透明化。
[0013]优选的，所述S4中，根据日志特征值映射的方法降低事件特征值的维度，提取特征值，特征值选择算法用于对原始特征值集合中的特征值选择，特征值选择根据某种评估标准，从原始特征值空间中选取一个最优或最有效的特征子集代替原始特征值空间，达到降低特征值空间维数的目的。
[0014]优选的，所述S4中，优化日志聚合算法生成特征值提取和特征值选择算法处理后的低维度特征值集合，包括日志的某些特征(时间、源地址、目的地址、通信协议等)，将重复的日志数据归并为简洁的数据。
[0015]有益效果
[0016]本专利技术提供了一种基于边缘计算的标识解析日志采集方法。与现有技术相比具备以下有益效果：
[0017]该基于边缘计算的标识解析日志采集方法，针对目前工业互联网标识解析平台中边缘计算边界海量信息交互采集分析能力的不足提出了解决方案，解决边缘计算边界标识解析数据流和数据库访问行为日志的处理延迟问题，解决数据流协议解析、行为还原和日志聚合问题，消除边缘计算标识解析节点边界信息态势检测的盲区。
附图说明
[0018]图1基于边缘计算的标识解析日志采集方法流程图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]请参阅图1，本专利技术提供一种技术方案：一种基于边缘计算的标识解析日志采集方法，具体包括以下步骤：
[0021]S1、面向边缘计算交互日志数据流具有连续、近似无限、时变、有序且快速流动的特点。一个用户的标识解析数据库访问行为包含大量的日志数据流，用基于内存镜像的数
据流复制技术直接从内存中取出日志信息，主要包括基于Linux内核驱动和虚拟地址翻译的内存访问技术，获取边缘计算交互海量日志中的行为事件信息，面向边缘计算交互会产生大量、连续的数据包，用基于数据包转发的数据流复制技术直接从缓冲区中复制出流量信息，具体步骤如下，通过数据包预处理技术为数据包预分配缓冲区，通过缓冲区数据流高速转发技术直接从缓冲区中进行数据流镜像，通过基于网络数据包转发的数据流镜像技术对内外网交互数据流量信息采集；
[0022]S2、根据步骤S1进行日志流量数据分析，采用了深度包解析和动态流检测相结合的处理过程，具体过程如下：针对内网流入数据，首先采集大量的正常流量，用深度包解析技术对其数据包应用层内容进行分析，包括用基于特征的识别技术提取控制流数据包中可能存在的特定端口、特定字符串或者特定序列与特征库进行匹配识别，用应用层网关识别对业务流数据包进行关联匹配，用行为模式识别对应用行为进行准确识别，在此基础上用动态流检测提取多种流相关特征，包括数据包长度、持续时间、传输速率、平均数据包时间间隔等，结合深度包解析技术所提取特征构建正常流量特征模型，最后用机器学习算法对未知流量和特征模型进行匹配对未知流量的检测，针对内网流出数据，依据用户不同的行为建立用户流量行为模型，用深度包解析和动态流检测根据模型从数据包中提取对应特征，主要包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘计算的标识解析日志采集方法，其特征在于：具体包括以下步骤：S1、使用数据流镜像技术通过边缘计算对面向边缘计算交互日志数据流进行复制，对边缘计算交互日志数据流的完整复制并确认身份；S2、使用深度包解析和动态流检测相结合对流量数据分析处理；S3、使用基于边缘计算的数据库访问还原技术对日志精确还原，对原始数据流通过统一的格式进行归一化处理生成原始事件；S4、通过对日志特征值提取和相关分析，削减原始事件的特征值维度，优化日志聚合算法，将冗余的原始事件聚合重构为单个聚合事件，对单个网络行为进行完整的描述。2.根据权利要求1所述的一种基于边缘计算的标识解析日志采集方法，其特征在于：所述S1中，数据流镜像包括基于内存镜像的数据流复制和基于数据包转发的数据流复制，基于内存镜像的数据流复制技术直接从内存中取出日志信息，主要包括基于Linux内核驱动和虚拟地址翻译的内存访问技术，内存镜像实现行为事件信息的采集，基于数据包转发的数据流复制技术直接从缓冲区中复制出流量信息，主要包括基于私有协议的数据流分发技术、数据包缓冲区预分配技术和缓冲区数据流高速转发技术，数据包转发镜像实现流量信息的采集，在采集到正常的操作数据之后，要从中最大程度的获取有效信息。主要包括时间戳、用户名、登录地址、主机地址、协议类型、用户操作和命令属性等，结合上述有效信息构建正常用户的行为模型。3.根据权利要求1所述的一种基于边缘计算的标识解析日志采集方法，其特征在于：所述S2中，通过深度包解析和动态流检测技术提...

【专利技术属性】
技术研发人员：刘胜，刘洁，侯志国，史英，
申请(专利权)人：东华软件股份公司，
类型：发明
国别省市：