一种异构数据处理方法、装置、电子设备以及存储介质制造方法及图纸

本申请涉及一种异构数据处理方法、装置、电子设备以及存储介质，异构数据处理方法，包括步骤：当接收到用户终端输入的异构数据时，获取并划分异构数据，生成若干字段数据；将字段数据输入至设置有比对策略的判断模型中；并将已输入判断模型中的字段数据标记为历史字段数据；当判断模型接收到的字段数据和历史字段数据重复时，丢弃接收的字段数据，保存历史字段数据；将历史字段数据输入至态势感知平台。本申请具有减少冗长数据，提高态势感知平台的计算分析效率的效果。台的计算分析效率的效果。台的计算分析效率的效果。

【技术实现步骤摘要】
一种异构数据处理方法、装置、电子设备以及存储介质


[0001]本申请涉及态势感知的
，尤其是涉及一种异构数据处理方法、装置、电子设备以及存储介质。

技术介绍

[0002]态势感知平台是一种基于环境的、动态、整体地洞悉安全风险的能力，是以安全大数据为基础，从全局视角提升对安全威胁的发现识别、理解分析、响应处置能力处理平台，通常运用于监管机构或大型企业。
[0003]为将态势感知平台中的海量异构的日志、数据适配作为各鉴定器及智能异常分析模块的输入数据，采用分词系统将异构数据根据语义、数据格式、位置等多种方式进行智能分词，然后逐一匹配至态势感知平台的各个模块进行计算分析，实现异构数据的融合。
[0004]但异构数据易出现重复的情况，产生冗余的数据，导致态势感知平台的各个模块重复的计算分析，平台作业效率下降，因此需要改进。

技术实现思路

[0005]为了减少冗长数据，提高态势感知平台的计算分析效率，本申请提供了一种异构数据处理方法、装置、电子设备以及存储介质。
[0006]本申请的上述专利技术目的一是通过以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构数据处理方法，其特征在于：包括步骤：当接收到用户终端输入的异构数据时，获取并划分异构数据，生成若干字段数据；将字段数据输入至设置有比对策略的判断模型中；并将已输入判断模型中的字段数据标记为历史字段数据；当判断模型接收到的字段数据和历史字段数据重复时，丢弃接收的字段数据，保存历史字段数据；将历史字段数据输入至态势感知平台。2.根据权利要求1所述的一种异构数据处理方法，其特征在于：当判断模型接收到的字段数据和历史字段数据重复时，丢弃接收的字段数据，保存历史字段数据的步骤，包括步骤：当判断模型接收到的字段数据和历史字段数据重复时，赋予该字段数据重复字段标识；当识别到重复字段标识时，将该字段标识关联的字段数据丢弃，生成丢弃消息并发送至用户终端。3.根据权利要求1所述的一种异构数据处理方法，其特征在于：当接收到用户终端输入的异构数据时，获取并划分异构数据，生成若干字段数据的步骤，还包括步骤：当异构数据划分处理失败时，将处理失败的部分数据标记为错误数据；将错误数据丢弃并生成划分处理失败的错误消息；将错误消息发送至用户终端。4.根据权利要求3所述的一种异构数据处理方法，其特征在于：当异构数据划分处理失败时，将处理失败的部分数据标记为错误数据的步骤之后，还包括步骤：发出暂停分词系统运作的暂停指令；生成错误消息，获取错误数据并将错误数据与错误消息绑定，将错误消息和错误数据打包发送至用户终端。5.根据权利要求4所述的一种异构数据处理方法，其特征在于：将错误消息和错误数据打包发送至用户终端的步骤之后，还包括步骤：当接收到用户终端发送的更改指令时，向用户终端发送更改端口；基于更改端口，当接收到更正数据时，将更正数据替换掉错误...

【专利技术属性】
技术研发人员：罗强，余芸，明哲，冯国聪，杨逸岳，胡钊，姜渭鹏，范苏纯，陈海光，胡朝辉，陈善锋，
申请(专利权)人：南方电网数字电网研究院有限公司，
类型：发明
国别省市：