数据处理系统及方法技术方案

本发明专利技术公开一种数据处理系统及方法。根据本发明专利技术的一个实施例的数据处理系统包括：数据判别单元，接收输入数据以及与所述输入数据的结构有关的元数据，并基于所述元数据而判别所述输入数据究竟是正常数据还是非正常数据；第一存储单元，存储所述正常数据；第二存储单元，存储所述非正常数据；数据处理单元，将存储于所述第二存储单元的所述非正常数据修正为具有与所述正常数据相同的结构，并将修正的所述非正常数据存储于所述第一存储单元。

【技术实现步骤摘要】

本专利技术的实施例涉及一种，尤其涉及一种用于在加载大容量数据时自动处理数据错误的。
技术介绍
在大容量日志数据的分析初始阶段中，数据的结构化、加载和存储是非常重要的作业。加载或存储需执行为符合用于数据分析的最低限度的数据结构信息。然而，大部分现有的日志数据却大量包含不符合这样的数据结构信息的非正常数据。尤其对于大容量数据而言，这样的非正常数据可能导致数据加载过程中发生严重的错误，或者以错误的形态加载而导致出现不正确的数据分析结果。现有技术不具备加载日志数据时自动修正错误部分或结构化的处理功能，且错误修正或结构化过程均由手动作业实现。具体地说，对于现有技术而言，如果在数据输入的过程中发生错误，则数据的加载作业中断并找出错误原因而进行修正，然后从头开始重新执行数据加载。如果多次发现非正常数据，则这样的作业只能每次都重复执行，尤其在加载大容量数据时，由于这样的繁琐而存在浪费时间和成本的问题。韩国公开专利公报第10-2014-0001910 号(2014.01.07)
技术实现思路
本专利技术的实施例的目的在于提供一种用于有效地存储大容量数据并自动处理包含于数据中的错误的。根据本专本文档来自技高网...

【技术保护点】
一种数据处理系统，包括：数据判别单元，接收输入数据以及与所述输入数据的结构有关的元数据，并基于所述元数据而判别所述输入数据究竟是正常数据还是非正常数据；第一存储单元，存储所述正常数据；第二存储单元，存储所述非正常数据；数据处理单元，将存储于所述第二存储单元的所述非正常数据修正为具有与所述正常数据相同的结构，并将修正的所述非正常数据存储于所述第一存储单元。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：南宫荣桓，金达云，洪桢焄，
申请(专利权)人：三星SDS株式会社，
类型：发明
国别省市：韩国;KR