一种基于规则的数据标准化方法及系统技术方案

本发明专利技术公开了一种基于规则的数据标准化方法和系统，属于数据处理领域，包括规则管理，转换管理，输出管理，规则管理定义数据标准化规则，转换管理根据规则管理定义的数据标准化规则，将输入数据转换为标准化结构数据，输出管理将标准化结构数据进行持久化输出。本发明专利技术可以根据用户标准化需求生成不同规则，规则文件通过配置XML文件实现，简单易懂，新数据接入无需改动方案和进行二次开发，只需要增加对应转换规则，就可以实现不同格式数据的标准化。

A data standardization method and system based on Rules

【技术实现步骤摘要】
一种基于规则的数据标准化方法及系统
本专利技术涉及数据处理领域，尤其涉及一种基于规则的数据标准化方法及系统。
技术介绍
在信息化领域中一个非常重要的系统就是数据联网系统。各行各业，各级政府部门都建设了大量的信息化系统。以智慧城市为例，省市区县各级都建设了各自的系统，并逐步接入各个行业和部门的数据。由于建设的时间不同，建设的标准各异，承建商的开发规范、对外接口都千差万别。数据联网系统的建设由此成为各级智慧城市总体工程建设的重要组成部分，通过联网系统平台建设，可完成各级智慧城市核心技术平台的搭建，为后续的各行业应用建设和接入奠定坚实的技术基础。数据联网系统作为各级智慧城市整体架构下的基础平台，将分散在各部门的业务数据进行加工处理、分析挖掘形成统一的、完整的、有序的数据资产体系，通过共享交换，实现跨行业、跨部门、跨区域的综合应用和数据共享。在数据联网过程中数据千差万别，加大了分析的难度。而应用平台随着对接的系统的增加，支持的数据种类随之增加。每次联网对接都需要单独开发，并且解析后的数据不能复用。不仅开发复杂，也不易节约成本。因此，数据的标准化成为信息系统开发中一个非常重要的课题。对于数据标准化，目前市场有以下几种常见方法：1、需求定制化根据用户给定数据，定制解决方案，进行需求的定制化开发，以达到数据可用目的。这种方法的缺点是无法满足未知数据接入标准化需求，每次数据的对接，都需要根据对接数据的格式进行定制化开发，开发工作量大，对接周期长。2、通过暴露代码支持不同数据格式。例如将C、NodeJS、Java等语言置入转换平台，让企业可以基于不同格式数据标准化。这种方法的缺点是运维成本高，不易扩展。因此，本领域的技术人员致力于开发一种基于规则的数据标准化方法及系统，根据事先定义的规则文件，无需开发就可实现数据的标准化。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是可以根据用户标准化需求生成不同规则，不同格式的数据通过配置对应规则，实现数据的标准化处理。新数据接入无需改动方案和开发工作，只需要增加新的规则即可。为实现上述目的，本专利技术提供了一种基于规则的数据标准化方法，包括规则管理，转换管理，输出管理，规则管理定义数据标准化规则，转换管理根据规则管理定义的数据标准化规则，将输入数据转换为标准化结构数据，输出管理将标准化结构数据进行持久化输出。进一步地，数据标准化规则采用XML文件格式。进一步地，规则管理包括规则解析和规则匹配，规则解析将XML文件加载到内存中，规则匹配为转换管理提供对应的数据标准化规则。进一步地，规则解析包括以下步骤：S101、从配置路径读取数据标准化规则文件；S102、用xml工具解析数据标准化规则文件；S103、新建一个元素节点；S104、如果是一个连续开始标签，则新建一个模型节点；S105、如果节点为Condition，为特殊节点不新建元素节点，取出属性赋值给模型节点条件存储结构Condition；S106、XML取值默认为string类型，为了后续转换，根据type属性将value转换为对应类型；S107、取出属性赋值给模型节点条件存储结构Condition；S108、特殊处理修改开始标记和结束标记，使得下一个节点与Condition节点在同一父节点下；S109、如果模型节点中元素存储为空，则手动创建存储空间；S110、将新建元素节点放入模型节点map中；S111、新建元素节点的模型父节点为当前模型；S112、如果是一个连续结束标签，则需要向上退一次到父模型节点；S113、结束标签结构化完成；S114、将结构化规则存储到ID对应哈希表中。进一步地，规则匹配包括以下步骤：S201、根据数据定义模型得出规则ID；S202、根据规则ID查找数据对应转换规则；S203、将匹配到的转换规则结果以结构化指针返回。进一步地，转换管理包括数据解析和数据转换，数据解析将不同格式的源数据进行结构解析，数据转换根据转换规则将源数据转换为标准化数据。进一步地，数据解析包括以下步骤：S301、接收源数据，将源数据结构化到内存；S302、获取源数据首部标识信息；S303、根据首部标识信息生成规则ID；S304、根据规则ID获取对应数据转换规则。进一步地，数据转换包括以下步骤：S401、获取转换规则key；S402、根据规则中key值查找数据中是否有对应字段；S403、查找到对应字段，根据数据格式判断下一步操作；S404、如果为数据类型，循环数组中所有元素；S405、如果为对象则进一步拆分对象；S406、如果为单个元素，则根据元素key对应转换目的字段取出数据值放入缓存；S407、循环递归执行步骤S403、S404、S405、S406，遍历源数据中所有字段，根据规则找到对应的转换结果；S408、将转换后的结构化结果输出。进一步地，输出管理将标准化结构数据组装为json格式并持久化，持久化方法包括kafka，rest，数据库等，具体实现过程包括以下步骤：S501、根据数据类型获取内部标准数据结构；S502、根据字段名称获取数据类型；S503、根据数据类型将外部字段类型转换为标准化类型；S504、循环执行S502、S503直到将数据中类型转换为标准化类型；S505、将标准化后数据打包为json统一输出；S506、根据用户输出需求持久化。本专利技术还公开了一种基于规则的数据标准化系统，包括输入数据模块、数据模型模块、规则管理模块、转换数据模块、打包数据模块、输出数据模块，按照前述方法进行数据的标准化。本专利技术可以根据用户标准化需求生成不同规则，新数据接入无需改动方案和二次开发，只需要增加对应转换规则，就可以实现不同格式数据的标准化。规则文件通过配置XML文件实现，简单易懂。以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。附图说明图1是本专利技术的一个较佳实施例的数据交互逻辑图；图2是本专利技术的一个较佳实施例的数据处理流程图；图3是本专利技术的一个较佳实施例的规则文件逻辑结构图。具体实施方式以下参考说明书附图介绍本专利技术的多个优选实施例，使其
技术实现思路
更加清楚和便于理解。本专利技术可以通过许多不同形式的实施例来得以体现，本专利技术的保护范围并非仅限于文中提到的实施例。在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本专利技术并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。如图一所示，基于规则的数据标准化系统，包括输入数据模块、数据模型模块、规则管理模块、转换数据模块、打包数据模块、输出数据模块。输入数据模块负责源数据的输入，通过数据模型模块，确定转换所需使用的规则模型。规则管理模块负责转换规则的管理，根据源数据的类型，增加所需的转换规则。数据转换模块则根据转换规则，实现源数据的具体转换，通过打包数据模块生成结构化的标准数据，输出数据模块将打包数据模块生成的结构化数据持久化。智能安防系统中机动车摄像会产生大量的数据且各个部门经常需要进行数据的交换，而不同系统产生的数据格式不同，因此需要按照标准规范进行数据的转换。一个具体的源数据如下：该源数据包括了机动车的基本信本文档来自技高网...

【技术保护点】
1.一种基于规则的数据标准化方法，其特征在于，包括规则管理，转换管理，输出管理，所述规则管理定义数据标准化规则，所述转换管理根据所述规则管理定义的所述数据标准化规则，将输入数据转换为标准化结构数据，所述输出管理将所述标准化结构数据进行持久化输出。

【技术特征摘要】
1.一种基于规则的数据标准化方法，其特征在于，包括规则管理，转换管理，输出管理，所述规则管理定义数据标准化规则，所述转换管理根据所述规则管理定义的所述数据标准化规则，将输入数据转换为标准化结构数据，所述输出管理将所述标准化结构数据进行持久化输出。2.如权利要求1所述的基于规则的数据标准化方法，其特征在于，所述数据标准化规则采用XML文件格式。3.如权利要求2所述的基于规则的数据标准化方法，其特征在于，所述规则管理包括规则解析和规则匹配，所述规则解析将所述XML文件加载到内存中，所述规则匹配为所述转换管理提供对应的所述数据标准化规则。4.如权利要求3所述的基于规则的数据标准化方法，其特征在于，所述规则解析包括以下步骤：S101、从配置路径读取数据标准化规则文件；S102、用XML工具解析数据标准化规则文件；S103、新建一个元素节点；S104、如果是一个连续开始标签，则新建一个模型节点；S105、如果节点为Condition，为特殊节点不新建元素节点，取出属性赋值给模型节点条件存储结构Condition；S106、XML取值默认为string类型，为了后续转换，根据type属性将value转换为对应类型；S107、取出属性赋值给模型节点条件存储结构Condition；S108、特殊处理修改开始标记和结束标记，使得下一个节点与Condition节点在同一父节点下；S109、如果模型节点中元素存储为空，则手动创建存储空间；S110、将新建元素节点放入模型节点map中；S111、新建元素节点的模型父节点为当前模型；S112、如果是一个连续结束标签，则向上退一次到父模型节点；S113、结束标签结构化完成；S114、将结构化规则存储到ID对应哈希表中。5.如权利要求3所述的基于规则的数据标准化方法，其特征在于，所述规则匹配包括以下步骤：S201、根据数据定义模型得出规则ID；S202、根据规则ID查找数据对应转换规则；S203、将匹配到的转换规则结果以结...

【专利技术属性】
技术研发人员：严春利，杨波，
申请(专利权)人：上海熙菱信息技术有限公司，
类型：发明
国别省市：上海,31