语义转换方法、引擎、电子设备和可读存储介质技术

技术编号:32569498 阅读:39 留言:0更新日期:2022-03-09 16:56
本发明专利技术提供了一种语义转换方法、引擎、电子设备和可读存储介质。语义转换方法包括:构建数据的标准化规则;对标准化规则进行语义编码,将标准化规则抽象为对象和约束;根据对象、约束和应用程序的类型,进行语义解析,得到应用程序编程接口;应用程序以变量的方式嵌入应用程序编程接口,动态获取应用程序编程接口输出的程序片段,将程序片段替换变量,进行编译,得到程序单元。本发明专利技术的技术方案中,在数据标准化规则发生变更的情况下,只需要维护语义,即可实现数据标准化的改变,不需要修改应用程序,易于维护,节约人力成本,提高效率。提高效率。提高效率。

【技术实现步骤摘要】
语义转换方法、引擎、电子设备和可读存储介质


[0001]本专利技术涉及数据处理
,具体而言,涉及一种语义转换方法、引擎、电子设备和可读存储介质。

技术介绍

[0002]面对多源异构、错综复杂的多态数据,如何提升数据价值,成为当下大数据平台一个热门的命题,同时也是一个老大难的命题。基于这个目标,数据治理应运而生。数据治理的对象是元数据,并由此形成了数据标准化和数据质量管理。标准化是将数据从无序到有序的过程,在这个过程中,制定了大量的规则。这些定义好的规则需要作用于数据中,才能产生其价值,否则只能是纸上谈兵。而能将业务规则作用于数据的方法就是ETL(Extract

Transform

Load,数据仓库技术)。
[0003]ETL作为数据仓库的核心模块之一,它的本质是对数据的清洗、转换、聚合等加工处理,以形成组织统一的数据结构,从而实现数据价值。因此,从本质上,数据标准化和ETL是一致的,都是为了形成统一的标准化的组织数据。他们的关系是:数据标准化是为组织标准化的统一的数据提供一套理论框架,即为数据标准化给出了定义、流程支撑。而ETL则为组织数据标准化提供了行之有效的实践方法,即为数据标准化实现了落地。
[0004]现在较为通用的做法是:领域专家制定数据标准化,业务专家对这些标准化进行拆解,形成数据开发的需求规格;最后,由数据开发人员将拆解好的需求规格转换成数据处理的程序代码,比如SQL(Structured Query Language,结构化查询语言)、mapreduce(一种编程模型,用于大规模数据集的并行运算)等。很显然,这种实现方式中,数据标准化规则和ETL之间是静态隔离的,并没有形成有效的在线联通,双方各行其事,缺乏科学的管理,并且,当数据标准化内容进行改变时,需要更改程序代码。

技术实现思路

[0005]本专利技术旨在解决上述技术问题的至少之一。
[0006]为此,本专利技术的第一目的在于提供一种语义转换方法。
[0007]本专利技术的第二目的在于提供一种语义转换引擎。
[0008]本专利技术的第三目的在于提供一种电子设备。
[0009]本专利技术的第四目的在于提供一种可读存储介质。
[0010]为实现本专利技术的第一目的,本专利技术的技术方案提供了一种语义转换方法,包括:构建数据的标准化规则;对标准化规则进行语义编码,将标准化规则抽象为对象和约束;根据对象、约束和应用程序的类型,进行语义解析,得到应用程序编程接口;应用程序以变量的方式嵌入应用程序编程接口,动态获取应用程序编程接口输出的程序片段,将程序片段替换变量,进行编译,得到程序单元。
[0011]本技术方案中,在后续数据标准化规则发生变更的情况下,本技术方案只需要维护语义,即可实现数据标准化的改变,而不需要修改应用程序,易于维护,节约人力成本,提
高工作效率。
[0012]另外,本专利技术提供的技术方案还可以具有如下附加技术特征:
[0013]上述技术方案中,构建数据的标准化规则,包括:采用自然语言,将对数据的标准化描述为规则,得到标准化规则。
[0014]本技术方案中,构建数据的标准化规则,将数据标准化与ETL程序进行分离,易于程序的后期维护。
[0015]上述任一技术方案中,约束包括转换类约束、清洗类约束和/或聚合类约束。
[0016]本技术方案中,约束为作用于数据的指令集合,通过对数据的各种指令,使得数据趋于标准和统一,通过构建对象与约束的关系,更好的实现语义编码。
[0017]上述任一技术方案中,对标准化规则进行语义编码,将标准化规则抽象为对象和约束,包括:获取对象,对象包括数据元;获取约束,约束包括作用于对象的指令集合;根据标准化规则、对象和约束,得到单一对象的单一约束、单一对象的多重约束或多个对象的多重约束。
[0018]本技术方案给出了对象与约束的对应关系情况,使得本技术方案可以适用于更多复杂的数据标准化过程,通过本技术方案,可以构建出对象与约束的关系,更好的实现语义编码。
[0019]上述任一技术方案中,单一对象的单一约束中,标准化规则涉及单一对象,并且作用于单一对象的约束为单一的。
[0020]本技术方案中,通过构建单一对象的单一约束,可以更好的实现语义编码。
[0021]上述任一技术方案中,单一对象的多重约束中,标准化规则涉及单一对象,并且作用于单一对象的约束为多重的。
[0022]本技术方案中,通过构建单一对象的多重约束,可以更好的实现语义编码。
[0023]上述任一技术方案中,多个对象的多重约束中,标准化规则涉及多个对象,并且作用于多个对象的约束为多重的。
[0024]本技术方案中,通过构建多个对象的多重约束,可以更好的实现语义编码。
[0025]为实现本专利技术的第二目的,本专利技术的技术方案提供了一种语义转换引擎,包括:定义模块、编码模块、解析模块和编译模块;定义模块构建数据的标准化规则;编码模块对标准化规则进行语义编码,将标准化规则抽象为对象和约束;解析模块根据对象、约束和应用程序的类型,进行语义解析,得到应用程序编程接口;应用程序以变量的方式嵌入应用程序编程接口,动态获取应用程序编程接口输出的程序片段,将程序片段替换变量,通过编译模块进行编译,得到程序单元。
[0026]本技术方案中的语义转换引擎,可以实现数据标准化规则与应用程序之间的解耦,使得数据标准化专注于标准化规则的定义,而应用程序专注于数据逻辑的处理,分工明确,提高各自的效率。
[0027]为实现本专利技术的第三目的,本专利技术的技术方案提供了一种电子设备,包括:存储器和处理器,存储器存储有程序或指令,处理器执行程序或指令;其中,处理器在执行程序或指令时,实现如本专利技术任一技术方案的语义转换方法的步骤。
[0028]本技术方案提供的电子设备实现如本专利技术任一技术方案的语义转换方法的步骤,因而其具有如本专利技术任一技术方案的语义转换方法的全部有益效果,在此不再赘述。
[0029]为实现本专利技术的第四目的,本专利技术的技术方案提供了一种可读存储介质,可读存储介质存储有程序或指令,程序或指令被执行时,实现上述任一技术方案的语义转换方法的步骤。
[0030]本技术方案提供的可读存储介质实现如本专利技术任一技术方案的语义转换方法的步骤,因而其具有如本专利技术任一技术方案的语义转换方法的全部有益效果,在此不再赘述。
[0031]本专利技术的附加方面和优点将在下面的描述部分中变得明显,或通过本专利技术的实践了解到。
附图说明
[0032]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
[0033]图1为本专利技术一个实施例的语义转换方法流程示意图之一;
[0034]图2为本专利技术一个实施例的语义转换方法流程示意图之二;
[0035]图3为本专利技术一个实施例的语义转换方法流程示意图之三;
[0036]图4为本专利技术一本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种语义转换方法,其特征在于,包括:构建数据的标准化规则;对所述标准化规则进行语义编码,将所述标准化规则抽象为对象和约束;根据所述对象、所述约束和应用程序的类型,进行语义解析,得到应用程序编程接口;所述应用程序以变量的方式嵌入所述应用程序编程接口,动态获取所述应用程序编程接口输出的程序片段,将所述程序片段替换所述变量,进行编译,得到程序单元。2.根据权利要求1所述的语义转换方法,其特征在于,所述构建数据的标准化规则,包括:采用自然语言,将对所述数据的标准化描述为规则,得到标准化规则。3.根据权利要求1所述的语义转换方法,其特征在于,所述约束包括转换类约束、清洗类约束和/或聚合类约束。4.根据权利要求1至3中任一项所述的语义转换方法,其特征在于,对所述标准化规则进行语义编码,将所述标准化规则抽象为对象和约束,包括:获取所述对象,所述对象包括数据元;获取所述约束,所述约束包括作用于所述对象的指令集合;根据所述标准化规则、所述对象和所述约束,得到单一对象的单一约束、单一对象的多重约束或多个对象的多重约束。5.根据权利要求4所述的语义转换方法,其特征在于,所述单一对象的单一约束中,所述标准化规则涉及所述单一对象,并且作用于所述单一对象的所述约束为单一的。6.根据权利要求4所述的语义转换方法,其特征在于,所述单一对象的多重约束中,所...

【专利技术属性】
技术研发人员:罗安华
申请(专利权)人:深圳中兴网信科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1