发布到数据仓库制造技术

一种用于生成可执行应用程序的方法，该可执行应用程序用于将数据进行转换并加载到结构化数据集中，该方法包括接收元数据文件，该元数据文件指定用于将从联网数据源接收的数据馈送结构化到结构化数据库中的参数的值。该元数据文件指定用于转换这些数据馈送的逻辑规则。验证这些参数的值和用于转换该多个数据馈送的这些逻辑规则，以确保每个数据馈送的逻辑一致性。根据这些参数的经验证值和逻辑规则来生成数据规则，这些数据规则指定用于转换每个数据馈送的标准。生成可执行应用程序，该可执行应用程序被配置为：从一个或多个数据源接收包括数据馈送的源数据，并根据这些数据规则将该源数据转换为满足该结构化数据记录的该一个或多个标准的结构化数据。一个或多个标准的结构化数据。一个或多个标准的结构化数据。

【技术实现步骤摘要】
【国外来华专利技术】发布到数据仓库
优先权声明
[0001]本申请根据35U.S.C.
§
119(e)要求于2018年7月19日提交的美国专利申请序列号62/700,684的优先权，该美国专利申请的全部内容通过引用并入本文。


[0002]本申请描述了用于生成、更新和维护将数据进行转换并加载到数据仓库中的软件的系统和方法。

技术介绍

[0003]数据仓库包括用于容纳通常来自多个不同源的数据的系统。例如，数据仓库可以存储从多个源接收的数据，并且其中一些源的类型可能与其他源不同。

技术实现思路

[0004]在将数据存储在数据仓库中之前，对数据进行预处理以便符合数据仓库的标准。数据可能具有标识其记录的键值；可以检查这些键值的引用完整性，或用在目标数据仓库中的引用系统内一致的替代键值来替换这些键值。可以根据常规历史化方案对数据进行转换，以便表示数据的变化历史。数据可以用与诸如其加载时间、修改时间或当前状态等属性相关的附加信息来修饰。可以将数据与数据仓库中的现有记录合并，以更新信息、提供缺失的信息和纠正错误。可以将数据加载到目本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于自动生成可执行应用程序的方法，该可执行应用程序用于将数据进行转换并加载到结构化数据集中，该结构化数据集用于存储来自一个或多个联网数据源的数据，该方法包括：接收指定参数的值的至少一个元数据文件以及指定用于转换数据馈送的逻辑规则的规则集映射，其中，将从联网数据源接收每个数据馈送，并将结果加载到结构化数据集中；验证这些参数的值和用于转换这些数据馈送的这些逻辑规则对于每个数据馈送是一致的；根据这些参数的经验证值和用于将每个数据馈送转换为经转换的记录以便加载到该结构化数据集中的经验证逻辑规则来生成数据规则，这些数据规则指定一个或多个标准；以及生成用于运行时环境的可执行数据处理应用程序，该可执行数据处理应用程序能配置为：从一个或多个数据源接收包括数据馈送的源数据；并且根据所生成的数据规则，将该源数据转换为满足该结构化数据集的该一个或多个标准的经转换数据。2.如权利要求1所述的方法，其中，该可执行数据处理应用程序包括数据流图、数据流子图或多个数据流图。3.如权利要求1或2所述的方法，其中，该结构化数据集包括数据库。4.如前述权利要求中任一项所述的方法，其中，该源数据包括数据记录，并且其中，该元数据文件中的参数指定该数据记录的、表示该源数据的该数据记录的键值的字段。5.在从属于权利要求4时如权利要求1至3中任一项所述的方法，其中，该元数据文件中的参数指定表示该源数据的键值的字段与该结构化数据集的表示该结构化数据集的另一键值的另一字段之间的映射。6.在从属于权利要求4时如权利要求1至3中任一项所述的方法，其中，该元数据文件中的参数指定该键值的格式，并且其中，该可执行数据处理应用程序被配置为将该键值转换为具有由该参数指定的格式。7.如前述权利要求中任一项所述的方法，进一步包括：从数据存储中检索参数的默认值；以及基于该参数的默认值定义这些数据规则。8.如前述权利要求中任一项所述的方法，其中，逻辑规则为该结构化数据集的字段指定格式，该字段包括数据历史值。9.在从属于权利要求8时如前述权利要求中任一项所述的方法，其中，该数据历史值包括指示包括该数据历史值的该结构化数据集的更新时间的时间戳。10.如前述权利要求中任一项所述的方法，其中，接收该元数据文件包括：解析该元数据文件的标题行，以确定哪些参数具有该元数据文件中的指定值。11.如前述权利要求中任一项所述的方法，其中，将该源数据转换为满足该结构化数据集的如由这些数据规则定义的该一个或多个标准的结构化数据包括：确定该源数据的至少两个不同部分指定相同的键值；以及为该源数据的这两个不同部分中的至少一个部分指定新的键值，该新的键值不同于这
些相同的键值并且基于该结构化数据集的键序列。12.如前述权利要求中任一项所述的方法，包括检索该至少一个元数据文件未指定的一个或多个附加参数的一个或多个默认值，其中，对这些数据规则的定义是基于该一个或多个附加参数的这些默认值进行的。13.如前述权利要求中任一项所述的方法，其中，该元数据文件包括一个或多个语义规则，该一个或多个语义规则指定用于解释该经转换的记录的值的标签。14.如前述权利要求中任一项所述的方法，其中，该元数据文件中的这些参数包括数据质量参数，该数据质量参数指定用于包括在该经转换的记录中的可接受数据值。15.如前述权利要求中任一项所述的方法，其中，该元数据文件中的这些参数包括数据完整性参数，该数据完整性参数指定用于该经转换的记录的键映射方案。16.如前述权利要求中任一项所述的方法，其中，该元数据文件中的这些参数包括数据报告参数，该数据报告参数指定将该结构化数据集的该经转换的记录配置为读优化还是写优化。17.如前述权利要求中任一项所述的方法，其中，验证这些参数的值和用于转换该多个数据馈送的这些逻辑规则对于每个数据馈送是一致的包括：对指定键替代规则的馈送特定元数据和指定数据历史化规则的加载特定元数据进行检查。18.如前述权利要求中任一项所述的方法，其中，该可执行数据处理应用程序进一步被配置为将该经转换数据加载到该结构化数据集中。19.如前述权利要求中任一项所述的方法，进一步包括：由该运行时环境执行该可执行应用程序，该执行包括：从一个或多个数据源接收包括数据馈送的该源数据；以及将该源数据转换为满足该一个或多个标准的该经转换数据；将符合该数据规则的该经转换数据加载到该结构化数据库中。20.一种用于生成可执行数据处理应用程序的系统，该可执行数据处理应用程序用于将数据进行转换并加载到结构化数据集中，该结构化数据集用于存储来自一个或多个联网数据源的数据，该系统包括：接口，该接口被配置为接收指定参数的值以及用于转换数据馈送的逻辑规则的至少一个元数据文件，其中，将从联网数据源接收每个数据馈送，并将结果加载到结构化数据集中；配置器，该配置器被配置为：验证这些参数的值和用于转换该多个数据馈送的这些逻辑规则对于每个数据馈送是一致的；并且根据这些参数的经验证值和用于将这些数据馈送中的每个数据馈送转换为经转换的记录以便加载到...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：起元技术有限责任公司，
类型：发明
国别省市：