一种动态转储文档数据的系统技术方案

本发明专利技术涉及一种动态转储文档数据的系统，顺次连接设置输入器、DRM反应器和输出器，以配合系统的文档关系映射协议定义文档数据至数据库数据的映射关系，设计原理简单，配置灵活，可扩展性好。本发明专利技术实现将现有技术中复杂、低效的编码接入工作转变成简单高效的配置接入工作的功能，极大提升系统接入外部数据服务的效率，降低成本，整体的实现成本也较低，特别适用于需要控制研发成本的中小型企业。用于需要控制研发成本的中小型企业。用于需要控制研发成本的中小型企业。

【技术实现步骤摘要】
一种动态转储文档数据的系统


[0001]本专利技术涉及电数字数据处理的
，特别涉及一种动态转储文档数据的系统。

技术介绍

[0002]随着社会信息化的不断深入发展，信息化服务逐渐进入了细分领域，同时也涌现出一大批优质的、细分领域的数据服务提供商，他们在各自的细分领域内通过不断的深挖和提炼，沉淀下了很多非常有价值的数据。
[0003]对于大量资源整合型的企业，为了给客户提供更优质的服务，需要尽可能多的接入外部优质的数据，如何高效且低成本的接入这些数据是这些企业需要考虑的。
[0004]现有技术中，接入数据用的最多的是类似Kettled的这类KTL工具，当然，投入开发力量一个个编码实现接入也是一种常见的选择；前者一般由数据工程师才能操作，一般规模的公司不具备这样的能力，且比较笨重，如果接入量不大的话，投入性价比过低，而后者采用编码的方式则显得非常不灵活，且由于成本高、开发周期长，一般情况下是无法满足一个公司的快速发展战略的。

技术实现思路

[0005]本专利技术解决了现有技术中存在的问题，提供了一种优化的动态转储文档数据的系统，以实现快速且低成本的接入外部数据的能力。
[0006]本专利技术所采用的技术方案是，一种动态转储文档数据的系统，所述系统包括顺次连接的输入器、DRM反应器和输出器，配合所述系统设置有文档关系映射协议，用于定义文档数据至数据库数据的映射关系。
[0007]优选地，所述输入器为可扩展，所述输入器的个数对应输入源的个数设置。
[0008]优选地，配置所述输入器为双星通配模式或多值匹配模式或多变量解析模式或Loop循环配置模式。
[0009]优选地，所述输入器的操作步骤为：A.1 加载输入器相关配置；A.2 构建Http请求对象；A.3 请求API结构；A.4 若校验请求接收成功，则进行下一步，否则结束；A.5 转换请求结果为DRM反应器支持的数据格式，发送数据至DRM反应器，结束。
[0010]优选地，所述文档关系映射协议为树形结构，包括作为根节点的DRM节点，配合所述DRM节点设有第一级的子矩阵节点和兄弟矩阵节点，配合任一所述第一级的子矩阵节点和兄弟矩阵节点套设有下一级的子矩阵节点和兄弟矩阵节点；任一级的子矩阵节点和兄弟矩阵节点为1个或多个。
[0011]优选地，所述DRM反应器的操作步骤为：
步骤B.1 加载DRM协议配置；步骤B.2 获得输入器发送的预设格式的数据；步骤B.3 以递归且深度优先的方式遍历并转化文档；步骤B.4 输出树形数据矩阵至输出器。
[0012]优选地，所述步骤B.3包括以下步骤：步骤B.3.1 开始DRM对象，根据DRM中的文档属性配置，从文档获取文档数据对象；步骤B.3.2 若文档数据对象为集合对象，则遍历数据集合，执行转化子流程，进行下一步，否则，直接进行下一步；步骤B.3.3 根据DRM中的矩阵格属性配置，将数据对象转化成矩阵行对象；步骤B.3.4 判断是否存在子矩阵集合，若是，则遍历处理子矩阵DRM，返回步骤B.3.1，否则进行下一步；步骤B.3.5 判断是否存在兄弟矩阵集合，若是，则遍历处理兄弟矩阵DRM，返回步骤B.3.1，否则结束。
[0013]优选地，所述输出器为可扩展，所述输出器的个数对应存储方式的个数设置。
[0014]优选地，所述输出器的操作步骤为：步骤C.1 读入输出器配置；步骤C.2 判断用于存储的数据库是否已创建连接，若否，则初始化数据库连接，进行下一步，否则直接进行下一步；步骤C.3 读入DRM反应器处理后的矩阵数据树；步骤C.4 预处理，检查数据库状态并完成数据库表的创建；开启数据库事务；步骤C.5 以递归且深度优先的方式按行遍历矩阵；步骤C.6 若发生异常，则回滚数据库事务，否则提交数据库事务，完成。
[0015]优选地，所述步骤C.5包括以下步骤：步骤C.5.1 判断矩阵是否为空，若是则结束，否则进行下一步；步骤C.5.2 根据矩阵数据行内的唯一键，在数据库中查找数据；若数据不存在，则进行步骤C.5.4，否则判断是否重建；步骤C.5.3 若重建，则生成删除数据库数据的语句并进行缓存，填入矩阵中该行的唯一键的值，生成可执行语句并执行，进行下一步，否则判断是否更新，若不更新则结束，若更新则记录数据ID值并缓存父对象，生成更新数据库数据的语句并做缓存，填入矩阵中该行的唯一键的值，生成可执行的语句并执行，进行步骤C.5.6；步骤C.5.4 生成新增数据库数据的语句并进行缓存；步骤C.5.5 遍历矩阵行中的所有格，将值注入填入新增对象，执行新增SQL，并将获取的记录ID逐个缓存到父对象；步骤C.5.6 判断是否存在子矩阵集合，若是，则返回步骤C.5.1，否则进行下一步；步骤C.5.7 判断是否存在兄弟矩阵集合，若是，则返回步骤C.5.1，否则结束。
[0016]本专利技术涉及一种优化的动态转储文档数据的系统，顺次连接设置输入器、DRM反应器和输出器，以配合系统的文档关系映射协议定义文档数据至数据库数据的映射关系，设计原理简单，配置灵活，可扩展性好。
[0017]本专利技术实现将现有技术中复杂、低效的编码接入工作转变成简单高效的配置接入
工作的功能，极大提升系统接入外部数据服务的效率，降低成本，整体的实现成本也较低，特别适用于需要控制研发成本的中小型企业。
附图说明
[0018]图1为本专利技术的系统结构图；图2为本专利技术的输入器的操作步骤流程图；图3为本专利技术中文档关系映射示意图；图4为本专利技术的DRM反应器的操作步骤流程图；图5为本专利技术中步骤B.3的流程图；图6为本专利技术的输出器的操作步骤流程图；图7为本专利技术的步骤C.5的流程图。
具体实施方式
[0019]下面结合实施例对本专利技术做进一步的详细描述，但本专利技术的保护范围并不限于此。
[0020]如图1所示，本专利技术涉及一种动态转储文档数据的系统，所述系统包括顺次连接的输入器、DRM反应器和输出器，配合所述系统设置有文档关系映射协议，用于定义文档数据至数据库数据的映射关系，输入器、DRM反应器和输出器相关的元信息均配置在文档关系映射协议中。
[0021]本专利技术是一种灵活、可扩展、轻量级的文档数据转储系统，可用于将外部接口数据转储到本地数据库表中，完成数据接入。
[0022]本专利技术中，输入器是可扩展的，当需要支持新的输入源的时候，可以新增一个或多个输入器的实现，以支持对应的新输入源；类似地，输出器也是可扩展的，当需要支持新的存储方式时，可以新增一个或多个输出器的实现，以支持对应是新存储方式。
[0023]本专利技术以配置化的方式工作，在实际应用中，只需修改配置文件即可完成一个新文档数据到数据库的存储过程；对应地，系统拥有：一个变量解析器，支持多种变量类型，包括但不限于OGNL表达式、Groovy Script、双下划线（__）变量；一个文档操作算子解析器，支持对数据文档做前置数据处理；其是一个算子集合，以管道模式从前往后顺序执行，即以前一个算子的输出作为下一个算子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态转储文档数据的系统，其特征在于：所述系统包括顺次连接的输入器、DRM反应器和输出器，配合所述系统设置有文档关系映射协议，用于定义文档数据至数据库数据的映射关系。2.根据权利要求1所述的一种动态转储文档数据的系统，其特征在于：所述输入器为可扩展，所述输入器的个数对应输入源的个数设置。3.根据权利要求1或2所述的一种动态转储文档数据的系统，其特征在于：配置所述输入器为双星通配模式或多值匹配模式或多变量解析模式或Loop循环配置模式。4.根据权利要求3所述的一种动态转储文档数据的系统，其特征在于：所述输入器的操作步骤为：A.1 加载输入器相关配置；A.2 构建Http请求对象；A.3 请求API结构；A.4 若校验请求接收成功，则进行下一步，否则结束；A.5 转换请求结果为DRM反应器支持的数据格式，发送数据至DRM反应器，结束。5.根据权利要求1所述的一种动态转储文档数据的系统，其特征在于：所述文档关系映射协议为树形结构，包括作为根节点的DRM节点，配合所述DRM节点设有第一级的子矩阵节点和兄弟矩阵节点，配合任一所述第一级的子矩阵节点和兄弟矩阵节点套设有下一级的子矩阵节点和兄弟矩阵节点；任一级的子矩阵节点和兄弟矩阵节点为1个或多个。6.根据权利要求1所述的一种动态转储文档数据的系统，其特征在于：所述DRM反应器的操作步骤为：步骤B.1 加载DRM协议配置；步骤B.2 获得输入器发送的预设格式的数据；步骤B.3 以递归且深度优先的方式遍历并转化文档；步骤B.4 输出树形数据矩阵至输出器。7.根据权利要求6所述的一种动态转储文档数据的系统，其特征在于：所述步骤B.3包括以下步骤：步骤B.3.1 开始DRM对象，根据DRM中的文档属性配置，从文档获取文档数据对象；步骤B.3.2 若文档数据对象为集合对象，则遍历数据集合，执行转化子流程，进行下一步，否则，直接进行下一步；步骤B.3.3 根据DRM中的矩阵格属性配置，将数据对象转化成矩阵行对象；步骤B.3.4 判断是否...

【专利技术属性】
技术研发人员：张福军，金德宪，罗豪，
申请(专利权)人：绿城科技产业服务集团有限公司，
类型：发明
国别省市：