【技术实现步骤摘要】
一种基于文档数据库的数据处理方法
本专利技术属于数据分析与处理
，具体涉及一种基于文档数据库的数据处理方法。
技术介绍
现在主流的数据分为关系型数据库和文档数据库，两种数据库侧重点不同。关系型数据库表结构稳定，侧重维持表与表之间的关系，善于分析统计；文档数据库表结构比较灵活，适用于动态存储的场景。很多情况下需要将两者进行结合，将文档数据库中的数据转换到关系型数据库中，并保持两边的数据同步，且需要在数据转换过程中加入业务逻辑的处理。现存技术中只有mongodb公司基于自身的云服务实现了stitch，具有一些基础的数据分析和转换能力，但该功能依赖于云环境，且仅限于mongodb这一种数据库，适用性不强。
技术实现思路
本专利技术解决的技术问题：提供基于文档数据库的数据处理方法，该方法通过监听文档数据库的数据变动，通过一系列的自动化处理流程，把结果数据存入关系型数据库中。技术方案：为了解决上述技术问题，本专利技术采用的技术方案如下：一种基于文档数据库的数据处理方法，监听数据库中文档集的数据...
【技术保护点】
1.一种基于文档数据库的数据处理方法，其特征在于：监听数据库中文档集的数据变动，收集增量数据作为一条数据流的输入源，经过处理节点构成的自动化处理流程，产生新的数据作为数据流的输出源；数据流的输出源直接与数据库绑定，存入指定数据库表中，或者作为新的数据流的输入源，再次进行处理。/n
【技术特征摘要】
1.一种基于文档数据库的数据处理方法，其特征在于：监听数据库中文档集的数据变动，收集增量数据作为一条数据流的输入源，经过处理节点构成的自动化处理流程，产生新的数据作为数据流的输出源；数据流的输出源直接与数据库绑定，存入指定数据库表中，或者作为新的数据流的输入源，再次进行处理。
2.根据权利要求1所述的基于文档数据库的数据处理方法，其特征在于，包括以下步骤：
S1：对文档数据库的文档集进行监听，收集有变动的数据，根据变动方式对数据进行标记；
S2：将步骤S1中收集的数据作为一个数据流的输入源；
S3：为步骤S2中创建的数据流设置自动化处理流程，所述自动化处理流程是由流处理节点和元数据处理节点组成的链式流程；
S4：由统一的数据流处理中心，根据步骤S3中设置的处理流程进行初始化，对流和元数据执行处理节点对应的逻辑，产生输出源；
S5：步骤S4中产生的输出源与数据库绑定，存储处理结果；或者作为其他数据流的输入源。
3.根据权利要求2所述的基于文档数据库的数据处理方法，其特征在于：步骤S1中，采用监听器与文档数据库建立连接，通过定时轮训访问文档集，通过文档的创建时间、修改时间和删除时间判断是否在轮训间隔时间内发生变动，并收集变动数据。
4.根据权利要求2所述的基于文档数据库的数据处理方法，其特征在于：步骤S2中，所述数据流的输入源以队列的形式存储监听获得的...
【专利技术属性】
技术研发人员：谢智，谢乾，王吉，龚彬，周国栋，邓锌强，吴大超，
申请(专利权)人：南京百敖软件有限公司，江苏卓易信息科技股份有限公司，昆山百敖电子科技有限公司，上海百之敖信息科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。