一种非结构化数据的数据同步方法和装置制造方法及图纸

本发明专利技术涉及一种非结构化数据的数据同步方法和装置，该方法包括：将非结构化数据写入MongoDB和Elasticsearch中；在Hive或者Doris中创建与MongoDB或Elasticsearch中第一数据表相对应的第二数据表；解析需要结构化的字段，并存储到第一列表中；从MongoDB或Elasticsearch中读取第一数据表中的目标数据，将目标数据中的目标字段存储到第二列表中，并将目标数据中必须存在的字段存储到第三列表中；将第二列表中的数据写入到指定文件中；执行指定文件，将数据同步至Hive或Doris中。通过本申请，解决了相关技术中需要同步的非结构化数据的数据量大，人工编写结构化同步代码，导致数据同步效率较低的问题，实现了提高数据同步效率的效果。高数据同步效率的效果。高数据同步效率的效果。

【技术实现步骤摘要】
一种非结构化数据的数据同步方法和装置


[0001]本专利技术涉及数据处理
，尤其涉及一种非结构化数据的数据同步方法、装置、计算机设备和计算机可读存储介质。

技术介绍

[0002]相关技术中的非结构化数据同步流程可以包括：将获取到的非结构化数据写入MongoDB和Elasticsearch；然后开发人员查看需求，确定解析字段，逐个字段解析，利用python手动编写代码；然后执行人工编写的代码，将需要及时分析的数据写入到Doris中，其他都写入到Hive中。
[0003]上述非结构数据数据同步流程存在以下问题：
[0004]1、需要从MongoDB和Elasticsearch同步的表非常多，达到五百多张表，每一张表的结构，需要结构化的字段都不一样，人工编写结构化同步代码工作量非常大，效率非常低，周期特别长。
[0005]2、确定每一张表需要解析的字段是人工手动查看确定，人工处理很容易出现字段写错或者逻辑问题，如果没有发现可能会有无法预估的问题或者经济损失。
[0006]目前，针对相关技术中需要同步的非结构化数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非结构化数据的数据同步方法，其特征在于，包括：将非结构化数据写入MongoDB和Elasticsearch中，其中，所述MongoDB或Elasticsearch中包括第一数据表；在Hive或者Doris中创建与所述第一数据表相对应的第二数据表，其中，所述第二数据表中5包括需要结构化的字段；解析所述需要结构化的字段，并存储到第一列表中；从MongoDB或Elasticsearch中读取所述第一数据表中的目标数据，将所述目标数据中的目标字段存储到第二列表中，并将所述目标数据中必须存在的字段存储到第三列表中，其中，所述目标字段为键值在所述第一列表中存在的数据字段；0将所述第二列表中的数据写入到指定文件中；执行所述指定文件，将数据同步至Hive或Doris中。2.根据权利要求1所述的非结构化数据的数据同步方法，其特征在于，解析所述需要结构化的字段，并存储到第一列表中包括：通过python提供的pyhive包或者pymysql包，从Hive或者Doris中读取所述第二数据表的5schema，以获取所述需要结构化的字段；将所述需要结构化的字段存储到所述第一列表中。3.根据权利要求1所述的非结构化数据的数据同步方法，其特征在于，在将所述目标数据中必须存在的字段存储到第三列表中之后，还包括：判断所述必须存在的字段是否能够获取到；0若所述必须存在的字段能获取到，则执行所述将所述第二列表中的数据写入到指定文件中的步骤；若所述必须存在的字段不能获取到，则结束数据同步操作。4.根据权利要求1至3中任一项所述的非结构化数据的数据同步方法，其特征在于，将非结构化数据写入MongoDB和Elasticsearch中包括：5将系统执行日志以非结构化的形式写入到Elasticsearch中；将除所述系统执行日志以外的非结构化数据写入到MongoDB中。5.一种非结构化数据的数据同步装置，其特征在于，包括：第一写入单元，用于将非结构化数据写入MongoDB和Elasticsearch中，其中，所述MongoDB或Elasticsearch中包括第一数据表；创建单元，用于在Hive或者Dori...

【专利技术属性】
技术研发人员：陈秋石，杨佳文，
申请(专利权)人：上海旭荣网络科技有限公司，
类型：发明
国别省市：