【技术实现步骤摘要】
本申请涉及异构数据处理，具体而言，涉及一种多源异构数据标准化处理方法及系统。
技术介绍
1、随着经济的发展，工业中引进各种检测，相关人员需要将获得的检测结果进行分析，由于检测结果类型多样，且当分析时，常常需要分析多种数据，此时，由于数据来源繁多、且数据结构杂乱，往往会遇到数据库、api接口、消息队列等多种数据源提供方式、数据源单位提供的数据结构与业务所需数据结构不一致的情况，进而易出现数据源单位的数据格式与目的端不一致的问题，此时，则需要根据需求将原数据格式转换为目的数据结构。
2、在将原数据格式转换为目的数据结构的实现过程中，一般是通过工程师进行软件编码，实现不同格式数据的格式标准化；或者采用人工的方式先将数据库中需要做标注的字段进行提取，再逐一对其核对标准词，再将标准词上传数据库进行替换。
3、然而，传统将原数据格式转换为目的数据结构的过程对相关人员要求高，且工作效率较低。
技术实现思路
1、为了解决将原数据格式转换为目的数据结构的过程便捷性差的问题，本申请提供了一种多源异构数据标准化处理方法及系统。
2、本申请的实施例是这样实现的：
3、本申请实施例的第一方面提供一种多源异构数据标准化处理方法，包括：
4、根据数据源类型创建不同的数据映射关系；
5、接收各种数据源的数据；
6、基于通过可视化界面配置方式配置而成的相应数据映射关系，从所述数据中提取包括待处理字段的第一数据集，对所述第一数据集进行
7、发布所述标准化数据。
8、在一些实施例中，在根据数据源类型创建不同的数据映射关系步骤中，进一步包括：
9、获取包含待标准化处理的字段名称的原始数据结构；
10、设置所述字段名称映射之后的新字段名称、新字段类型及新字段长度，将所述字段名称映射前后的对应关系作为数据映射关系；
11、将所述数据映射关系保存至预设数据库中。
12、在一些实施例中，在获取包含待标准化处理的字段名称的原始数据结构步骤中，进一步包括：
13、当所述数据源为db数据源时，所述原始数据结构来自于数据字段；
14、当所述数据源为api接口数据源时，所述原始数据结构来自于api文档；
15、当所述数据源为mq数据源时，所述原始数据结构来自于消息包格式。
16、在一些实施例中，在接收各种数据源的数据步骤中，进一步包括：根据所述数据源的类型，进行数据源配置，以疏通所述数据传输的通道，其中，
17、当所述数据源为db数据源时，基于选择的数据库类型配置数据库信息，并生成数据库连接，以将接收到的db数据源中的数据存入预设数据库中；
18、当所述数据源为api接口数据源时，基于api接口地址及接口请求方式的选择，生成标准的api接口连接，将接收到的api接口数据源中的数据存入预设数据库中；
19、当所述数据源为mq数据源时，配置mq服务信息及与所述mq服务信息对应的消息队列，通过生成标准的消息队列连接将接收到的mq数据源中的数据存入预设数据库中。
20、在一些实施例中，对所述第一数据集进行后处理以获得新的数据集步骤中，所述后处理具体包括：
21、对所述第一数据集进行去重处理，得到第二数据集；
22、对所述第二数据集中的异常数据值进行补全及合理性校验，获得所述新的数据集。
23、在一些实施例中，在基于通过可视化界面配置方式配置而成的相应数据映射关系，从所述数据中提取包括待处理字段的第一数据集步骤后，还包括：设置定时任务，以自动执行数据标准化处理步骤。
24、本申请实施例的第二方面提供一种多源异构数据标准化处理系统，包括：
25、创建映射关系模块，用于根据数据源类型创建不同的数据映射关系；
26、数据接收模块，用于接收各种数据源的数据；
27、标准化数据获取模块，用于基于通过可视化界面配置方式配置而成的相应数据映射关系，从所述数据中提取包括待处理字段的第一数据集，对所述第一数据集进行后处理以获得新的数据集，将新的数据集映射给新字段构成的目标数据集，所述目标数据集为标准化数据；
28、标准化数据发布模块，用于发布所述标准化数据。
29、在一些实施例中，在根据数据源类型创建不同的数据映射关系步骤中，所述创建映射关系模块还用于：
30、获取包含待标准化处理的字段名称的原始数据结构；
31、设置所述字段名称映射之后的新字段名称、新字段类型及新字段长度，将所述字段名称映射前后的对应关系作为数据映射关系；
32、将所述数据映射关系保存至预设数据库中。
33、在一些实施例中，在获取包含待标准化处理的字段名称的原始数据结构步骤中，所述创建映射关系模块还用于：
34、当所述数据源为db数据源时，所述原始数据结构来自于数据字段；
35、当所述数据源为api接口数据源时，所述原始数据结构来自于api文档；
36、当所述数据源为mq数据源时，所述原始数据结构来自于消息包格式。
37、在一些实施例中，在接收各种数据源的数据步骤中，所述数据接收模块还用于：根据所述数据源的类型，进行数据源配置，以疏通所述数据传输的通道，其中，
38、当所述数据源为db数据源时，基于选择的数据库类型配置数据库信息，并生成数据库连接，以将接收到的db数据源中的数据存入预设数据库中；
39、当所述数据源为api接口数据源时，基于api接口地址及接口请求方式的选择，生成标准的api接口连接，将接收到的api接口数据源中的数据存入预设数据库中；
40、当所述数据源为mq数据源时，配置mq服务信息及与所述mq服务信息对应的消息队列，通过生成标准的消息队列连接将接收到的mq数据源中的数据存入预设数据库中。
41、本申请的有益效果：通过根据不同的数据源类型创建不同的数据映射关系，然后根据接收到的数据类型，在可视化界面配置相应的数据映射关系，并根据数据映射关系从数据中提取包括待处理字段的第一数据集，对第一数据集进行后续处理后，可获得标准化数据，标准化数据可用于存储及发布，在此过程中，不再需要通过编码方式即可实现多源异构数据的标准化处理，大大便捷整个多源异构数据的使用过程，且对数据的处理过程简单便捷，方便相关人员后续便捷使用多源异构数据。
本文档来自技高网...【技术保护点】
1.一种多源异构数据标准化处理方法，其特征在于，包括：
2.如权利要求1所述多源异构数据标准化处理方法，其特征在于，在根据数据源类型创建不同的数据映射关系步骤中，进一步包括：
3.如权利要求2所述多源异构数据标准化处理方法，其特征在于，在获取包含待标准化处理的字段名称的原始数据结构步骤中，进一步包括：
4.如权利要求1所述多源异构数据标准化处理方法，其特征在于，在接收各种数据源的数据步骤中，进一步包括：根据所述数据源的类型，进行数据源配置，以疏通所述数据传输的通道，其中，
5.如权利要求1所述多源异构数据标准化处理方法，其特征在于，对所述第一数据集进行后处理以获得新的数据集步骤中，所述后处理具体包括：
6.如权利要求1所述多源异构数据标准化处理方法，其特征在于，在基于通过可视化界面配置方式配置而成的相应数据映射关系，从所述数据中提取包括待处理字段的第一数据集步骤后，还包括：设置定时任务，以自动执行数据标准化处理步骤。
7.一种多源异构数据标准化处理系统，其特征在于，包括：
8.如权利要求7所述多源
9.如权利要求8所述多源异构数据标准化处理系统，其特征在于，在获取包含待标准化处理的字段名称的原始数据结构步骤中，所述创建映射关系模块还用于：
10.如权利要求7所述多源异构数据标准化处理系统，其特征在于，在接收各种数据源的数据步骤中，所述数据接收模块还用于：根据所述数据源的类型，进行数据源配置，以疏通所述数据传输的通道，其中，
...【技术特征摘要】
1.一种多源异构数据标准化处理方法，其特征在于，包括：
2.如权利要求1所述多源异构数据标准化处理方法，其特征在于，在根据数据源类型创建不同的数据映射关系步骤中，进一步包括：
3.如权利要求2所述多源异构数据标准化处理方法，其特征在于，在获取包含待标准化处理的字段名称的原始数据结构步骤中，进一步包括：
4.如权利要求1所述多源异构数据标准化处理方法，其特征在于，在接收各种数据源的数据步骤中，进一步包括：根据所述数据源的类型，进行数据源配置，以疏通所述数据传输的通道，其中，
5.如权利要求1所述多源异构数据标准化处理方法，其特征在于，对所述第一数据集进行后处理以获得新的数据集步骤中，所述后处理具体包括：
6.如权利要求1所述多源异构数据标准化处理方法，其特征在于，...
【专利技术属性】
技术研发人员：陶怡，王飞，张良，马玲娜，彭建波，
申请(专利权)人：西安航天自动化股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。