【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据处理方法及系统。
技术介绍
1、数据包括多个类型，数据在采集的过程中，需要采集设备和被采集设备之间建立有与待采集数据的类型对应的文件传输协议。采集设备可以通过与被采集设备之间建立的文件传输协议从被采集设备中采集对应类型的数据。
2、但是，由于数据包括多个类型，因此，文件传输协议也可以包括多个类型。采集设备在进行数据采集的过程中，若无法识别待采集数据的类型，也就无法选用对应的文件传输协议对数据进行采集。
技术实现思路
1、本专利技术所要解决的技术问题是提供一种数据处理方法及系统，能够避免因无法识别待采集数据的类型，从而无法对数据进行采集的问题。
2、本专利技术解决上述技术问题的技术方案如下：
3、一方面，本专利技术提供一种数据处理方法，应用于数据处理系统，所述数据处理系统包括数据采集模块，所述数据采集模块包括至少一个采集插件，每一个所述采集插件包括一种采集规则。所述方法包括：接收输入的数据采集指令；所述数据采集指令用于指示采集目标数据。响应于所述数据采集指令，显示至少一个插件选项；一个所述插件选项对应一个所述采集插件。在接收到对所述至少一个插件选项中的目标插件选项的选中操作的情况下，响应于对所述目标插件选项的选中操作，基于目标采集插件包括的采集规则对所述目标数据进行采集；所述目标采集插件是所述目标插件选项对应的采集插件。
4、本专利技术的有益效果是：适用于采集各种类型的数据，在增加或变更采集的数据
5、在上述技术方案的基础上，本专利技术还可以做如下改进。
6、进一步，不同的所述采集插件中包括的所述采集规则不同；不同的所述插件选项对应的所述采集插件不同。
7、采用上述进一步方案的有益效果是：提供多种用于进行数据采集的采集规则，并以可视化的形式呈现给用户自行选择。用户可以选择合适的采集规则对数据进行采集。
8、进一步，响应于对所述目标插件选项的选中操作，采用热加载的方式加载所述目标采集插件，以获取所述目标采集插件中包括的采集规则；基于所述目标采集插件中包括的采集规则，对所述目标数据进行采集。
9、采用上述进一步方案的有益效果是：提供了调用目标采集插件的具体实现方式。
10、进一步，所述目标数据包括至少一个子数据，定义目标数据的标签；将已采集的定义有标签的所述子数据记录至索引文件中。在采集出现异常的情况下，基于所述索引文件，对未采集的定义有标签的所述子数据进行采集。
11、采用上述进一步方案的有益效果是：实现采集作业出现异常后从异常点继续采集数据，无需对已采集的数据进行重复采集。
12、进一步，显示至少一个处理选项，一个所述处理选项对应一个处理规则。在接收到对所述至少一个处理选项中的目标处理选项的选中操作的情况下，响应于对所述目标处理选项的选中操作，基于所述目标处理选项对应的处理规则，对采集到的所述目标数据进行处理。
13、采用上述进一步方案的有益效果是：提供多种用于进行数据处理的处理规则，并以可视化的形式呈现给用户自行选择。用户可以选择合适的处理规则对采集到的数据进行处理。
14、进一步，不同的所述处理选项对应的所述处理规则不同；所述处理规则基于字段转换、数据清洗、数据判空、数据过滤中的至少一项确定。
15、采用上述进一步方案的有益效果是：提供了处理规则的具体内容。
16、进一步，显示至少一个检查选项，一个所述检查选项对应一个检查规则。在接收到对所述至少一个检查选项中的目标检查选项的选中操作的情况下，响应于对所述目标检查选项的选中操作，基于所述目标检查选项对应的检查规则，对采集到的所述目标数据进行检查。
17、采用上述进一步方案的有益效果是：提供多种用于进行数据检查的检查规则，并以可视化的形式呈现给用户自行选择。用户可以选择合适的检查规则对处理后的数据进行检查。
18、进一步，不同的所述检查选项对应的所述检查规则不同。所述检查规则基于空值检查、非空值检查、枚举检查、正则匹配检查中的至少一项确定。
19、采用上述进一步方案的有益效果是：提供了检查规则的具体内容。
20、进一步，若所述目标数据不符合所述目标检查选项对应的检查规则，则过滤所述目标数据，并将所述目标数据记录至检查日志中。
21、另一方面，本专利技术提供一种数据处理系统，包括：
22、数据采集模块，所述数据采集模块包括至少一个采集插件，每一个所述采集插件包括一种采集规则；所述数据采集模块用于在接收到输入的数据采集指令的情况下，响应于所述数据采集指令，显示至少一个插件选项；以及，在接收到对所述至少一个插件选项中的目标插件选项的选中操作的情况下，响应于对所述目标插件选项的选中操作，基于目标采集插件包括的采集规则对所述目标数据进行采集；所述数据采集指令用于指示采集目标数据；一个所述插件选项对应一个所述采集插件；所述目标采集插件是所述目标插件选项对应的采集插件。数据处理模块，用于显示至少一个处理选项，一个所述处理选项对应一个处理规则；在接收到对所述至少一个处理选项中的目标处理选项的选中操作的情况下，响应于对所述目标处理选项的选中操作，基于所述目标处理选项对应的处理规则，对采集到的所述目标数据进行处理。数据质量分析模块：用于显示至少一个检查选项，一个所述检查选项对应一个检查规则；在接收到对所述至少一个检查选项中的目标检查选项的选中操作的情况下，响应于对所述目标检查选项的选中操作，基于所述目标检查选项对应的检查规则，对采集到的所述目标数据进行检查。
23、本专利技术的有益效果是：适用于采集各种类型的数据，在增加或变更采集的数据的类型时，仅需增加或变更对应的采集插件，即可完成对应类型数据的采集，能够避免因无法识别待采集数据的类型，从而无法对数据进行采集的问题。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括数据采集模块，所述数据采集模块包括至少一个采集插件，每一个所述采集插件包括一种采集规则；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，不同的所述采集插件中包括的所述采集规则不同；不同的所述插件选项对应的所述采集插件不同。
3.根据权利要求2所述的方法，其特征在于，所述响应于对所述目标插件选项的选中操作，基于目标采集插件包括的采集规则对所述目标数据进行采集，包括：
4.根据权利要求3所述的方法，其特征在于，所述目标数据包括至少一个子数据，所述响应于对所述目标插件选项的选中操作，基于目标采集插件包括的采集规则对所述目标数据进行采集，还包括：
5.根据权利要求1所述的方法，其特征在于，所述响应于对所述目标插件选项的选中操作，基于目标采集插件包括的采集规则对所述目标数据进行采集之后，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，不同的所述处理选项对应的所述处理规则不同；所述处理规则基于字段转换、数据清洗、数据判空、数据过滤中的至少
7.根据权利要求6所述的方法，其特征在于，所述响应于对所述目标处理选项的选中操作，基于所述目标处理选项对应的处理规则，对采集到的所述目标数据进行处理之后，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，不同的所述检查选项对应的所述检查规则不同；所述检查规则基于空值检查、非空值检查、枚举检查、正则匹配检查中的至少一项确定。
9.根据权利要求8所述的方法，其特征在于，所述响应于对所述目标检查选项的选中操作，基于所述目标检查选项对应的检查规则，对采集到的所述目标数据进行检查，还包括：
10.一种数据处理系统，其特征在于，包括：
...【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括数据采集模块，所述数据采集模块包括至少一个采集插件，每一个所述采集插件包括一种采集规则；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，不同的所述采集插件中包括的所述采集规则不同；不同的所述插件选项对应的所述采集插件不同。
3.根据权利要求2所述的方法，其特征在于，所述响应于对所述目标插件选项的选中操作，基于目标采集插件包括的采集规则对所述目标数据进行采集，包括：
4.根据权利要求3所述的方法，其特征在于，所述目标数据包括至少一个子数据，所述响应于对所述目标插件选项的选中操作，基于目标采集插件包括的采集规则对所述目标数据进行采集，还包括：
5.根据权利要求1所述的方法，其特征在于，所述响应于对所述目标插件选项的选中操作，基于目标采集插件包括的采集规则对所述...
【专利技术属性】
技术研发人员：蔡晶晶，陈俊，韩伟召，黄琦，梁煊赫，梅双玉，
申请(专利权)人：永信至诚科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。