本发明专利技术提供一种异构数据的处理方法、装置及介质，该方法包括：获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据；若是，则根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。该方法、装置及介质能够解决现有的异构数据处理方法在入库前需要针对每一类数据单独写一个定制化的数据处理脚本，导致代码开发量大的问题。码开发量大的问题。码开发量大的问题。
【技术实现步骤摘要】
一种异构数据的处理方法、装置及介质
[0001]本专利技术涉及一种异构数据的处理方法、装置及介质。
技术介绍
[0002]工业数据以时序数据为主，即每一条数据均会带有一个时间标签，表示该条数据产生的时间，随着设备的持续工作和时间的推移，时序数据会源源不断地产生，因此为了实现这些数据的价值，需要将其持久化保存。然而，由于工厂内设备种类众多，每种设备产生的数据往往不是统一的数据结构，在入库前需要针对每一类数据单独写一个定制化的数据处理脚本，这样无疑增加了很多不必要的代码开发量。
技术实现思路
[0003]本专利技术所要解决的技术问题是针对现有技术的上述不足，提供一种异构数据的处理方法、装置及介质，以解决现有的异构数据处理方法在入库前需要针对每一类数据单独写一个定制化的数据处理脚本，导致代码开发量大的问题。
[0004]第一方面，本专利技术提供一种异构数据的处理方法，包括：
[0005]获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；
[0006]判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据；
[0007]若是，则根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。
[0008]优选地，所述判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，包括：
[0009]判断管理数据库中是否存在与所述目标数据映射关系对应的目标数据解析规则，若是，则所述映射关系表中存在所述目标数据映射关系，否则，所述映射关系表中不存在所述目标数据映射关系。
[0010]优选地，所述方法还包括：
[0011]若所述映射关系表中不存在所述目标数据映射关系，则获取用户输入的目标数据解析规则；
[0012]根据所述目标数据解析规则生成目标数据映射关系。
[0013]优选地，所述根据所述目标数据解析规则生成目标数据映射关系之后，还包括：
[0014]根据生成的所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据；
[0015]将所述目标数据解析规则存入管理数据库中；
[0016]将生成的所述目标数据映射关系存入所述映射关系表中，并与所述目标数据解析
规则相对应。
[0017]优选地，所述根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据，包括：
[0018]判断管理数据库中与所述目标数据映射关系对应的目标数据解析规则在预设时间范围内是否经过更改；
[0019]若是，则根据更改后的目标数据解析规则生成新的目标数据映射关系，并根据新的目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据；
[0020]否则，根据未更改的所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。
[0021]优选地，所述根据更改后的目标数据解析规则生成新的目标数据映射关系之后，还包括：
[0022]将所述新的目标数据映射关系存入所述映射关系表中，并与所述更改后的目标数据解析规则相对应。
[0023]优选地，所述目标数据解析规则包括筛选字段、过滤数据、合并以及设置阈值中的至少一种。
[0024]第二方面，本专利技术还提供一种异构数据的处理装置，包括：
[0025]获取模块，用于获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；
[0026]判断模块，与所述获取模块连接，用于判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据；
[0027]映射模块，与所述判断模块连接，用于当所述判断模块判断为是时，根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。
[0028]第三方面，本专利技术还提供一种异构数据的处理装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现上述第一方面所述的异构数据的处理方法。
[0029]第四方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的异构数据的处理方法。
[0030]本专利技术提供的异构数据的处理方法、装置及介质，首先获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据，若是，则根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据，由于本专利技术在获取到数据后，能够根据与数据的类型相对应的目标数据映射关系将获取的数据映射为统一的数据结构，在降低代码开发量的同时，实现了异构数据的自动化管理，解决了现有的异构数据处理方法在入库前需要针对每
一类数据单独写一个定制化的数据处理脚本，导致代码开发量大的问题。
附图说明
[0031]图1为本专利技术实施例1的一种异构数据的处理方法的流程图；
[0032]图2为本专利技术实施例2的一种异构数据的处理装置的结构示意图；
[0033]图3为本专利技术实施例3的一种异构数据的处理装置的结构示意图。
具体实施方式
[0034]为使本领域技术人员更好地理解本专利技术的技术方案，下面将结合附图对本专利技术实施方式作进一步地详细描述。
[0035]可以理解的是，此处描述的具体实施例和附图仅仅用于解释本专利技术，而非对本专利技术的限定。
[0036]可以理解的是，在不冲突的情况下，本专利技术中的各实施例及实施例中的各特征可相互组合。
[0037]可以理解的是，为便于描述，本专利技术的附图中仅示出了与本专利技术相关的部分，而与本专利技术无关的部分未在附图中示出。
[0038]可以理解的是，本专利技术的实施例中所涉及的每个单元、模块可仅对应一个实体结构，也可由多个实体结构组成，或者，多个单元、模块也可集成为一个实体结构。
[0039]可以理解的是，在不冲突的情况下，本专利技术的流程图和框图中所标注的功能、步骤可按照不同于附图中所标注的顺序发生。
[0040]可以理解的是，本专利技术的流程图和框图中，示出了按照本专利技术各实施例的系统、装置、设备、方法的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可代表一个单元、模块、程序段、代码，其包含用于实现规定的功能的可执行指令。而本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异构数据的处理方法，其特征在于，包括：获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据；若是，则根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。2.根据权利要求1所述的异构数据的处理方法，其特征在于，所述判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，包括：判断管理数据库中是否存在与所述目标数据映射关系对应的目标数据解析规则，若是，则所述映射关系表中存在所述目标数据映射关系，否则，所述映射关系表中不存在所述目标数据映射关系。3.根据权利要求1所述的异构数据的处理方法，其特征在于，还包括：若所述映射关系表中不存在所述目标数据映射关系，则获取用户输入的目标数据解析规则；根据所述目标数据解析规则生成目标数据映射关系。4.根据权利要求3所述的异构数据的处理方法，其特征在于，所述根据所述目标数据解析规则生成目标数据映射关系之后，还包括：根据生成的所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据；将所述目标数据解析规则存入管理数据库中；将生成的所述目标数据映射关系存入所述映射关系表中，并与所述目标数据解析规则相对应。5.根据权利要求1所述的异构数据的处理方法，其特征在于，所述根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据，包括：判断管理数据库中与所述目标数据映射关系对应的目标数据解析规则在预设时间范围内是否经过更改；若是，则根据更改后的目标数...
【专利技术属性】
技术研发人员：贾子翔，张呈宇，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。