【技术实现步骤摘要】
本申请涉及数据处理，具体涉及一种数据接入方法、装置、设备及存储介质。
技术介绍
1、随着大数据与工业互联网时代的来临，大量的数据也带来了大量的挑战，不同种类、不同格式、不同来源的数据都需要通过各项终端接入到系统里。
2、实现数据接入需要确定数据源、进行数据连接与获取、数据抽取与转换、数据加载与存储等步骤。而在数据接入的过程中，可能存在因网络延迟等因素导致数据丢失、数据损坏或数据错误；若数据在接入的过程中，存在大量数据丢失、数据损坏或数据错误等情况未被及时发现，可能会导致业务延误或错误，影响业务的正常运营。
技术实现思路
1、本申请提供一种数据接入方法、装置、设备及存储介质，用于对整个数据接入过程进行监测，尽量避免大量数据丢失、数据损坏或数据错误等情况未被及时发现，导致业务延误或错误，影响到业务的正常运营。
2、第一方面，本申请提供了一种数据接入方法，应用于计算机设备，所述方法包括：响应于数据接入指令，从对应数据源中提取待接入数据，并调用对应所述待接入数据的处理模板处理所述待接入数据，得到第一数据；判断所述第一数据的各项指标是否均符合第一预设指标，所述第一数据的各项指标包括第一数据的丢失率、第一数据的转化率及第一数据的误差率；若均符合所述第一预设指标，则接入所述第一数据，并将所述第一数据进行规范化处理，得到第二数据；判断所述第二数据的各项指标是否均符合第二预设指标，所述第二数据的各项指标包括第二数据的丢失率、第二数据的转化率及第二数据的误差率；若均符合所述第二
3、通过采用上述技术方案，在从对应数据源中提取待接入数据时，需要调用对应处理模板处理待接入数据，得到第一数据，判断第一数据的各项指标是否均符合第一预设指标，对数据接入时进行监测，尽量避免存在大量数据丢失、数据损坏或数据错误等情况未被及时发现的情况出现；当数据接入时，需要对数据进行规范化处理，得到第二数据，判断第二数据的各项指标是否均符合第二预设指标，尽量避免存在大量数据丢失、数据损坏或数据错误等情况未被及时发现的情况出现，然后将符合要求的数据存储至对应数据库。综上所述，通过对整个数据接入过程进行监测，尽量避免大量数据丢失、数据损坏或数据错误等情况未被及时发现，导致业务延误或错误，影响到业务的正常运营。
4、可选的，所述响应于数据接入指令，从对应数据源中提取待接入数据，并调用对应所述待接入数据的处理模板处理所述待接入数据之前，还包括：获取用户端输入的存在多个类型数据的训练数据集；将所述训练数据集输入到训练模型中，生成多个处理模板，其中，一个类型的数据对应一个所述处理模板。
5、通过采用上述技术方案，通过对数据进行训练，得到处理模板，用于处理待接入数据，使得处理后的数据符合接入条件，便于后续实时监控和调用待接入数据。
6、可选的，所述判断所述第一数据的各项指标是否均符合第一预设指标，包括：通过抽取规则抽取所述第一数据中的部分数据，并计算所述部分数据的指标值；根据所述指标值，预测所述第一数据的各项指标是否均符合所述第一预设指标。
7、通过采用上述技术方案，在判断第一数据的各项指标是否均符合第一预设指标时，通过抽取规则抽取第一数据中的部分数据，根据部分数据的指标值判断整个第一数据的各项指标是否均符合第一预设指标，整个判断过程无需对整个数据进行检测，减少了人力和物力的付出。
8、可选的，所述判断所述第一数据的各项指标是否均符合第一预设指标之后，还包括：若所述第一数据的各项指标中存在一项或多项指标不符合所述第一预设指标，则分析所述不符合所述第一预设指标的所述一项或多项指标的第一异常状态；根据所述第一异常状态，制定第一调整方案，所述第一调整方案包括第一自动调节和第一人工调节。
9、通过采用上述技术方案，若第一数据的各项指标中存在一项或多项指标不符合第一预设指标，则分析不符合第一预设指标的一项或多项指标的第一异常状态，根据第一异常状态，制定第一调整方案，第一调整方案包括自动调节和人工调节；若异常状态可以由系统自动调节则无需发送至人工端；若系统无法自动调节，则发送至人工端，由人工端进行调节。当发现异常时，可以及时处理异常状态，尽量避免异常状态未被及时发现，导致业务延误或错误，影响到业务的正常运营。
10、可选的，所述判断所述第二数据的各项指标是否均符合第二预设指标之后，还包括：若所述第二数据的各项指标中存在一项或多项指标不符合所述第二预设指标，则分析所述不符合所述第二预设指标的所述一项或多项指标的第二异常状态；根据所述第二异常状态，制定第二调整方案，所述第二调整方案包括第二自动调节和第二人工调节。
11、通过采用上述技术方案，若第二数据的各项指标中存在一项或多项指标不符合第二预设指标，则分析不符合第二预设指标的一项或多项指标的第二异常状态，根据第二异常状态，制定第二调整方案，第二调整方案包括自动调节和人工调节；若异常状态，则可以由系统自动调节则无需发送至人工端；若系统无法自动调节，则发送至人工端，由人工端进行调节。当发现异常时，可以及时处理异常状态，尽量避免异常状态未被及时发现，导致业务延误或错误，影响到业务的正常运营。
12、可选的，所述若均符合所述第二预设指标，则存储所述第二数据至对应数据库，包括：获取所述第二数据的性质和需求，所述第二数据的性质包括：数据类型、数据规模、数据频率及数据质量；所述第二数据的需求包括：数据存储需求、数据访问需求、数据处理需求、数据可视化需求及数据安全需求；根据所述第二数据的性质和需求，将所述第二数据存储至对应数据库。
13、通过采用上述技术方案，根据第二数据的性质和需求，将第二数据存储至对应数据库中；数据的有效存储可以提高数据的安全性，可以确保数据的一致性和完整性。
14、可选的，所述若均符合所述第二预设指标，则存储所述第二数据至对应数据库之后，还包括：创建可视化界面，并通过所述可视化界面显示所述第二数据的接入状态；若监测到所述第二数据存在异常状态，则通过可视化界面显示并发送报警信息至维修人员的终端设备。
15、通过采用上述技术方案，通过可视化界面，实时对接入的数据进行监测，便于及时发现问题并解决问题，尽量避免异常状态未被及时发现，导致业务延误或错误，影响到业务的正常运营。
16、第二方面，本申请提供一种数据接入装置，所述装置包括：第一处理模块、第一判断模块、第二处理模块、第二判断模块及存储模块；其中，所述第一处理模块用于响应于数据接入指令，从对应数据源中提取待接入数据，并调用对应所述待接入数据的处理模板处理所述待接入数据，得到第一数据；所述第一判断模块用于判断所述第一数据的各项指标是否均符合第一预设指标，所述第一数据的各项指标包括第一数据的丢失率、第一数据的转化率及第一数据的误差率；所述第二处理模块用于若均符合所述第一预设指标，则接入所述第一数据，并将所述第一数据进行规范化处理，得到第二数据；所述第二判断模本文档来自技高网...
【技术保护点】
1.数据接入方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据接入方法，其特征在于，所述响应于数据接入指令，从对应数据源中提取待接入数据，并调用对应所述待接入数据的处理模板处理所述待接入数据之前，还包括：
3.根据权利要求1所述的数据接入方法，其特征在于，所述判断所述第一数据的各项指标是否均符合第一预设指标，包括：
4.根据权利要求1所述的数据接入方法，其特征在于，所述判断所述第一数据的各项指标是否均符合第一预设指标之后，还包括：
5.根据权利要求1所述的数据接入方法，其特征在于，所述判断所述第二数据的各项指标是否均符合第二预设指标之后，还包括：
6.根据权利要求1所述的数据接入方法，其特征在于，所述若均符合所述第二预设指标，则存储所述第二数据至对应数据库，包括：
7.根据权利要求1所述的数据接入方法，其特征在于，所述若均符合所述第二预设指标，则存储所述第二数据至对应数据库之后，还包括：
8.数据接入装置，其特征在于，所述装置包括：第一处理模块（1）、第一判断模块（2）、第二处理模块（
9.一种电子设备，其特征在于，包括处理器（1001）、存储器（1005）、用户接口（1003）及网络接口（1004），所述存储器（1005）用于存储指令，所述用户接口（1003）和网络接口（1004）用于给其他设备通信，所述处理器（1001）用于执行所述存储器中存储的指令，以使所述电子设备执行如权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1-7任意一项所述的方法的计算机程序。
...【技术特征摘要】
1.数据接入方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据接入方法，其特征在于，所述响应于数据接入指令，从对应数据源中提取待接入数据，并调用对应所述待接入数据的处理模板处理所述待接入数据之前，还包括：
3.根据权利要求1所述的数据接入方法，其特征在于，所述判断所述第一数据的各项指标是否均符合第一预设指标，包括：
4.根据权利要求1所述的数据接入方法，其特征在于，所述判断所述第一数据的各项指标是否均符合第一预设指标之后，还包括：
5.根据权利要求1所述的数据接入方法，其特征在于，所述判断所述第二数据的各项指标是否均符合第二预设指标之后，还包括：
6.根据权利要求1所述的数据接入方法，其特征在于，所述若均符合所述第二预设指标，则存储所述第二数据至对应数据库，包括：
7...
【专利技术属性】
技术研发人员：刘杨，蒋思捷，
申请(专利权)人：维正科技服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。