基于分层架构的数据接入方法、装置、设备、介质、产品制造方法及图纸

本发明专利技术提供了一种基于分层架构的数据接入方法，本发明专利技术涉及数据接入架构领域。基于分层架构的数据接入方法包括如下步骤：获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中；将所述外部数据按照映射规则转换成接入数据并保存；根据过滤条件对所述接入数据进行过滤；将过滤后的所述接入数据进行保存。本发明专利技术主要将数据接入分成多层架构，并指明各层的主要职责，形成一种全新的数据接入架构设计，解决数据接入数据丢失、问题难定位、数据质量不高等问题。本发明专利技术还提供了一种基于分层架构的数据接入装置、设备、存储介质、程序产品。程序产品。程序产品。

【技术实现步骤摘要】
基于分层架构的数据接入方法、装置、设备、介质、产品


[0001]本专利技术涉及金融交易
，特别涉及一种基于分层架构的数据接入方法、装置、设备、介质、产品。

技术介绍

[0002]当前，随着云计算、虚拟化等新技术的广泛应用，企业数据中心内部IT基础设施规模不断增长，企业运维成本也在不断增高，目前企业都在使用各种自动化运维手段来来提升运维效率，而各种自动化运维实施的基础是高质量的数据。现有技术中，服务器故障根源定位过程中，总会出现数据关系链断掉现象，根源大多为数据不存在或数据中字段缺失，即数据质量不达标。或者以restfull接口将外部系统数据接入进来，当数据源接入方式发生变化后需要重新开发，增大数据接入开发成本。或者数据接入后总会发现数据缺失，而排查原因需要查看大量后端日志，查明原因后需要再对代码修改才能将缺失数据接入。下次再接入其他数据时若再遇到类似问题需要重复做此过程。

技术实现思路

[0003]本专利技术的主要目的是提供一种基于分层架构的数据接入方法、装置、设备、介质、产品，旨在改善现有技术中，数据丢失、问题难定位、数据质量不高的技术问题。
[0004]为实现上述目的，本专利技术提供一种基于分层架构的数据接入方法。所述基于分层架构的数据接入方法包括如下步骤：
[0005]获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中；
[0006]将所述外部数据按照映射规则转换成接入数据并保存；
[0007]根据过滤条件对所述接入数据进行过滤；
[0008]将过滤后的所述接入数据进行保存。
[0009]可选地，获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中的步骤包括：
[0010]获取服务器采集的操作系统数据信息、监控信息以及结构化数据；
[0011]将所述操作系统数据信息、所述监控信息以及所述结构化数据分别存储到不同的数据队列中；
[0012]外部数据接入完成后将外部数据接入的源数据量、外部数据接入时间、外部数据的接入来源记录至操作日志中。
[0013]可选地，将所述外部数据按照映射规则转换成接入数据并保存的步骤包括：
[0014]获取数据来源的类型；
[0015]根据数据来源的类型查询相对应的映射规则对外部数据进行解析；
[0016]如果解析失败，则将解析失败的信息记录在操作日志中，并中断此条数据的后续操作；
[0017]如果解析成功，则解析成功后的接入数据下发。
[0018]可选地，将所述外部数据按照映射规则转换成接入数据并保存的步骤还包括：
[0019]获取接入数据的结构以及外部数据的各字段类型；
[0020]根据业务需求，设定接入数据的结构中的字符串类型字段接收外部数据字符串类型字段对应的数值；
[0021]根据业务需求，设定接入数据的结构中的数值类型字段接收外部数据数值类型字段对应的数值；
[0022]将外部数据所包含字段与接入数据结构字段做成一一映射，并形成映射表存库。
[0023]可选地，根据过滤条件对所述接入数据进行过滤的步骤包括：
[0024]创建多个过滤条件；
[0025]根据过滤条件将接入数据中包含的字段进行过滤；
[0026]如果接入数据没有被过滤掉，则将接入数据继续下发；
[0027]如果接入数据被过滤掉，则将接入数据停止下发，并将过滤原因记录在操作日志中。
[0028]可选地，将过滤后的所述接入数据进行保存的步骤包括：
[0029]将未过滤掉的外部数据保存至数据库中；
[0030]如果保存成功，则在操作日志中记录存库成功状态；
[0031]若保存不成功，则将错误信息记录在操作日志中，并将原始数据保存到原始数据队列尾部等待下次处理。
[0032]此外，为实现上述目的，本专利技术还提出一种基于分层架构的数据接入装置，包括：
[0033]数据接入层，用以对接外部系统数据源；
[0034]数据映射层，用以创建外部数据的映射规则；
[0035]数据解析层，用以将外部数据转换成标准数据结构并保存；
[0036]数据过滤层，用以过滤数据；
[0037]数据入库层，用以存储数据。
[0038]此外，为实现上述目的，本专利技术还提出一种电子设备，包括：
[0039]一个或多个处理器；
[0040]存储装置，用于存储一个或多个程序，
[0041]其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述任一项所述的方法。
[0042]此外，为实现上述目的，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有可执行指令，该指令被处理器执行时实现如上文所述的基于分层架构的数据接入方法的步骤。
[0043]此外，为实现上述目的，本专利技术还提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于分层架构的数据接入方法的步骤。
[0044]在本专利技术提供的技术方案中，包括如下步骤：获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中；将所述外部数据按照映射规则转换成接入数据并保存；根据过滤条件对所述接入数据进行过滤；将过滤后的接入数据进行保存。本专利技术主要将数据接入分成多层架构，并指明各层的主要职责，形成一种全新的数据
接入架构设计，解决数据接入数据丢失、问题难定位、数据质量不高等问题。通过分层架构将数据接入繁琐的工作进行解耦，利于维护和开发；日志记录每层计算结果利于后期问题排查和解决。新增自定义映射规则增加代码扩展性，用户只需界面增加规则即可修复大量问题。
附图说明
[0045]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0046]图1是本专利技术实施例方案的场景应用图；
[0047]图2为本专利技术提供的基于分层架构的数据接入方法的一实施例的流程示意图；
[0048]图3为本专利技术提供的基于分层架构的数据接入方法的一实施例的流程示意图；
[0049]图4为本专利技术提供的基于分层架构的数据接入方法中映射示意图；
[0050]图5为本专利技术提供的基于分层架构的数据接入装置的结构示意图；
[0051]图6为图5中电子设备的结构示意图。
[0052]附图标号说明：
[0053]标号名称标号名称100场景应用1806输入部分101数据中心1807输出部分102网络1808存储部分103终端1809通信部分1800电子设备1810驱动器1801处理器1811可拆卸介质1802只读存储器<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分层架构的数据接入方法，其特征在于，包括如下步骤：获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中；将所述外部数据按照映射规则转换成接入数据并保存；根据过滤条件对所述接入数据进行过滤；将过滤后的所述接入数据进行保存。2.如权利要求1所述的基于分层架构的数据接入方法，其特征在于，获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中的步骤包括：获取服务器采集的操作系统数据信息、监控信息以及结构化数据；将所述操作系统数据信息、所述监控信息以及所述结构化数据分别存储到不同的数据队列中；所述外部数据接入完成后将外部数据接入的源数据量、外部数据接入时间、外部数据的接入来源记录至操作日志中。3.如权利要求1所述的基于分层架构的数据接入方法，其特征在于，将所述外部数据按照映射规则转换成接入数据并保存的步骤包括：获取数据来源的类型；根据数据来源的类型查询相对应的映射规则对外部数据进行解析；如果解析失败，则将解析失败的信息记录在操作日志中，并中断此条数据的后续操作；如果解析成功，则解析成功后的接入数据下发。4.如权利要求1所述的基于分层架构的数据接入方法，其特征在于，将所述外部数据按照映射规则转换成接入数据并保存的步骤还包括：获取接入数据的结构以及外部数据的各字段类型；根据业务需求，设定接入数据的结构中的字符串类型字段接收外部数据字符串类型字段对应的数值；根据业务需求，设定接入数据的结构中的数值类型字段接收外部数据数值类型字段对应的数值；将外部数据所包含字段与接入数据结构字段...

【专利技术属性】
技术研发人员：徐少朋，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：